Un nuovo impianto cerebrale aiuta una donna paralizzata a parlare utilizzando un avatar digitale

Jun 12, 2023

Le neuroprotesi vocali emergenti possono offrire un modo di comunicare per le persone che non sono in grado di parlare a causa di paralisi o malattie, ma non è stata ancora dimostrata una decodificazione rapida e ad alte prestazioni. Ora, un nuovo lavoro trasformativo condotto dai ricercatori dell’UCSF e dell’UC Berkeley mostra che è possibile una decodificazione del parlato più naturale utilizzando gli ultimi progressi nell’intelligenza artificiale.

Guidati dal neurochirurgo dell’UCSF Edward Chang, i ricercatori hanno sviluppato un dispositivo impiantabile basato sull’intelligenza artificiale che, per la prima volta, traduce i segnali cerebrali in parole modulate ed espressioni facciali. Di conseguenza, una donna che ha perso la capacità di parlare a causa di un ictus è stata in grado di parlare e trasmettere emozioni utilizzando un avatar digitale parlante. I ricercatori descrivono il loro lavoro in uno studio pubblicato oggi (mercoledì 23 agosto) sulla rivista Nature.

Coautore dello studio Gopala Anumanchipalli, professore assistente e Ph.D. Lo studente e co-autore principale Kaylo Littlejohn, entrambi del Dipartimento di ingegneria elettrica e scienze informatiche dell'UC Berkeley, ha discusso questo studio rivoluzionario con Berkeley Engineering. Le seguenti domande e risposte sono state modificate per maggiore lunghezza e chiarezza.

Questostudio è rivoluzionario in molti modi. Qual è stato il tuo ruolo e cosa ti proponevi di fare?

Gopala Anumanchipalli, assistente professore di ingegneria elettrica e informatica. (Foto per gentile concessione di Gopala Anumanchipalli)

Gopala: Dietro questo progetto c’è una storia decennale. Quando ero post-doc nel laboratorio di Edward Chang, la nostra missione era comprendere la funzione cerebrale alla base della produzione del linguaggio fluente e tradurre alcuni di questi risultati delle neuroscienze in soluzioni ingegneristiche per coloro che sono completamente paralizzati e hanno difficoltà di comunicazione. Abbiamo studiato i modi per eseguire la sintesi vocale dalle registrazioni dell'attività cerebrale mentre lavoravamo con pazienti con epilessia. Ma questi sono parlanti diversamente abili. Questo lavoro di prova di principio è stato pubblicato su Nature nel 2019. Quindi abbiamo avuto una sorta di sospetto che potessimo leggere il cervello. Abbiamo quindi pensato che avremmo dovuto provare a usarlo per aiutare le persone paralizzate, che era il focus dello studio clinico BRAVO [BCI Restoration of Arm and Voice].

Quella sperimentazione, che utilizzava un nuovo dispositivo chiamato neuroprotesi vocale, ha avuto successo e ha dimostrato che potevamo decodificare parole intere dall’attività cerebrale. È stato seguito da un altro studio in cui siamo riusciti a decodificare più di 1.000 parole per creare un'interfaccia ortografica. Il partecipante poteva pronunciare qualsiasi parola in codice NATO – come Alpha, Bravo, Charlie – e farla trascrivere. Abbiamo migliorato i modelli di apprendimento automatico utilizzati per decodificare il parlato, in particolare utilizzando decodificatori con modelli fonetici e linguistici espliciti che passavano da queste parole in codice a frasi fluenti, come il modo in cui Siri riconoscerebbe la tua voce.

In questo progetto, abbiamo deciso di aumentare il vocabolario e la precisione, ma, cosa più importante, abbiamo mirato ad andare oltre la decodificazione dell'ortografia. Volevamo passare direttamente alla lingua parlata perché questa è la nostra modalità di comunicazione ed è il modo più naturale con cui impariamo.

La motivazione dietro l'avatar era quella di aiutare il partecipante a sentirsi incarnato, a vedere una somiglianza e quindi a controllarla. Quindi, a tale scopo, abbiamo voluto offrire un'esperienza di comunicazione multimodale.

Come hai tradotto i segnali cerebrali in parole ed espressioni? Quali sono state alcune delle sfide ingegneristiche che hai incontrato lungo il percorso?

Kaylo Littlejohn, Ph.D. EECS. studente e co-autore principale dello studio rivoluzionario sulla neuroprotesi vocale condotto da UCSF e Berkeley Engineering. (Immagine dal video di Pete Bell, UCSF)

Kaylo: Dato che le persone paralizzate non possono parlare, non abbiamo ciò che stanno cercando di dire come una verità fondamentale su cui mappare. Quindi abbiamo incorporato una tecnica di ottimizzazione dell’apprendimento automatico chiamata perdita CTC, che ci ha permesso di mappare i segnali cerebrali in unità discrete, senza la necessità di audio “vero”. Abbiamo quindi sintetizzato le unità discrete previste nel parlato. Le unità discrete del parlato codificano aspetti come l'altezza e il tono, che vengono poi sintetizzati per creare un audio che si avvicina al parlato naturale. Sono quelle inflessioni e cambiamenti di cadenza che trasmettono molto significato nel discorso oltre le parole vere e proprie.