Une interface cérébrale a permis à un homme de paralysie d'avoir des conversations en temps réel, sans le retard habituel dans la parole
Un homme atteint de paralysie étant connecté au système d'interface Brain-Computer
Un homme qui a perdu la capacité de parler peut désormais tenir des conversations en temps réel et même chanter par une voix synthétique contrôlée par le cerveau.
L'interface du cerveau-ordinateur lit l'activité neuronale de l'homme via des électrodes implantées dans son cerveau, puis génère instantanément des sons de parole qui reflètent sa hauteur, son intonation et son accent.
«C'est en quelque sorte le premier du genre pour la synthèse vocale instantanée – à moins de 25 millisecondes», explique Sergey Stavisky à l'Université de Californie à Davis.
La technologie doit être améliorée pour rendre le discours plus facile à comprendre, explique Maitreyee Wairagkar, également à UC Davis. Mais l'homme, qui a perdu la capacité de parler à cause de la sclérose latérale amyotrophique, dit toujours que cela le rend «heureux» et que cela ressemble à sa vraie voix, selon Wairagkar.
Les neuroprosthes de la parole qui utilisent des interfaces cérébrales existent déjà, mais celles-ci prennent généralement plusieurs secondes pour convertir l'activité cérébrale en sons. Cela rend la conversation naturelle difficile, car les gens ne peuvent pas interrompre, clarifier ou répondre en temps réel, dit Stavisky. «C'est comme avoir une conversation téléphonique avec une mauvaise connexion.»
Pour synthétiser la parole de manière plus réaliste, Wairagkar, Stavisky et leurs collègues ont implanté 256 électrodes dans les parties du cerveau de l'homme qui aident à contrôler les muscles faciaux utilisés pour parler. Ensuite, à travers plusieurs séances, les chercheurs lui ont montré des milliers de phrases sur un écran et lui ont demandé d'essayer de les dire à haute voix, parfois avec des intonations spécifiques, tout en enregistrant son activité cérébrale.
« L'idée est que, par exemple, vous pourriez dire: » Comment allez-vous aujourd'hui? » ou «comment vas-tu aujourd'hui? », Et cela change la sémantique de la phrase», explique Stavisky. « Cela permet un échange beaucoup plus riche et plus naturel – et un grand pas en avant par rapport aux systèmes précédents. »
Ensuite, l'équipe a nourri ces données dans un modèle d'intelligence artificielle qui a été formé pour associer des modèles spécifiques d'activité neuronale aux mots et aux inflexions que l'homme essayait d'exprimer. La machine a ensuite généré un discours basé sur les signaux cérébraux, produisant une voix qui reflétait à la fois ce qu'il avait l'intention de dire et comment il voulait le dire.
Les chercheurs ont même formé l'IA sur les enregistrements vocaux avant que l'état de l'homme ne progresse, en utilisant la technologie de clonage vocal pour faire en sorte que la voix synthétique sonne comme la sienne.
Dans une autre partie de l'expérience, les chercheurs l'ont fait essayer de chanter des mélodies simples en utilisant différents emplacements. Leur modèle a décodé sa hauteur prévue en temps réel, puis a ajusté la voix de chant qu'elle a produite.
Il a également utilisé le système pour parler sans être invité et pour produire des sons comme «hmm», «eww» ou des mots inventés, explique Wairagkar.
«C'est un homme très articulé et intelligent», explique David Brandman, membre de l'équipe, également à UC Davis. «Il est passé de paralysé et incapable de parler de continuer à travailler à plein temps et d'avoir des conversations significatives.»
