首个双语读脑装置让失语者重新“开口”

本文转自：中国科学报

本报讯 大脑植入物首次帮助一个无法正常说话的人用两种语言进行交流。与大脑植入物耦合的人工智能系统实时解码了他想用西班牙语或英语说的话。

这项5月20日发表于《自然-生物医学工程》的研究，为人们了解大脑如何处理语言提供了见解，并为无法口头交流的人恢复多语言能力带来了希望。

“这项研究在语音恢复神经假体这一新兴领域作出了重要贡献。”没有参与该研究的美国加利福尼亚大学戴维斯分校神经科学家Sergey Stavisky说，尽管这项研究只有一名参与者，但“有充分的理由相信，当与其他最新进展结合后，这种策略未来会以更高的准确性发挥作用”。

绰号Pancho的研究参与者，因20岁时中风导致身体大部分瘫痪。他可以呻吟和咕哝，但无法清楚表达。30多岁时，Pancho与美国加利福尼亚大学旧金山分校神经外科医生Edward Chang合作，研究中风对其大脑的持久影响。

在2012年发表的一项开创性研究中，Chang团队通过手术将电极植入Pancho的大脑皮层中，以记录神经活动，并将其转换成屏幕上的文字。

Pancho说的第一句话——“我的家人在外面”被翻译成英语。但Pancho的母语是西班牙语，在中风后才学会了英语，因此西班牙语仍然能唤起他的熟悉感和归属感。

Chang说：“一个人说什么语言实际上与他们的身份密切相关。因此，我们的长期目标从来不只是翻译出文字，还要恢复人们之间的联系。”

为了实现这一目标，该团队开发了一个人工智能系统破译Pancho的双语讲话。在他拼单词时会呈现出一个独特的神经模式，并被电极记录下来。Chang的博士生Alexander Silva则在Pancho试着说出近200个单词时对人工智能系统进行了训练。

然后，研究人员将人工智能系统——包括一个西班牙语模块和一个英语模块，应用于Pancho试图大声说出的短语中。对于短语中的第一个单词，西班牙语模块会选择最符合神经模式的西班牙语单词。英语模块也是如此。

例如，英语模块可能选择“she”作为短语中最可能出现的第一个单词，并评估其正确率为70%。而西班牙语模块可能选择“estar”，并评估其正确率为40%。

两个模块都试图构建一个短语。它们选择第二个单词不仅基于神经模式的匹配，还取决于它是否可能跟随第一个单词。因此，“我是”比“我不是”的概率得分更高。最终会生成两种语言的句子，但Pancho面前的屏幕只显示可能性得分最高的版本。

这些模块能够根据第一个单词区分英语和西班牙语，准确率为88%，而解码正确句子的准确率为75%。Pancho最终可以与研究人员进行坦诚但没有剧本的对话。

这项研究揭示了大脑中语言处理的一些意想不到的方面。之前一些使用非侵入性工具的实验表明，不同的语言会激活大脑的不同区域。但研究人员对大脑皮层直接记录的信号进行检查后发现，有关西班牙语和英语的许多大脑活动实际来自同一区域。

此外，Pancho的神经反应似乎与那些在双语环境中长大的儿童没有太大区别，尽管他在30多岁时才开始学习英语。（王方）

相关论文信息：

https://doi.org/10.1038/s41551-024-01207-5