脑机接口是一项突破性的技术，可以帮助瘫痪的人恢复他们失去的功能，比如移动一只手。这些设备记录来自大脑的信号，并破译用户的预期动作，绕过受损或退化的神经，这些神经通常会将这些大脑信号传递给控制肌肉。

作者

• 尼古拉斯·卡

  美国加州大学戴维斯分校神经科学与神经工程博士后

自2006年以来，人类脑机接口的演示主要集中在通过使人们能够控制计算机光标或机械臂来恢复手臂和手部的运动。最近，研究人员已经开始开发语言脑机接口，以恢复无法说话的人的交流。

当使用者试图说话时，这些脑机接口会记录下与试图说话的肌肉运动相关的独特大脑信号，然后将其翻译成文字。然后，这些单词可以作为文本显示在屏幕上，或者使用文本到语音软件大声朗读。

我是加州大学戴维斯分校神经修复实验室的一名研究员，这是BrainGate2临床试验的一部分。我和我的同事们最近展示了一个言语脑机接口，它可以破译一个患有肌萎缩性侧索硬化症(ALS)的人的言语。该界面将神经信号转换为文本，准确率超过97%。我们系统的关键是一组人工智能语言模型——帮助解释自然语言的人工神经网络。

记录大脑信号

语音脑机接口的第一步是记录大脑信号。大脑信号有几种来源，其中一些需要手术记录。手术植入的记录设备可以捕获高质量的大脑信号，因为它们被放置在离神经元更近的地方，从而产生更强的信号，干扰更少。这些神经记录设备包括放置在大脑表面的电极网格或直接植入脑组织的电极。

在我们的研究中，我们通过手术将电极阵列放置在参与者Casey Harrell的语言运动皮层中，这是大脑中控制与语言相关肌肉的部分。我们用256个电极记录了哈雷尔试图说话时的神经活动。

解码大脑信号

下一个挑战是将复杂的大脑信号与用户想说的话联系起来。

一种方法是将神经活动模式直接映射到口语中。这种方法需要多次记录每个单词对应的大脑信号，以确定神经活动与特定单词之间的平均关系。尽管这种策略对小词汇量很有效，正如2021年一项针对50个单词的研究所证明的那样，但对于大词汇量来说就不太实用了。想象一下，让脑机接口用户尝试多次说出字典中的每个单词——这可能需要几个月的时间，而且对于新单词仍然不起作用。

相反，我们使用另一种策略:将大脑信号映射到音素上，音素是构成单词的基本声音单位。在英语中，有39个音素，包括ch, er, oo, pl和sh，它们可以组合成任何单词。我们可以通过要求参与者大声朗读几个句子来多次测量与每个音素相关的神经活动。通过将神经活动精确地映射到音素上，我们可以将它们组合成任何英语单词，甚至是系统没有明确训练过的单词。

为了将大脑信号映射到音素，我们使用了先进的机器学习模型。这些模型特别适合这项任务，因为它们能够在大量复杂数据中找到人类无法识别的模式。可以把这些模型想象成超级聪明的倾听者，它们可以从嘈杂的大脑信号中挑选出重要的信息，就像你在拥挤的房间里专注于谈话一样。使用这些模型，我们能够以超过90%的准确率破译语音中的音素序列。

从越南河粉词的内因

一旦我们破译了音素序列，我们需要将它们转换成单词和句子。这是一项挑战，尤其是在被破译的音素序列并不完全准确的情况下。为了解决这个难题，我们使用了两种互补类型的机器学习语言模型。

第一个是n元语言模型，它预测哪个单词最有可能跟随一组n个单词。我们在数百万个句子上训练了一个5克(5个单词)的语言模型，根据前4个单词，捕捉当地语境和常用短语，预测一个单词的可能性。例如，在“我很好”之后，它可能会暗示“今天”比“土豆”更有可能出现。使用这个模型，我们将音素序列转换成100个最可能的单词序列，每个序列都有一个相关的概率。

第二个是大型语言模型，它为人工智能聊天机器人提供动力，并预测哪些单词最有可能跟随其他单词。我们使用大型语言模型来改进我们的选择。这些模型经过大量不同文本的训练，对语言结构和意义有更广泛的理解。它们帮助我们确定100个候选句子中哪一个在更广泛的语境中最有意义。

通过仔细地平衡n-gram模型、大语言模型和我们最初的音素预测的概率，我们可以对脑机接口用户想说的话做出一个高度有根据的猜测。这个多步骤的过程使我们能够处理音素解码中的不确定性，并产生连贯的、上下文合适的句子。

现实世界的好处

在实践中，这种语音解码策略取得了显著的成功。我们让患有肌萎缩侧索硬化症(ALS)的凯西·哈雷尔(Casey Harrell)仅凭自己的思想就能“说话”，准确率超过97%。这一突破使他多年来第一次可以轻松地与家人和朋友交谈，一切都在他自己舒适的家中。

语音脑机接口是恢复通信的重要一步。随着我们不断改进这些设备，它们有望让那些失去说话能力的人发出声音，重新将他们与亲人和周围的世界联系起来。

然而，挑战仍然存在，例如使该技术更易于使用，便携和耐用多年的使用。尽管存在这些障碍，但语音脑机接口是科学和技术如何结合起来解决复杂问题并显著改善人们生活的一个强有力的例子。

Nicholas Card不为任何公司或组织工作、咨询、拥有股份或从任何公司或组织获得资金，这些公司或组织将从本文中受益，并且除了他们的学术任命之外，没有透露任何相关的隶属关系。