2019年07月31日 | 脑机接口又有了新进展：Facebook与马斯克有何不同？

再过不久，我们仅靠意念就可以打字聊天、向计算机发出指令了。今天，Facebook 与加州大学旧金山分校（UCSF）发布了有关脑机接口研究的最新进展，其论文出现在了最新一期的自然杂志子刊《Nature Communications》上。

「今天我们分享的新工作有关构建非侵入式可穿戴设备，让人们只需通过想象要说的话即可完成『打字』动作，」Facebook 副总裁 Andrew Bosworth 表示。「这一进展显示了未来 AR 头戴设备输入和互动能力的新潜力。」

这项研究证明了人们在对话时大脑产生的活动可以实时解码为电脑屏幕上的文字——而在此之前，这样的工作都是离线完成的，实时「翻译」文字是脑机接口研究领域的第一次。研究人员表示，他们的算法目前为止还只能识别一小部分单词和短语，但正在进行的工作旨在翻译更多词汇，并大幅降低识别错误率。

这一研究的主要作者，加州大学旧金山分校副教授 Edward F. Chang 和他的博士后 David A. Moses。

新研究展示的可能性或许离我们还很遥远，Facebook 在随后发布的官方博客中表示：「这可能还需要十年时间……但我们认为可以缩小这个差距。」

Facebook 与 UCSF 的研究致力于通过实时检测大脑活动中的预期语音来帮助神经损伤的病人能像正常人一样交流。有趣的是，与很多检测大脑神经电流的方法不同，Facebook 与 UCSF 正在探索的策略是使用脉搏血氧仪，检测神经元的氧气消耗，从而检测大脑活动。这种间接、非入侵式的方法看起来安全很多。

2017 年，Facebook Reality Lab 脑机接口项目的研究主管 Mark Chevillet 给了自己两年的时间，证明利用非侵入式技术从人类大脑中每分钟读取 100 个单词的可行性。

两年过去了，结果也已经出来：「承诺言犹在耳，」Chevillet 表示，「我们确实认为这是可行的。」他计划继续推进该计划。该团队的最终目标是开发一种无需大声说话就能控制的 AR 头戴设备。

加州大学旧金山分校的神经外科医生 Edward Chang 是作者之一，他表示，该结果是迈向神经植入物的重要一步，可以帮助因中风、脊髓损伤等失去说话能力的人恢复正常交流。今年四月，Chang 的团队打造了一个不同的脑机接口，可以直接从大脑信号中解码语音。

提高解码准确性的法宝：添加语境

此次公布的这项工作的目标是提高解码大脑活动的准确性。研究者表示，他们正在解码来自大脑两个不同部位的两种信息，并将它们作为语境，结果对解码的准确性产生了相当大的影响。

解码准确性的提升基于一个简单的概念：添加语境。利用植入三名癫痫患者脑部的电极，研究者记录下他们在听一组录音问题时的脑部活动，并让他们把自己听到的东西大声说出来。

然后，他们利用这些大脑数据来训练机器学习算法。然后，当参与者再次被要求对问题作出回应时，算法仅利用脑部活动来判断参与者是否在听或说，然后尝试解码这些语音。

多数语音解码器的工作原理是猜测人想要说出什么话，因此常规的大脑解码器可能会被「synthesizer」（合成器）、「fertilizer」（肥料）这种发音相似的词搞混。

但本文提到的新系统加入了语境来区分这些容易混淆的内容。首先，该算法从一组已知的问题中预测听到的问题，如「你在田里撒了什么？」。然后将该信息作为语境来帮助预测答案：「肥料」。

问（蓝色）答（红色）任务中实时语音解码原理图。

Chang 表示，通过添加语境，脑机接口预测答案会更加容易。借助于一组受限制的特定问答，该系统能够解码感知到（听到）和生成（口语）的语音，准确率分别达到 76% 和 61%。但团队希望将来可以扩大系统的词汇量。

他还表示，算法效果越好，计算机速度越快，解码速度也会越快。过去需要花费数周甚至数月时间进行脱机处理的内容现在可以实时完成了。

Facebook vs. Neuralink：两条不同的脑机接口路线

Facebook 此次低调发布脑机接口新突破与前不久马斯克高调公布其脑机接口公司 Neuralink 新进展形成了鲜明对比。

Neuralink 发布的脑机接口「缝纫机」。

与马斯克的侵入式脑机接口不同，Facebook 想要制造一种借助于红外光从外部接收大脑信号的 AR 头戴设备（相关技术细节的描述参阅 Facebook 博客），而 Neuralink 正开发包含 3000 个柔性电极的可植入阵列，以增强脑功能。

这两种不同的开发模式似乎昭示着两家公司展开竞争，从而能够率先提供能够解码脑活动的商用脑机接口。但是，达成这一目标可能是一个缓慢发展的过程，并不能一蹴而就。

Chevillet 对此表示：「由于这项技术依然处于早期研究阶段，所以我们并没有任何实际的产品规划。」

与此同时，Chang 希望可以尽快为那些无法开口讲话的病人带来有意义的改变。截至目前，团队所有工作都是与那些能够开口讲话的志愿者一道完成的。所以，团队将花费一年时间对那些语言能力缺失的单一研究参与者们展开研究，以在电脑屏幕上生成相关文本。

所有数据将由加州大学旧金山分校收集，并存储在学校服务器中，施以严格保密。同时，与 Facebook 合作获得的所有研究成果将进行发表，并向学界开放。Chang 强调称：「我希望这不仅有益于我们正在从事的研究，还将使整个领域获益。」

华裔教授团队

这项研究的大部分工作是在 UCSF 完成的，美国加州大学旧金山分校华裔科学家 Edward F. Chang 的团队近年来因为脑机接口的研究而被人们所熟知。今年 4 月，该团队使用人工智能识别大脑电信号并将其输出为合成语音的工作登上了《自然》杂志。

Edward Chang 教授。

Edward Chang 是加州大学旧金山分校的神经外科和生理学副教授。他的研究方向主要是人类语言、运动和认知的大脑活动机制。他还是加州大学伯克利分校和加州大学旧金山分校的神经工程与义肢中心的联合负责人。

今天发表的研究结果是加州大学旧金山分校大型研究项目 Project Steno 的一部分。据介绍，Project Steno 的最后阶段将涉及为期一年的研究，以确定人类能否利用大脑活动来恢复残疾人的交流能力。除了提供资金外，一小组 Facebook 研究人员正在与 Chang 和他的实验室直接合作，以提供工程支持。

增强现实技术的愿景是让人与人、人与世界无缝连接起来，让我们可以在交流的同时无需将目光转向手机屏幕，这将会是一种颇具未来感的方式。不久之后，从大脑实时读取文字信息的技术或许就会出现在我们的生活中。

参考内容：
https://spectrum.ieee.org/the-human-os/biomedical/devices/brain-implant-decodes-dialogue-from-neural-activity
https://www.nature.com/articles/s41467-019-10994-4
https://tech.fb.com/imagining-a-new-interface-hands-free-communication-without-saying-a-word/