历史上的今天
返回首页

历史上的今天

今天是:2025年01月17日(星期五)

正在发生

2019年01月17日 | 人工智能读心术:科学家在“破译”大脑语言密码上取得新进展

2019-01-17 来源:大数据文摘

对于许多无法发出声音的人来说,他们想说的话会通过某种信号隐藏在大脑中。

人类无法直接破译这些信号。但是,最近有三个研究小组在“破译”这种大脑语言密码上取得了一定进展。

Science杂志最新报道了哥伦比亚大学(Columbia University)、德国不莱梅大学(Bremen)和加州大学旧金山分校的三个研究小组的相关研究:通过手术,他们在大脑上放置电极,搜集电极产生的数据,再将其通过计算机变成语音信息;接着通过神经网络模型,他们重建了在某些情况下,可以被人类听众所理解的单词和语句。

通过计算机让失去语言能力的人表达自己并不罕见,物理学家斯蒂芬·霍金在世时,就会通过拉紧他的脸颊肌肉,以触发安装在眼镜上的开关。对于经历中风或其他疾病失去说话能力的人,他们可以使用他们的眼睛或做出其他小幅动作用来控制光标或选择屏幕上的字母。

但是,如果脑机接口直接重塑语音,这样的患者可能会重新获得更多曾经丧失的能力:例如,控制音调变化,或者介入一个快速的对话。

研究该问题的道路困难重重。哥伦比亚大学(Columbia University)计算机科学家Nima Mesgarani说:“我们正试图找出在不同时间点打开与关闭神经元的模式,并由此推断语音内容。” “神经元间的映射并不浅显直白。” 这些信号如何转换为语音声音因人而异,因此模型必须针对每个人进行独特“训练”。

这些模型将在非常精确的数据上表现最好——而搜集这些精准的数据需要打开我们的头盖骨。

研究人员只能在极少数情况下才会进行此类危险性记录:一种情况是在移除脑肿瘤期间,暴露在外的大脑产生的电读数能够帮助外科医生定位以避开关键的语音及运动区;另一种情况是在手术前为癫痫患者植入电极并保持数天以确定癫痫发作起因。

瑞士日内瓦大学神经工程师Stephanie Martin表示说,“我们最多只有20分钟,最多30分钟来收集数据——真的非常非常受限。”

新论文背后的研究组尽量最大化利用数据、将信息提供给神经网络;神经网络通过将信息传递到计算“节点”层来处理复杂的行为模式。网络通过调整节点之间的连接来学习。本实验则使用人类产生或听到的语音以及与此同时大脑活动的数据来训练神经网络。

Mesgarani的团队的研究使用了五名癫痫患者的数据。

随着病人们听到故事录音以及0至9数字录音,他们的神经网络同步分析其听觉皮层(该皮层在语音和听力过程中都很活跃)活动。随后计算机仅根据神经数据来重新生成数字。有一组听众会在计算机“说出”数字同时对其进行评估;其精确度大约为75%。

由德国不莱梅大学(Bremen)计算机科学家Tanja Schultz领导的另一个团队使用了六名接受脑肿瘤手术的人的数据。

他们让被测试者朗读单音单词,用麦克风捕捉他们的声音。同时,大脑的语音规划区和运动区产生的电极会被记录下来(这些电极向声道发送命令以清楚地表达单词)。

现在正与马斯特里赫特大学(Maastricht)合作的计算机科学家Miguel Angrick和Christian Herff训练了一个将电极读数映射到录音然后从以前看不见的大脑数据中重建单词神经网络。根据一项计算机评分系统,大约40%的计算机生成单词是可以理解的。

最后,加州大学旧金山分校的神经外科医生Edward Chang和他的团队根据由三名癫痫患者大声朗读语音引起的、从语言及运动区域捕获的大脑活动,重建了整个句子。

在线上测试中,有166人听懂了其中一个句子,并从10项文字选项中进行选择。超过80%的情况下模型都能够正确识别句子。研究人员还进一步改进了模型:他们使用它根据人类的唇语来重新创建句子。Herff说,这是一项重要的结果——“离我们所有人都设想到的‘语言修复’更近了一步。”

然而,“我们真正想知道的是当患者不能说话时,(这些方法)将能够如何起作用”,加州圣地亚哥州立大学研究语言生成的神经科学家Stephanie Riès说。

一个人默默说话或在自己脑中听到自己声音时的信号,与真正说话或听到某些内容时产生的信号并不是完全相同的。如果没有外部声音来匹配大脑活动,计算机甚至可能连理清内部语音开始与结束位置这种任务都很难完成。

奥尔巴尼纽约州卫生部国家自适应神经技术中心的神经工程师Gerwin Schalk说,解码大脑中的演讲将需要“科学大跃进”:“根本不清楚如何做到这一点。”

Herff说,有一种可能的方法,是向大脑-计算机交互界面的用户提供反馈:如果他们能够实时听到计算机的语音解释,他们可能能够即时调整他们的想法以获得理想结果。

通过对用户和神经网络的充分训练,大脑和计算机可能最终能达成一致。


推荐阅读

史海拾趣

Cressall Power Resistors公司的发展小趣事

随着全球环保意识的提高,Cressall积极响应绿色生产的号召。公司投入资金研发环保型功率电阻器,采用环保材料和生产工艺,减少了对环境的污染。同时,公司还加强了对废弃物的处理和回收利用,实现了资源的循环利用。这些环保措施不仅提升了公司的社会形象,还为公司带来了更多的商机。

依必安派特(ebmpapst)公司的发展小趣事

为了进一步满足中国市场的本地化需求,依必安派特在2005年成立了依必安派特电机(上海)有限公司,开始了国产化进程。这一举措不仅提高了产品的性价比,还缩短了交货周期,使得依必安派特在中国市场的竞争力得到了显著提升。随着国产化产品的快速增长,依必安派特在中国的前十年市场业绩突飞猛进,为后续的飞跃发展打下了坚实基础。

AdaptivEnergy公司的发展小趣事

1996年,依必安派特在上海外高桥保税区设立了其在中国的首个据点——依必安派特风机(上海)有限公司。最初,它仅作为销售为主的贸易公司,为中国市场提供德国制造的风机和电机产品。然而,随着中国市场的快速增长和需求的不断变化,依必安派特意识到仅仅作为贸易公司已无法满足市场需求。于是,在2000年,依必安派特电气(上海)有限公司正式成立,开始在上海本地生产风机和电机,标志着依必安派特从贸易到制造的转变。

无锡友达公司的发展小趣事

随着产品性能的不断提升和市场需求的扩大,无锡友达开始积极拓展国内外市场。公司的产品不仅覆盖国内二十多个省、市,还远销欧美、中东、港澳台等国家和地区。通过与国际知名企业的合作,无锡友达不断提升自身的品牌影响力,逐渐在全球电子行业中占据一席之地。

Green Power Solutions公司的发展小趣事
电解电容漏液、击穿或老化也会影响稳压器的性能。
Dell公司的发展小趣事
定期清洁稳压器的外壳和内部灰尘,保持散热良好。

问答坊 | AI 解惑

51单片机C语言应该怎样入门

之前我是用汇编的,现在想学一下C语言,不知道从何学起。…

查看全部问答>

需要一个北京地区的兼职linux编程人员

需要一个北京地区的兼职linux编程人员,要求可以独立完成下列开发, 不符合条件请勿打扰,以免浪费你我时间 要求熟悉MINIGUI,具体编程内容: 从COM口读入数据,在14英寸以上显示器上显示如下图形界面: 屏幕正中间一个圆形,圆形里面显示从串 ...…

查看全部问答>

HR说让回去看看ARM,配哪个操作系统好呢???

额刚刚签的工作。HR说让回去看看ARM。也是一点都没有接触过啊 。晕死。配哪个操作系统好呢???…

查看全部问答>

山东省2010电子设计大赛群,速加啊,咱讨论讨论!!!

本帖最后由 paulhyde 于 2014-9-15 08:54 编辑 山东省2010电子设计大赛群,速加啊,咱讨论讨论!!!  116389549 山东省2010电子设计大赛群,速加啊,咱讨论讨论!!!  116389549 山东省2010电子设计大赛群,速加啊,咱讨论讨论!!! &n ...…

查看全部问答>

LED照明发展中五个亟待解决的问题

  LED照明发展中五个亟待解决的问题 ——色温范围、照明标准、亮度范围、照明总均匀度和眩光控制   最合适的LED照明灯具色温范围,应该是接近太阳自然白光的色温范围才是最科学的选择;较低照射强度的自然白光,就可以达到其他非自然 ...…

查看全部问答>

cc2430重连的问题

我用的是CC2430模块,用了一个网关,一个路由,4个终端节点组网成功过后,重启网关或路由设备,怎样改写程序,才能让终端设备自动重新连接到网关呢?我是过NV_RESTORE这个编译选项,不过貌似没有什么用。用没有人已经解决这个问题,给一个指点。…

查看全部问答>

··请教PCB板子外形和定位孔设置的问题,谢谢··

    我用得是AD6.9,在做板子的时候,需要做这么一个槽,   用快捷方式T-V-T,设置之后,用3D看没问题,     可是做GEBER文件的时候,这里没显示要钻孔,只显示是禁止布线层, 还用这种方式做了几个定位孔 ...…

查看全部问答>

2013年MSP430版块建设规划-by wstt

1、持续的DIY和原创激励在MSP430版块上建立EEworld MSP430月度最佳项目评选活动,该活动每月评选一次,选出一个月中最佳的DIY项目或者原创项目。基本的活动流程如下:每个月的28日为该月度参选项目的参评截止日期。凡是在上个月28日之后至本月28日 ...…

查看全部问答>

我这个简单程序发送发任何值,收到的都是00

这是代码: #include __CONFIG( FCMEN_OFF & IESO_OFF & CLKOUTEN_OFF & BOREN_OFF & CPD_OFF & CP_OFF & MCLRE_ON & PWRTE_OFF & WDTE_ON & FOSC_INTOSC); //__CONFIG( FCMEN_OFF & IESO_OFF & CLKOUTEN_OFF & BOREN_ON & CPD_OFF & CP_OFF & M ...…

查看全部问答>

精密电压源+DDS交流信号源PCB(99se)

精密电压源+DDS交流信号源PCB(99se) 延续ADI DIY活动及瑞萨DIY活动…

查看全部问答>