历史上的今天
返回首页

历史上的今天

今天是:2024年10月14日(星期一)

正在发生

2020年10月14日 | “人脸识别”居然也能靠耳机?

2020-10-14 来源:大数据文摘

用 AI 使蒙娜丽莎动起来,甚至是跟着你的表情一起运动,随着技术的发展,这些都已经不是什么新鲜事了。

 

image.png?imageView2/2/w/550


这些面部追踪系统,往往都需要一定精度的摄像头。

 

但是,如果文摘菌告诉你,这些摄像头其实全都可以撤掉呢?

 

别急着反驳,这已经被康奈尔大学的研究人员实现了,整个过程他们没有用到过一个面对用户正脸的摄像头,就成功地实现了面部追踪,至于效果,好像也没有差到哪儿去。

 

按照惯例,我们还是先看看追踪效果如何:

 

 

既然没有用到摄像头,那我们来试试戴上口罩的效果:

 

image.png?imageView2/2/w/550

 

这时候可能有人想问了,不用摄像头,怎么追踪到的面部表情?

 

文摘菌给一个提示,看到他们戴在耳朵上的仪器了吗?是的,他们主要使用的,其实就是那副耳机,用户的表情就能被实时转换为表情。

 

这种方法比用摄像头的 “传统方法”更好的一点在于,即使戴着口罩,系统也可以追踪用户的面部表情,这样的话人们就不用专门取下口罩了。

 

这个系统被取名为 C-Face(Contour-Face)。

 

康奈尔大学 SciFi 实验室主任、C-Face 论文的高级作者张铖在一份声明中说:“该设备比任何现有的耳挂式可穿戴技术都更简单、更引人注目,功能也会更强大。”

 

“在以前的旨在识别面部表情的可穿戴技术中,大多数解决方案都需要在面部上安装传感器,但即使用了如此多的传感器,不少系统最终也只能识别有限的一组离散面部表情。”

 

image.png?imageView2/2/w/550

 

抓取 42 个特征点,C-Face 还支持无声命令和聊天表情发送

 

在这个项目中,研究人员也不是完全没有用到摄像头,只不过他们用得及其隐蔽。

 

可能已经有 “陈独秀”想要抢答了,注意观察使用者的耳朵下方,左右分别配备了一个 RGB 摄像头,这些摄像头能够在使用者移动面部肌肉时,记录下脸颊轮廓的变化。

 

image.png?imageView2/2/w/550

 

除了入耳式耳机,头戴式耳机也同样可以安装摄像头,进行面部识别工作。

 

image.png?imageView2/2/w/550

 

在使用计算机视觉和深度学习模型重建图像后,卷积神经网络能够分析 2D 图像,将面部特征转换为 42 个面部特征点,这些特征点分别代表了使用者的嘴巴、眼睛和眉毛的位置和形状。

 

有了详细的脸部追踪数据,C-Face 可以将这些数据转换成八种不同表情,包括中立或愤怒。

 

不仅如此,C-Face 还支持使用面部表情控制音乐应用程序上的播放选项。

 

手机在桌上充电,但是现在只想摊在沙发上不想动,你甚至不用说出声音,就能播放歌曲:

 

 

或者,你在聊天的时候想要发送表情,但是死活找不到表情包了,怎么办?

 

这个时候,你可以直接做出相关表情,系统就能识别并直接发送出去,简直不要太方便:

 

 

不过,由于受到新冠疫情的影响,研究人员目前只在 9 名参与者的情况下测试了 C-Face。尽管数量不大,但表情识别的准确度超过了 88%,面部提示的准确度超过了 85%。

 

同时,研究人员发现,耳机的电池容量限制了该系统的持续作用,他们正在计划开发功耗更低的传感技术。

 

深耕于人机交互领域的华人教授张铖

 

在这个项目的研发团队中,文摘菌发现了一位华人教授的身影——张铖,他也是这个研发团队的负责人。

 

根据张铖个人网站介绍,他目前是康奈尔大学计算机和信息科学的助理教授,同时也是未来交互智能计算机接口(Smart Computer Interfaces for Future Interaction,SciFi)实验室主任。

 

从南开大学的本科,到以中国科学院软件研究所的优秀毕业生身份毕业,再到前往美国佐治亚理工学院 Ubicomp 实验室继续深造,张铖始终对普适计算(ubiquitous computing)和人机交互(HCI)怀有浓厚的兴趣。

 

在中国科学院期间,他就针对有形用户界面、儿童人机交互、音乐界面等进行了初步研究,获得了第一手的研究经验。

 

在张铖的博士论文中,他介绍了 10 种用于可穿戴设备的新型输入技术,有些利用了商用设备,有些采用了新的硬件。与大多数人不同,张铖习惯于从头到尾建造传感系统,包括理解物理现象、构建硬件原型、设计形式因素、处理数据和设计算法 (机器学习或基于物理的建模)。

 

截至目前,张铖在人机交互和普适计算领域的顶级会议和期刊上发表了十多篇论文,还获得了两项最佳论文奖,同时他还身怀超过 10 项美国和国际专利。 如果有同学对人机交互感兴趣,可以多逛逛 SciFi 实验室主页,他们还有好多有意思的项目~

推荐阅读

史海拾趣

Block USA Inc.公司的发展小趣事

在支付与金融服务领域取得成功后,Block USA Inc.还尝试了跨界合作,推出了音乐软件TIDAL。这一举措旨在通过提供高品质的音乐体验,吸引更多年轻用户群体,并进一步扩大Block的品牌影响力。虽然音乐市场竞争激烈,但TIDAL凭借其独特的音乐资源和用户体验,逐渐在市场中占据了一席之地。

Crouzet公司的发展小趣事

Crouzet一直致力于产品创新和技术研发。公司的产品线不断丰富,涵盖了自动控制元件、智能控制器、可编程逻辑控制器、触摸屏、测量传感器、模拟和数字电子元件等多种产品。这些产品广泛应用于汽车、化工、电力、机械、消费电子、空调和冷库、石油和天然气等多个行业,为客户提供了高效、可靠的自动化解决方案。

Display Engineering Services公司的发展小趣事

经过多年的发展,Crouzet已经成为全球知名的自动化产品供应商之一。公司在全球拥有20家工厂和5家研发中心,分布在欧洲、亚洲、北美洲等地区。同时,Crouzet还在全球17个国家设有销售网络,为全球客户提供优质的产品和服务。展望未来,Crouzet将继续秉承创新、卓越的理念,不断推动自动化技术的发展,为全球客户提供更加高效、可靠的自动化解决方案。

通过以上五个故事,我们可以看到Crouzet公司在电子行业发展的历程中,始终保持着对技术创新和市场需求的敏锐洞察,通过不断的产品创新和市场拓展,逐步发展成为全球知名的自动化产品供应商之一。

Curtis Electromusic Specialties Inc公司的发展小趣事

在电子行业的激烈竞争中,CUI公司凭借其在材料科学领域的深厚积累,成功研发出了一种新型高性能碘化亚铜材料。这种材料不仅具有优异的导电性能,而且稳定性极高,能够在极端环境下保持稳定的性能。凭借这一技术创新,CUI公司的产品迅速获得了市场的认可,并在多个关键领域得到广泛应用,从而实现了公司的快速发展。

Deutsch公司的发展小趣事

为了进一步扩大市场份额,Deutsch公司开始积极寻求国际合作和市场扩张的机会。公司首先通过市场调研,确定了目标市场,并制定了详细的市场拓展计划。随后,通过与当地合作伙伴建立合作关系,Deutsch公司成功进入了新兴市场。在国际市场上,公司凭借其高品质的产品和优质的客户服务,赢得了客户的信任和认可。这些努力使得Deutsch公司的市场份额逐年上升,成为电子行业的领军企业之一。

CSB公司的发展小趣事

随着技术的不断发展和市场的日益成熟,CSB公司意识到单纯依靠技术创新已无法满足企业长远发展的需求。于是,公司开始加强市场拓展和品牌建设。通过积极参加行业展会、加大广告宣传力度、优化销售渠道等方式,CSB公司成功提升了品牌知名度和美誉度。同时,公司还注重与合作伙伴建立长期稳定的合作关系,共同开拓市场,实现互利共赢。

问答坊 | AI 解惑

AD7705 中文1

本帖最后由 paulhyde 于 2014-9-15 09:13 编辑 AD7705 中文1  …

查看全部问答>

DSP系统的测试和调试1

DSP系统的测试和调试1…

查看全部问答>

软硬兼施

我是搞纯软件的,c和vc多做过。现在由于工作需要必须要硬件一起上,这该如何是好啊??…

查看全部问答>

磁盘的一直在转,而且磁道是完全对称的环形,怎么准确寻址扇区呢?

扇区的绝对地址是相对于第0个扇区来说的,可是磁盘的一直在转,而且磁道是完全对称的环形,没有任何一个扇区在物理上是特殊的,系统是怎么寻址磁盘的第0扇区的呢?…

查看全部问答>

请熟悉techwell tw6802/6805的朋友帮忙

我系一在校学生,导师弄了块 techwell tw6802(似乎又象6805)的视频采集卡,让我写个linux驱动。 在官方网站上没有一点与技术相关的资料, 真奇怪。 请有做过这方面的朋友 能否发点 与tw6802/tw6805相关的资料(比如datasheet,代码都可)给 ...…

查看全部问答>

调查,开发WINCE时 用mfc 还是API多 ?

调查,开发WINCE时 用mfc 还是API多 ?…

查看全部问答>

网络版原理图==stm32核心板+w5100模块

http://www.stmsky.com/bbs/viewthread.php?tid=1446&extra=网络版原理图==stm32核心板+w5100模块可以直接联网 ping 192.168.1.2直接打开  显示  hello world…

查看全部问答>

Error[Pe065]: expected a ";"另一个程序就没有这个问题啊

#pragma vector=ADC_VECTOR __interrupt void ADC12ISR (void) {     static uchar index = 0;        results[index++] = ADC12MEM1;               // Mo ...…

查看全部问答>

大侠们帮忙啊

本人大四学生,机械电子工程专业,毕业设计课题发下来了,做基于S3C2440的UCOS II的系统移植,之前只有一些51单片机的基础,知道要做成这个很难,现在买了本UCOS的书,就是开发者编写的,还有本ARm体系,开发板也买了,很快就会到!!想请求各位怎 ...…

查看全部问答>