嵌入式
返回首页

三星的AI模型可让照片动起来,不需要传统的3D建模

2019-05-24 来源:eefocus

来自莫斯科三星人工智能中心和斯科尔科沃科技学院的工程师和研究人员已经创建了一个模型,可以从图像中生成逼真的“会说话”的动画头像,而不需要传统的3D建模方法。

 

三星去年在莫斯科、剑桥和多伦多开设了人工智能研究中心。

 

工程师Egor Zakharov在解释研究结果的视频中说:“事实上,这种学习模型就像一个人的现实化身。”

 

该模型上出现的名人包括玛丽莲·梦露、阿尔伯特·爱因斯坦、列奥纳多·达·芬奇的《蒙娜丽莎》和嘻哈界知名人物,武当帮领导者RZA。这项技术专注于合成逼真的头部图像和面部特征,可以应用于视频游戏、视频会议,或者像现在三星Galaxy S10那样的数字化身。

 

很明显,这种技术也可以用来合成某种电影,你懂得。

 

Few-shot learning意味着该模型可以开始使用一些甚至是单人的图像来生成一个人脸的动画。首先使用VoxCeleb2视频数据集进行元训练,然后该模型才能对以前未见过的人脸进行动画处理。

 

在训练过程中,该系统建立了三种神经网络: 嵌入式网络将帧映射到矢量,生成网络将合成视频中的人脸地标映射到生成的图像中,并通过鉴别网络对生成的图像的真实感和姿态进行评估。

 

“至关重要的是,该系统能够以一种特定于人的方式初始化生成器和识别器的参数,这样,尽管需要调整数千万个参数,但训练可以基于少量图像并快速完成。我们的研究表明,这种方法能够学习到非常逼真、个性化的动画人脸模型,甚至是肖像画。” 合作者在arXiv论文的摘要中说。

 

华盛顿大学(University of Washington)的研究人员去年分享了他们是如何创造出ObamaNet的。这是一种基于Pix2Pix的唇形同步模型,根据美国前总统奥巴马的视频进行训练。

 

加州大学伯克利分校(University of California, Berkeley)的研究人员去年秋天推出了一个模型,利用YouTube上的视频训练人工智能数据集跳舞或做后空翻等杂技动作。


进入嵌入式查看更多内容>>
相关视频
  • 【TI MSPM0 应用实战】智能小车+工业角度编码器+血氧仪+烟雾探测器!硬核参考设计详解!

  • FollowMe 第二季:3 - EK_RA6M5 开发板入门

  • FollowMe 第二季: 1 Adafruit Circuit Playground Express及任务讲解

  • Azure RTOS step by step workshop

  • 2022 Digi-Key KOL 系列: 你见过1GHz主频的单片机吗?Teensy 4.1开发板介绍

  • 从0到1:树莓派与物联网教程(英文)

精选电路图
  • 1瓦线性调频增强器

  • 12V 转 28V DC-DC 变换器(基于 LM2585)

  • 红外遥控音量控制

  • LM317过压保护

  • 12V转110V/220V 500W逆变器

  • DS1669数字电位器

    相关电子头条文章