和谷歌抢人挖微软墙角 Facebook AI实验室5年逆袭之路
2018-12-10 来源:镁客网
坚持5年能得到什么?
马云说,“对于一家创业公司而言,能坚持做5年,就一定是‘牛’的。”
同理,对于一家传统互联网公司而言,能坚持5年用新技术为原有业务改头换面,更牛。
而从2013年12月10日对外正式宣布成立AI实验室FAIR至今,Facebook真真正正做AI正好5年时间了。这家在科技创新上素来以“落后、跟随”之姿发展的公司,如今也正在期待着凭借AI再创互联网社交传奇。
传统社交数据的爆发式增长
“没有深度学习,现在的Facebook就无法正常运营,因为它已经深入到Facebook的方方面面了。”FAIR创办者&首席AI科学家、卷积神经网络发明者之一的Yann LeCun在总结Facebook这5年发展时说道,“但实际上,在2013年之前,Facebook高层并不赞同成立这个实验室。”
众所周知,Facebook以传统社交互联网起家。而因初初创立时,扎克伯格还是哈佛大学的一名学生,所以这个社交平台一开始也只在哈佛大学的学生中被广泛熟知。
得益于互联网的快速发展,以及社交这一“有点就可扩散至面”的特性,Facebook很快便成为了美国高校学生日常社交的常用工具。
随着用户范围的扩大、开辟广告业务以及接入第三方服务,到2009年年初,Facebook的用户数就已超1.5亿,用当时扎克伯格的话说,“如果Facebook是一个国家,那么它将是世界上人口第八多的国家,比日本、俄罗斯和尼日利亚等国都多。”
但1.5亿的用户量和主要以图片为信息承载的社交模式,显然还不足以让扎克伯格为数据优化及处理忧心,而素来“后知后觉”的公司高层最关心也依旧是产品线的拓展。直到2013年的一次宴会,这一现状才有所改变。
其实,Facebook并不是不重视技术的发展,只是真的很“后知后觉”。这点,从历年来的F8大会就可以窥见一二。
2007年,Facebook召开了第一届F8大会,推出了面向开发者的社交图谱。次年,又推出了社交工具Facebook Connect。但实际上,这些只是基于Facebook现有业务所做的调整,而非技术创新性突破。
也因此,2009年的F8大会因没有新进展而停办。
此后两年时间里,虽然其做了多番调整,相继推出了新社交插件、Timeline、开放式图谱协议、图谱API等。但依旧可以看出,这些技术及产品不具备创新改革的能力。
为此,2013年的F8大会再次停办了,这对才上市不久的Facebook,是个不小的打击。
相关数据统计,到2013年年初,Facebook全球日活跃用户数已然超过了6.5亿。加之第三方服务、广告业务、视频直播、Instagram等产品线的发展,以及各产品间数据共享需求的增加,传统互联网技术俨然开始无法继续支撑下去了。
而此时,诸如谷歌、微软、苹果等同类互联网公司,早已开始向科技公司转型,如谷歌早在2010年就成立了谷歌X实验室,更是在2011年成立了谷歌大脑。而苹果更是在2011年就推出了智能语音助理Siri,将机器语音学习从实验室带到了大众的生活中。
此时的Facebook,显然已经落后了。
“Facebook CTO Mike Schroepfer此前一直不同意成立AI实验室,但事实显示,AI对于Facebook未来发展越来越重要。”LeCun回忆说,“在去扎克伯格家赴宴时,我和他详谈了AI的重要性。幸运的是,扎克伯格当时也认为‘开放创新’应该成为Facebook发展的重点。”
“之后没多久,FAIR就成立了。”
追赶深度学习
从成立之初,FAIR的定位便是一个负责研究技术的部门,其研究重点也大多聚焦在解决推理、预测、规划、无监督学习等底层技术问题上。
当然,技术研发离不开人才,但Facebook于AI方面的积累几乎为0。所幸,扎克伯格肯投入,除LeCun外,5年时间里,FAIR还相继吸引来了包括VC维和SVM的缔造者Vladimir Vapnik,提出随机梯度下降法的Léon Bottou,做出高性能PHP虚拟机HHVM的Keith Adams、ICCV 2017最佳论文得主何凯明等在内的多位深度学习顶级专家,甚至还用7位数年薪与Deepmind展开了抢人大战以及大力挖角微软。截止到目前,FAIR的团队规模就已扩大至了近200人。
如此大的人才投入下去,成果自然也不会少。
· Caffe2
沿袭Caffe的大量设计,2017年4月FAIR推出了兼具扩展性、高性能和便携性的Caffe2,一个轻量化和模块化的深度学习框架,可在移动设备上进行训练和预测。
· PyTorch
2017 年初,FAIR发布了基于Python开发的PyTorch。因其集成了Caffe2和ONNX 的模块化、面向生产的功能,提供从研究原型到生产部署的无缝路径,并与云服务和技术提供商进行深度集成,在GPU速度和内存使用率方面都极具优势。
今年10 月,Facebook还举办了第一届 PyTorch开发者大会,来自加州理工学院、FAIR、fast.ai、谷歌、微软、英伟达、特斯拉等多位行业顶级专家均有参与。
· FastText
为了加快机器文本分类和学习速度,2016 年FAIR推出FastText,可对数十亿个单词量文本进行快速分类。截止到目前,FastText已经可以对157 种语言的文本进行分类,也被应用于诸如“消息回复建议”等的场景中。除此之外,FastText还和DeepText相结合,进行自然语言理解和翻译。
· Fairseq机器翻译模型
基于CNN,FAIR推出了集速度、准确性和学习能力为一体的NMT神经机器翻译架构——Fairseq,其速度较谷歌的RNN提高了9倍。
而为了避免需要翻译大量的数据集(通常称为语料库),FAIR在去年发布了MUSE,通过监督和无监督式学习的方式,学习和翻译110种双语词典以及自我构建新的双语词典。
· bAbI
长期记忆能力不足是神经网络的缺陷之一,为此,FAIR开发了一个支持内存网络的机器学习模型,它能够参考此前的对话内容做记忆性回答。比如,在学习了《魔界》这部电影的剧情后,其就能概括出故事的最后戒指是出现在了Mount Doom中。
而为了让模型有足够的数据学习,FAIR还构建了一个问答任务数据集——bAbI,包含数千个对话示例,可以提高模型理解文本的准确性。
· Mask R-CNN
作为一个以图片分享为核心的社交平台,每天上传至Facebook上的图片数据量是极为庞大的。而为了在合适的时间为用户展示合适的图片,FAIR通过理解图片中的不同部分的像素,以理解图片的特殊含义,比如分析人手部动作的具体含义,实现图像实例分割。
目前,Mask R-CNN已被应用于检测劣质内容等场景中。未来,Facebook还将会应用它为AR、智能相机等业务赋能。
5年坚持下的“焕新”
可以看到,5年时间,Facebook在AI,尤其是深度学习基础技术研发上已初具规模。当然,任何高端技术在走出实验室之前,都无法创造实际价值。为此,在FAIR技术成果转化过程中,Facebook还成立了其第二大人工智能实验室AML,旨在研究AI技术的具体应用。
一般而言,如这样分成两个部门应该存在着很大的沟通交流问题,不过很显然,Facebook在这方面做的很好。所有来自FAIR的预测推理、视觉、语义理解技术都被广泛应用到Facebook的各个产品中,如其图片滤镜已可以跟Snapchat媲美,不同用户主页News Feed上呈现的内容是由机器图像分析后决定的以及清除垃圾数据、内容及邮件翻译、智能摄像监控、简化版数字助理“M”等,都是AI赋能的结果。
而在Facebook近年大力发展的VR/AR业务方面,上述中多项技术都有所应用。甚至还有消息称,Facebook内部已经在紧锣密鼓的研发语音助理,代号为 “Aloha”。
可以说,AI已经成为了互联网社交外,Facebook最核心的部分。从2014年开始,即便在今年遭遇重大数据泄露问题的情况下,F8大会再未出现停办的情况,也或多或少都有较为亮眼的新产品或技术推出。Facebook也终于在2016年发布的“十年版图”中,将AI、VR等技术放在了战略核心的位置上。
就连那位此前一直反对成立人工智能实验室的Mike Schroepfer也终于承认,“AI是Facebook未来三大重点发展领域之一,其余两个是虚拟现实和让更多的人连上网络。”
成果来之不易,坚持更是难上加难。虽然较之于谷歌、微软这样在底层技术方面素来领先的公司而言,Facebook目前还未能有突破性领先成果,但5年时间里,FAIR的多项成果及相关应用也足以说明,Facebook正在试图,或者说期待凭借AI再创其在互联网时代的社交传奇。
就连LeCun都说,“在FAIR创办之前,Facebook做的都是一些短期的工程项目,最长的项目周期也不过6个月。”由此可以期待,下一个5年,FAIR或许能给我们带来更多的惊喜。