2018年03月25日 | 深度学习对机器学习有什么样的影响？AI大佬给你答案

深度学习对机器学习有什么样的影响

PartyLikeLizLemon：

现在机器学习有很多研究看起来似乎转向了深度学习。请问您认为这现象会对机器学习研究的多样性有什么负面影响吗？是否应该彻底放弃其他范式的研究，如概率图模型、支持向量机等来支持深度学习研究呢？要知道这些模型在当下的表现可能不是很好，但也不排除在未来会出现突破，就像深度学习在上世纪90年代的那样。

Yann LeCun：

当AI技术继续发展时，我感觉，深度学习只是其中的一部分。你可以在复杂的（可能是动态的）图中集成参数化模块，并根据数据进行优化参数，这种想法并没有过时。从这个意义上，只要我们还没有找到不需使用梯度优化参数的高效方法，深度学习就不会过时。也就是说，正如今天我们所知，对于完整的AI，仅有深度学习是不够的。我一直认为，定义动态深度架构（即按程序定义计算图，其结构随着新的输入而改变）的能力可以将深度学习泛化为可微编程（Differentiable Programming）。

但实际上，我们至少遗漏了两件事：(1)能够推理的学习机器，而不仅仅是感知和分类；(2)学习机器可以通过观察世界来学习，而不需要人工训练的训练数据，也不需要与现实世界进行太多的交互。有些人把这叫做无监督学习，但这句话太含糊了。

我们需要的是，让机器能够学会模仿人类婴儿和动物的行为，它们主要通过观察，只需很少的交互就能建立世界的模型。我们怎么才能让机器做到这一点呢？这就是未来十年的挑战。

关于你的第二个问题，深度学习和图模型之间并不存在对立关系。你可以如此使用图模型例如因子图，其中的因子是完整的神经网络。这些都是正交的概念。人们曾在深度学习框架上构建了概率编程框架（Probabilistic Programming frameworks），例如Uber的Pyro，就是建立在PyTorch上（概率编程可看作是图模型的泛化，类似可微编程是深度学习的泛化）。在图模型中使用反向传播梯度进行推理是非常有用的，当数据匮乏并可以进行手动特征化时，SVM/核方法、树模型等更好用。

Eric Horvitz：

深度神经网络进行分类和预测的表现让人兴奋不已。当这些方法结合了强化学习时，我们看到，目标识别、语音识别、翻译、甚至学习最优策略的准确率都在不断提高。然而，AI是一个很宽泛的领域，其下有很多令人惊叹、前途光明的分支学科，并且，AI的机器学习分支也有大量的分支。

我们需要继续深入投资开发有前途的AI技术（结合各方取得的进步），包括概率图模型、决策理论分析、逻辑推理、规划、算法博弈论、元推理和控制论等已有的丰硕成果。我们还要进行更为广泛的探索，如将有限理性模型泛化到开放世界中研究智能体的限度。

我们在Microsoft研究院做了一个研究，同时在推动DNN，以便更广泛地投资于AI领域的人才和项目，正如我们1991年成立以来所做的那些。当然，我们也对理解如何将逻辑推理和DNN以及其他形式的机器学习相结合感兴趣，例如，我们在关于DNN和逻辑示例相结合的工作中，做到自动编程。在这些结合中，我们看到了一些很好的机会。

AI时代，就业会发生哪些变化

english_major：

您认为对下一代而言，有哪些职业会被AI取代，又有哪些职业是安全的呢？我是以经常为学生提供就业选择建议的高中老师身份来提问的。很多人谈论人工智能颠覆的行业主要集中在驾驶汽车方面，而忽略了其他领域。我现在有个学生想成为飞行员，我让他了解一下无人驾驶飞机，但他并不认为这是威胁。我给学生们讲，贸易行业是比较保险的选择，尤其是那种需要大量流动性的贸易。另外，还有哪些领域现在看起来比较安全呢？

Peter Norvig：

我认为，与其考虑职业，不如思考任务更为有意义。如果一位雄心勃勃的商业飞行员在1975年寻求建议，那么就该这么建议：你喜欢起飞和着陆吗？未来很多年你都可以这么建议。很遗憾的是，这个任务几乎全部实现了自动化。因此，我认为大多数领域都是安全的，但你在任何工作中所做的任务组合都将会改变，不同职业之间的报酬差异也会改变，而且每个工种所需的人数也会改变。我们很难预测这些变化。比如，现在很多人在开卡车，但未来有一天，这些长途驾驶大多数会变成自动化。我想，驾驶座应该还会坐着一个人，但他们的工作重点是装卸货物和客户关系/推销，而非驾驶。如果他们最终可以在行驶时在驾驶室内睡觉，或者编排更大规模的卡车车队，那么你会认为，我们需要的卡车司机会更少，但如果卡车运输成本相对于铁路或海路运输下降，则需求可能会增长。因此，现在很难预测几十年后的事儿，我的建议是，保持灵活性并为学习新事物做好准备，无论是某个职业内任务发生变化还是更换职业。

Eric Horvitz：

AI技术的发展会对经济中的劳动力产生多重影响。我相信有些变化可能是颠覆性的，并且可能会很快就出现，这样的颠覆可能会出现在汽车司机上。其他影响还包括工作执行的方式和人们执行不同领域的任务的方式。总的来说，我对AI技术的发展对工作分配和工作性质的影响持积极态度。我看到很多任务都得到了更复杂的自动化的支持，而不是被它们取代了。其中就包括艺术和科学探索领域内的工作，以及需要人类精细操作的工作。另外还有很多工作，需要依赖人与人之间相互合作和照顾，比如教学、指导、医疗照护、社会工作和抚养孩子等等。关于后者，我希望在这个自动化日益增多的世界里，能看到更为显著的“关爱经济”的兴起和支持。

人们可能对近期一些关于思考未来状况的研究感兴趣。这里有一份非常有意思的研究，思考了机器学习的进步在特定功能方面对工作的影响： http://science.sciencemag.org/content/358/6370/1530.full 。我给诸位推荐这篇文章，因为这是一篇能够帮助公众了解如何将某些结构组合起来预测人工智能和工作就业的未来的文章。

顺便说一句：昨天我们在Austin的美国科学促进会（AAAS）举行了一次会议，讨论人工智能的进步是如何增强人类能力和改变任务的。 你可以访问这个网址：

https://aaas.confex.com/aaas/2018/meetingapp.cgi/Session/17970

Yann LeCun：

我们还需要等很久很久才能有机器人管道工、木匠、手艺人、理发师等等。一般来说，人工智能不会取代工作，但会改变工作。最终而言，藉由人工智能，每个工作都会因此更为高效。但是，需要人类创造力、互动和情商方面的工作，很长时间内并不会消失。科学、工程、艺术、工艺制造等创造性的工作，还会继续保留。

如何构建通用人工智能

Youarenotright2：

请问如何将任务特定的AI突破到更为通用的人工智能？就目前看来，我们似乎花费了大量的精力用于围棋竞赛，或者使用深度学习来执行特定的科学任务。这些成就非常炫酷，但是，相比大多数人心目中的AI来说，还很狭隘。我们如何构建能够适应任意任务通用人工智能呢？我觉得通过简单的拼凑数百万个任务特定的应用，并不能构建通用智能。

Yann LeCun：

依我看，让机器通过观察来学习世界预测模型是通用人工智能的最大障碍。人类婴儿和很多动物似乎都可以通过观察世界并与其互动获得一种常识（尽管与我们的强化学习系统相比，它们只需很少量的互动），我的直觉是，大脑中很大一部分是预测机器。它训练自身以预测所有事物（预测未见过的事物，如从过去和现下的经验预测未来），通过学习预测，大脑构建了层次化的表征。预测模型可用于规划和学习新的任务，只是和世界的交互很少很少。目前的“无模型”强化学习系统，如AlphaGo Zero，需要与“世界”进行大量的互动来学习（虽然它们确实学习的很不错）。它们在围棋或象棋上表现很好，但这样的“世界”太过简单，太过确定，而且可以同时在许多计算机上高速运行。与这样的“世界”互动很容易，但在现实世界中却行不通。你总不能将汽车开到悬崖五万次才学会“不要把车开到悬崖边”的规则吧？大脑的世界模型会告诉我们（哪怕只有一次经验）：把车开到悬崖是很坏的主意。我们如何让机器学习也拥有这样的世界模型呢？

Eric Horvitz：

是的，最近人工智能领域取得的胜利确实推动了应用的发展，公众也把AI炒作得很厉害。但是，目前人工智能实际上就是智能而狭隘的“专家”。

我们远远没有取得人类智能的终极奥义，其中就包括人类如何在开放世界中以无监督的方式学习（如人们一听到“人工智能”一词就联想到很多事情）、形成“常识”的机制以及我们为什么能够轻松归纳那么多事情的秘密。

目前有几个研究方法可以促进通用智能的发展。一种方法是采用综合人工智能方法：将多种特定能力（如语音识别、自然语言、视觉、规划和推理）有机结合起来，然后探索这些应用的关联性问题。另一种方法是研究像DNN的核心方法论，探索其中更通用的结构。在此，我推荐一篇文章，可以给我们提供一个有趣的通向通用人工智能的框架和方向：

http://erichorvitz.com/computational_rationality.pdf

对入门AI从业者的建议

ta5t3DAra1nb0w：

我是一名核工程/等离子体物理学研究生，正计划转向AI研究。关于AI领域：AI研究的下一个里程碑是什么？当前的挑战是什么？关于该领域的专业技能发展：为了在该领域取得成功，我需要具备那些重要的技能/知识？您对刚入门的人有什么一般性的建议或者推荐的学习资源吗？

Yann LeCun：

下一个里程碑是深度无监督学习，可以进行推理的深度学习系统。无监督学习的挑战是，如何学习世界的层次化表征，从而理解变化的解释因素。我们如何训练机器学习在不完全可预测的世界中进行预测？就好比我掉落了一支笔，你并不能真正预测它会以什么样的姿势落地。什么样的学习模式可以用来训练机器去预测这支笔将落到地上平躺着，而不指定它的方位呢？换言之，我们如何让机器学习世界的预测模型，因为这个世界并非完全可以预测的。

关键技能：对连续数学（线性代数、多元微积分、概率统计、优化学等）的掌握/良好的直觉。熟练的编程技能。熟练的科学方法论。最重要的是：创造力和直觉。

Peter Norvig：

我希望能看到能真正理解人类语言并能进行实际对话的智能虚拟助理，它将是很重要的里程碑。它最大的挑战是将我们很在行的模式匹配结合抽象推理和规划，但目前我们只能在非常形式化的领域中可以做得很好，如国际象棋，但这点在现实世界并不够。

我认为物理学家身份是你的一大优势，有很合适的数学背景以及实验、建模和处理不确定性、误差的思维。我见过很多物理学家在这方面做得很好，例如Yonatan Zunger博士，是弦理论物理学家，现在是Google搜索的顶尖人士；Yashar Hezaveh、Laurence Perreault Levasseur和Philip Marshall，这些人并没有深度学习的背景，但他们在几个月的紧张学习中，发表了一篇关于将深度学习应用于引力透镜的里程碑式的论文。

为了保持竞争优势是否会保密算法和架构

vermes22：

贵司是否会为竞争优势故意保留一些算法/架构的秘密？我知道数据集是巨大的竞争优势，但算法也是如此吗？换言之，如果贵司在某个算法/架构取得了突破性的成就，比如下一代CNN或下一代LSTM，你们会不会为了科学发展而公开它？还是会为了保存竞争优势而保留秘密呢？

Peter Norvig：

截至目前，你可以看到我们三家公司（以及其他公司）发布了很多通用算法，我认为我们也将会继续这样做。我认为原因有三点。首先，我们相信科学发展；其次，竞争优势来自于你使用算法所做的努力及围绕创造某个产品所有的过程，而非核心算法本身；最后，你无法将它们作为机密独吞，如果我们能想到，同一研究领域的其他人也能想到。

Yann LeCun：

在我司FAIR，我们会公开我们所做的每一件事。原因如下：

（1） 正如Peter所言，“我们相信科学发展，而竞争优势来自于你使用算法所做的奴隶，以及围绕创造某个产品所有的过程，而不是核心算法本身。”我还想补充一点：竞争优势也来自于你将算法/模型转化成产品或服务的速度。

（2） 现今AI的主要问题并不是一家公司是否领先于另一家（没有一家公司会一直领先于其他公司），而是AI领域本身需要在一些重要方向上快速推进。我们都希望智能虚拟助理具备一定程度的常识，但我们目前并不知道怎么做出来。我们谁也不可能只凭一己之力去解决这个问题，我们需要整个研究界的合作来取得进展。

（3） 除非你允许科学家发布研究成果，否则你不能吸引他们；只有以其对更广阔的研究界的学术影响来评估他们（至少占部分），你才能留住他们。

（4） 除非你告诉他们必须发布成果，才能得到可靠的研究成果。如果不打算公开成果的话，人们通常会更加草率。

（5） 公开创新性研究成果能够使公司成为领导者和创新者。这有助于招募最优秀的人才。在科技行业中，吸引最优秀人才的能力就意味着一切。

Eric Horvitz：

Microsoft研究院是1991年创立的一家开放的研究实验室。我们实验室的基础是，研究人员可以自由决定是否发布研究成果、分享想法和学识，这个基础已经融入到我们实验室的基因中了。看到其他公司也在朝着这个方向前进，我觉得这很棒。在Peter的答案基础上，我想，伟大的创新和知识产权是围绕不同领域的实际产品化实现的细节开发出来的，这些可能无法像核心技术进展那样共享出来。

AI如何为用户保护隐私

cdnkevin：

很多人担心在使用Siri、Google Home等语音助手会引起隐私泄露。随着人工智能越来越渗入我们日常生活中，有什么措施能够使得用户在使用AI时同时保护其行为数据吗？

Eric Horvitz：

我能理解这种担心。我很高兴的是，我看到我们公司的员工是如何严肃、认真对待终端用户数据的，数据采取了严格的匿名制，并在很短的时间内即删除，还为用户提供了多种方法来检查、控制和删除数据。

随着欧洲GDPR（General Data Protection Regulation，一般数据保护法案）的生效，对终端用户数据的将会有更为严格的把控。

我们密切关注Microsoft研究部门和整个公司在隐私、可信度和服务责任方面的情况，包括人工智能应用和服务的创新。

人们真正关心的是我们公司内外的隐私政策，我们很高兴看到在保护用户隐私方面做出了努力，如私下训练AI系统和为用户提供更多选择。在几年前的IAPP会议上曾经讨论过后者的解决方案，你可查看这篇这份研究报告：

http://erichorvitz.com/IAPP_Eric_Horvitz.pdf

Peter Norvig：

这里有个可以将您的数据从Google导出的链接：

https://takeout.google.com/settings/takeout?pli=1

这里还有个从Google删除你数据的链接：

https://support.google.com/accounts/answer/465?co=GENIE.Platform%3DDesktop&hl=en

许多人并不想删除他们所有的数据，但会使用匿名、未经登录的方式来避免在记录中出现某些信息。

如何阻止“伪AI”

stochastic_gradient：

作为一个机器学习从业者，我对漫天遍地的“伪AI”越来越感觉到厌倦。比如，Sophia，只不过是一个设置了预编答案的木偶，却被视作一个有生命的意识的存在。提及机器学习的职位空缺中有95%并非AI职位，只不过加上了“AI”、“机器学习”这种流行词使该公司看上去更有吸引力。

在我看来，这个世界上只有几千人从事机器学习的工作，但却有100倍的人在假装从事AI。这是病啊得治！它上海了所有人，还夺走了现在机器学习真正的成果。我们能够采取什么措施来阻止这种行为吗？

Peter Norvig：

不必担心。这并非AI领域独有的现象。每当出现一个热词时，总有一些人想用不恰当的方式来利用它。人工智能和机器学习是如此，像“有机”、“无麸质”、“范式转移”、“中断”、“中枢”等也是如此，它们只能获得一些短期关注，最终还是会逐渐消失。

Eric Horvitz：

我认同Peter的看法。很高兴看到公众对AI研究的热情，但是确实存在一些过热、误解的地方，就像那些以各种方式跃跃欲试的人一样（包括给所有的一律冠以“人工智能”）。

Mark Twain曾经说过：“历史不会重演，但总是惊人的相似。”（History doesn't repeat itself, but it rhymes.）在20世纪80年代中期的专家系统也曾出现过AI过热的局面。1984年，一些AI科学家警告说，错误的热情和辜负期望可能会导致兴趣和资金的崩溃。事实上，过了几年后我们就进入了被称为“AI寒冬”的时期。我并不认为这一次还会发生这样的情况，我想，这次大火中会有炙热的余烬，继续推动AI领域前进。但AI科学家继续教育多个领域的人们关于我们实际取得的成果也很重要，而不是自从“人工智能”一词首次使用这65年以来我们一直努力解决的困难问题。

Yann LeCun：

作为严肃的机器学习/人工智能的专家，当他们看到这种情况时，都会毫不犹疑抄起电话吼：胡说八道，放狗屁！我就是这么做的。是的，“AI”已经成为商业热词，但今天人工智能/机器学习领域仍然有很多严肃的、酷炫的工作。

量子计算是否推动人工智能的发展

Sol-Om-On：

量子计算的发展是否推动了人工智能的研究？您如何看待未来二者的整合？

Peter Novig：

我想做的许多事情，量子计算并没有提供帮助。我经常想要通过一个相对简单的算法来处理海量文本，但量子计算对此毫无帮助。

然而，量子计算可能有助于更高效地搜索深度网络的参数空间。我并不清楚是否有人做出了这样的量子算法来实现这一点，不考虑硬件机器是否能实现，但在理论上可能是有用的。

Yann LeCun：

推动？我当然不这么认为。对我来说，我根本不清楚量子计算能对人工智能有什么样的影响，在短期内更不可能。

深度学习的趋势会怎样？

PartyLikeLizLemon：

请问您认为深度学习知识一时的狂热，还是长期的趋势？虽然我知道基于深度学习的模型在计算视觉和自然语言处理方面有巨大的改进。但在机器学习中，新范式的出现，并且完全聚焦这一点只是时间早晚的问题。您认为深度学习是解决视觉和NLP问题的模式吗？还是不久就会有新范式出现呢？

Peter Norvig：

我认为“深度学习”这个品牌已经创造了如此大的价值，无论底层技术发生多大的变化，它都会维持很长的时间。因此，即使CNN和ReLu转向胶囊或者其他东西，但我觉得，“深度学习”这个词还将持续。

至于基本概念或方法，我认为我们在模式匹配问题上做得很好，但并不擅长关系推理和规划方面。我们能够做一些抽象的形式，但还不够，所以我们需要大量的新思想。

让我们先看看出场的三位AI大佬们：

Yann LeCun

Facebook 人工智能实验室（FAIR）主任

纽约大学数据科学中心创始人

纽约大学计算机科学、神经科学、电子电气科学教授

Eric Horvitz

前AAAI（美国人工智能协会）主席

Microsoft总部研究院院长、技术院士

Peter Norvig

Google研究总监

曾任职于NASA、南加州大学和伯克利大学

AAAI、ACM成员