三十年来，这些人工智能的鼻祖们干了些什么 - 推酷
三十年来，这些人工智能的鼻祖们干了些什么
deep learning曾被《纽约时报》头版报道：“深度学习让机器执行人类的活动，如看、听和思考，可以模式识别提供了可能性，促进了人工智能技术的进步。”但是也不免有人笑谈，Hinton已建立了一个很好的梯子，但这个梯子并不一定能带你到月球。而这里，Leo或许可以带给你不一样的想法。
近期Nature杂志刊登了Lecun、Bengio、Hinton的深度学习(deep learning)文章，是对最近深度学习火爆进展的总结，也是对他们三十年专注突破精神的最佳肯定。
深度学习火到什么程度呢？据我所知，在工业界，Google、Facebook、微软、百度、腾讯以及其它创业公司，都想用深度学习的算法，意图达到顶级的智能识别实用精度（语音识别、人像识别等）。
深度学习的广泛应用，让它载入史册，可以比肩最近人工智能领域的图灵奖工作–哈佛教授&Leslie Valiant的可学习性理论（2010年图灵奖，90年代初在此思想下诞生了著名的&Boosting&算法)、&UCLA教授&Judea Pearl&的基于概率推断的人工智能（2011年图灵奖，90年代末开始基于此思想的图模型风靡学术界）。
Harvard教授&Leslie Valiant
UCLA教授&Judea Pearl
我时常和业内人士交流 ，包括硅谷的工程师、研究员（图像分类、广告推荐等），风险投资者，美国学术界的教授，还有在创业公司的和在学校实验室做研究的清华、交大学生。大家对深度学习的历史背景缺乏全面细腻的了解，甚至有些盲从。
在我创业前，深度学习还没“火”，我在Yann Lecun的实验室呆了一年，研究图模型和深度学习的关系——当时对两个体系都深刻理解的人几乎没有。而在本该功利的创业环境里，到目前为止，我们团队还未使用深度学习，显得有些“另类”甚至“落伍”，所以带着这样熟悉又陌生的心情，今天想分享一下自己的体会，算是对深度学习以及Hinton和Lecun的三十年创新之路的致敬。
首先，来介绍下Deep Learning的主要人物背景：
Geoff Hinton是深度学习学派的祖师爷，老爷子腰椎不好，经常得站着写代码到夜里一点，不能坐飞机，得坐火车从东边到西边去开会。
Geoff Hinton，deep learning&学派创始人之一
Yann Lecun&是&Geoff Hinton&三十年前的弟子。最近深度学习应用于智能理解特别广泛的模型是卷积神经网（ConvNet），就是&Yann Lecun&发明的 /&命名的。在学术上，这和传统的深度学习其他的模型有显著性差异 ——&我甚至认为这是思想性的巨大差异（世界可学性的假设）。
图右为Yann Lecun，卷积神经网的发明者，Geoff Hinton的弟子
Andrew Ng 是&Michale Jordan（&Berkeley&教授，图模型的泰斗）的明星弟子，Andrew&独立后，在Stanford,、Google&和&Baidu&做的反而是deep learning （有点武当弟子学了少林，或者少林弟子学了武当的意味）。后来做了网络公开课程Coursera后名声大噪，意义大大超越了其学术界的地位和范畴。
吴恩达（Andrew Ng），百度首席科学家，在线教育平台coursera的创始人
历史究竟发生了什么? 深度学习为什么突然火了？
标志性事件发生在2012年，两个“小毛孩”打败了业界神话。
2012年底，Geoff Hinton 的博士生 Alex Krizhevsky、Ilya Sutskever（他们研究深度学习时间并不长）在图片分类的竞赛 ImageNet上，在识别结果拿了第一名。其实类似的比赛每年有很多，而这个事件的意义在于，Google 团队也在这个数据集上做了测试（非公开的，Google没有显式参加学术界的“竞赛”），用的也是深度学习，但识别精度比Geoff Hinton的团队差了很多，这下工业界振奋了：
同样用深度学习的算法，大神级别的Google团队，居然会在识别精度上差这么多！
先来谈谈“Google团队”是干什么的。它是特殊的，因为它不同于其他Google团队，并且这个项目受到Google公司足够的战略级重视，有着世界级的明星领导者，其中包括&Andrew Ng、Google&神人&Jeff Dean（他们在深度学习领域已投入很多，并到处宣讲他们的战果）以及业界无法企及的硬件和数据资源的支持。
我想，如果没有这样巨大的反差，深度学习还不会得到这么快的传播和认可。因为当时的学术界还不知道Google内部的测试成绩，只知道Geoff Hinton得了第一，击败了另一个学术界顶级的Oxford团队。甚至今天，很多人还不知道这段历史。
两个“小毛孩”让业界神话陷入低沉：Google投入产出并不具有说服力，甚至，是可耻的。但是，工业界似乎不需要、也不该关心面子。
紧接着，巨头的垄断游戏开始了。
在机器学习方面顶级年度会议（NIPS）上，Google竞价超过了包括微软在内的其他公司，收购了Alex Krizhevsky、Ilya Sutskever&和&Geoff Hinton这三个 刚刚注册几个月的公司。好像是花5000万美元买了三个人的部分时间。现在，Google 团队里面，曾经被打败的人可以正式拉着&Geoff Hinton&聊天了，工业界似乎不需要、也不该关心面子。而Facebook作为对谷歌的回应，挖了Yann Lecun，让他在纽约领导成立了&Facebook AI lab。Andrew Ng则离开Google去了百度。
从“硬”结果来说，其实此时的百度做得不会比过去的&Google&差，“软”名声还是因此提高很多：相比于Google X, Facebook AI lab, Google Brain等，能提出用“深度学习研究院”这个用算法来命名部门的人是需要“魄力”的。
有趣的是，后来Yann Lecun组的学生也出来了一半，陆续开了几家深度学习的创业公司，其中一家早前被&Twitter&收购。另外一些创业公司，则分别投入了Facebook&和&Google的麾下 。粗略估计，深度学习给Geoff Hinton和&Yann Lecun&的组带来了近十个千万富翁。
更有意思的是（很有启发性并值得思考），Alex&Krizhevsky&和&Geoff Hinton的竞赛用的正是&Yann Lecun&发明的卷积神经网，但结果刚出来时（实现细节还没有公布），Yann Lecun和他的NYU实验室成员甚至没法重复Geoff Hinton的结果。这显然不科学！
自己发明的算法，使用结果不如另外一个组。这下炸了锅，Yann Lecun开了组会，反思的主题是“为什么过去两年我们没有得到这样的成绩”&。
高手过招，I The devil is in the details （有想法很廉价；魔鬼在细节处）。想法其实很重要，但只能区分高手和普通人。高手都有想法，但谁才能创造历史呢？Yann Lecun&这样的实验室需要反思什么呢？先看看他们有些什么吧。
我经历过巅峰时期的微软亚洲研究院（十五年前，这里的实习生只能是名校的各系第一名）、UCLA&(排名10名左右)、MIT AI lab&(计算机专业第一名)，实验室的茶歇时间&Tea Time, 过道挤满了顶级会议的最佳论文获得者—NIPS, CVPR等 。基于以上经验，我先介绍一下&Yann Lecun&实验室的过人之处。
Yann Lecun上课教授和使用的是他自己写的语言Lush，用来替代&matlab（很方便描述矩阵运算、图像处理等）、python在科学研究的功能。他的团队三十年如一日的专注于神经网络的研究，从不随波逐流，课题覆盖卷积神经网的方方面面。有的博士生聪明数学好，非常敏感于卷积神经网模型的深刻理解；有的博士生专注于结构参数的行为分析（多少层啊之类）；有的博士生研究在不同数据分布（应用场景下）的表现，比如字母识别、图像分类、物体检测、场景分类等。
这样的学术坚持，是在怎样的艰难背景下呢？
人工智能领域，神经网络思想在80年代末开始衰落，之后分别经历了几个划时代的图灵奖级工作的兴起，统计学习理论（带来支持向量机&SVM&算法），可学习理论(带来&Boosting&算法)，概率推断（图模型，graphical model）几乎垄断了过去的三十年。在之前提到2012年的&Geoff Hinton&团队的深度学习打败Google的标志性事件前，图模型的思想横扫计算机视觉领域（超越了boosting，SVM等）。这使得深度学习生存艰难，没有多少同行在研究中使用深度学习，更多年轻学生愿意去“时髦”的机器学习研究组。
2006年，Yann Lecun的文章还在阐述深度学习如何能跟当年流行的图模型（比如条件随机场模型）等价，证明自己的工作在不同数据集上也能和图模型做到相当的识别精度。尽管在2012年末，Alex Krizhevsky、Ilya Sutskever&两个“小毛孩”在竞赛中用深度学习打败了Google团队，让工业界炸了锅。
但是，工业界对深度学习的追捧传递回学术界是发生在一年以后 。原因是， 除了顶级教授因为私人关系能知道工业界最前沿进展，大部分学术界教授并没有公开渠道及时获取信息，而这些教授却是学术工作评审的主力。因此，直到2013年，Yann Lecun&的文章在计算机视觉的顶级会议上（CVPR）依然很难发表（这时的深度学习在多项数据集上相比其他“传统”方法并不排他性的出色）。
Yann Lecun&像战士一样对抗着学术界的“庸俗”和“传统”，在不同场合讨伐从业人员的态度、标准和品味，公开发文抵制计算机视觉顶级会议CVPR，并于2013年创办了新的学术文章发布体系（ICLR）。
可笑的是，仅仅不到两年的时间，现在，视觉的文章没用上深度学习都很难被发表。
主流（不见得创造历史）的和最需要独立思想和自由批判精神的年轻学者，却似乎没有节操地要和深度学习沾上边（当上“千”个博士生都在研究深度学习的时候，应该不需要什么独立见解和勇气）。
今天，反而是三十年后卷土重来的Yann Lecun（还有Bengio，Geoff Hinton）愿意站在先锋，批判性地谈论深度学习的泡沫繁荣，呼吁学术界、资金拥有者冷静。这种反差很是让人感慨。
Yoshua Bengio
到底当时，Yann Lecun&和&Geoff Hinton的团队细微差别在哪呢？高手也可能错过什么呢？或许我们很难有接近事实的答案，原因可能很复杂。对于历史的真实解读才有助于我们抛开浮华，启发与他们一样追求创新的我们，无论是在学术研究还是创业。
作者：朱珑&文章来源：雷锋网
已发表评论数()
已收藏到推刊！
请填写推刊名
描述不能大于100个字符!
权限设置： 公开
仅自己可见
正文不准确
标题不准确
排版有问题
没有分页内容
图片无法显示
视频无法显示
与原文不一致Yoshua Bengio为什么能跟Hinton、LeCun相提并论？
Hinton的几种算法让深度神经网络work，带活了整个领域。Lecun发明（改进？）了CNN，是目前计算机视觉最有用的模型。Bengio的成就很高。但是，Bengio做出了什么开创性的贡献，让他足以与前两位相提并论？如果没有Hinton或者LeCun，就不会有今天的deep learning。但是如果没有Bengio呢？类似“深度学习三巨头”的说法是谁先提出的？是否就是Bengio自己炒出来的呢？我听过多次Bengio的报告，每次Bengio的slides都会有一页把他和另外两位的照片放在一起，似乎暗示着他们三人就是当今深度学习领域的领军人物。“三巨头”的意思是，如果图灵奖给deep learning，而且可以给三个人的话，那么就应该是这三人获奖。可是如果给Bengio，恐怕会一片哗然吧？深度学习领域有多个贡献巨大的学者，那么把Bengio和前两人并称“深度学习三巨头”是否合适？此外，发明LSTM、RNN、autoencoder等各种网络的人是否还健在？如果他们在世，把Bengio称为三巨头之一是否合适？
按投票排序
更新，关于bound：题主应该是个数理基础很好的人，否则也不会纠结bound这个事。我个人很喜欢带bound的paper，前提是这个bound可以给人启发。我觉得对于证bound这个事见人见智，bound本身是个优美而严格的东西，但是为了证bound而最后给出一个丑的不行的下界从中得不到任何启发，我觉得并没有什么卵用，每年icml这么多bound paper，不少都是在做数学游戏，照着凸问题狂搞，较少人敢碰非凸问题的bound，大家一边喷神经网络没理论没bound，一边又都不敢碰，这就有点怂了。不过最近越来越多的人开始重新进军NN的bound问题，jordan组最近出了几篇不错基于pac learning 关于nn的可学习性的paper，那里面的bound还是挺精彩的。题主可以一睹。再补充一点，我曾经当面问过他为什么不证bound，其实他早年搞过svm的时候也搞过bound，只是这事到神经网络的上面的时候太难了，能给出的bound都没有意义，有意义的bound又很难证。这不是他数学不好的问题，而是在之前一段时间整个机器学习界都很少有人敢碰这个问题，因为给不出有意义的bound。所以不是“他数学太弱，连个像样的bound都证不出来。”（题主某评论，貌似已经删掉），其实他早年玩bound的玩的不知道高到哪里去了。而是他认为“有些bound即使证明出来了，也没有任何价值。” 请题主自行感受一下。==========原答案===============这几位教授在国际上对他们的评价基本都是“深度学习的活跃研究者”，“三巨头”这个说法是中国特色，基本类似于“四大金刚”，“十八罗汉”或者“葫芦娃七兄弟”的感觉，国人发现他们几个总是搞在一起谋划大事，而最新的成果又很多来源于他们三个，所以干脆一拍脑门起个狂霸酷炫的组合名字“深度学习三巨头”好了，这个称呼看看就好，认真你就输了。若论资排辈，自然是hinton&lecun&bengio。首先年龄上bengio就最小。hinton不用多说，经典工作堆成山，门下徒子徒孙遍地，lecun是hinton的postdoc，当年michael jordan想去hinton门下读postdoc都被婉拒，而bengio又是jordan的postdoc。虽说lecun不是cnn的发明人，但是他是第一个把bp用在cnn上并且完善cnn使得它可以在real application上work的人，也是自98年之后近20年的cnn第一推动者。说回bengio，bengio当年在att lab工作时，组长就是lecun，lecun的经典文章bengio是三作，那片文章的4个作者如今都是大牛。（题外话，当时vapnik也在att lab，可想当时有多热闹）所以资历上看很明显，bengio资历最浅。但是这不妨碍bengio成为dl的几大贡献者，bengio的主要贡献在于：1.他对rnn的一系列推动包括经典的neural language model，gradient vanishing 的细致讨论，word2vec的雏形，以及现在的machine translation；2.他是神经网络复兴的主要的三个发起人之一（这一点他们三个人都承认，之前他们一直在谋划大事，正是他们三个人的坚持才有了现在的神经网络复兴，这点最高票答案说的很对）包括了pre－training的问题，如何initialize参数的问题，以denoising atuencoder为代表的各种各样的autoencoder结构，generative model等等。3.symbolic computional graph思想的theano。这个库启发了后来的多个库的开发（直接基于它的库就不提了比如keras），包括国内很火的MXnet，google的tensorflow以及berkeley的cgt等等，可以说这个工具以及所涵盖的思想可以算同类型库的鼻祖。4.ICLR的推动者，个人认为ICLR是一种崭新的会议形式，包容开放，也正符合bengio本人的思想。5.其他paper。说到除了bengio之外的人，不得不提的一个名字是：Jürgen Schmidhuber。他是LSTM的发明人，gradient vanishing的贡献人，也是reccurent 结构的狂热推动者，手下得意门生比如alex grave等。Schmidhuber本人由于地处欧洲，和北美学术圈交流较少，而他本人性格稍显内敛，所以跟另外三位交集没那么大，喜欢自己闷头搞研究，此外他个人也是强ai的fans。但不得不说他对dl的贡献也是非常大。如果要我说dl贡献最大的几个人，我会把Schmidhuber也算进去。他的主页：综上，bengio的贡献足以让他进入最新一次神经网络复兴的前四名研究者了。P.S. 个人比较喜欢数学理论清晰的工作，个人认为就数学严谨性而言，lecun &= bengio & hinton. 而三人的insight和intuition都是极好的。
Bengio 的 "A neural probabilistic language model" 这篇论文开创了神经网络做 language model 的先河。里面的思路影响、启发了之后的很多基于神经网络做 NLP 的文章，并且这些文章的方法在工业界也被广泛使用，如 word2vec，又及最近的一些机器翻译模型。这篇文章的贡献并不比 Yann Lecun 在 CNN 上的工作逊色。再说最近又火起来的 RNN 吧，Bengio 在 94 年就对 RNN 为什么难以学到 long-term dependencies 做过深刻的研究（）。另外，他的 "Greedy Layer-Wise Training of Deep Networks" 对 Hinton 提出的 layer-wise 方法训练深度神经网络做了更系统的扩展和研究，让大家又重燃对深度神经网络的兴趣和信心。Bengio 的工作还拓展到神经网络的工具上，大名鼎鼎的 Theano () 就是他们 group 的工作。“三巨头”说法的另一个原因是他们三人在神经网络不被看好的年头还一直坚持研究神经网络，这就超出了学术能力而到达了学术品位和信仰的境界。他们三人活跃在 CIFAR （），这个对神经网络的命运啊有很大的关系 （）：CIFAR “had a huge impact in forming a community around deep learning,” adds LeCun, the CIFAR program’s other co-director. “We were outcast a little bit in the broader machine learning community: we couldn’t get our papers published. This gave us a place where we could exchange ideas.”个人很喜欢读 Bengio 的文章，读的时候有一种浑然天成的感觉，读完觉得“这个问题就该这么解决啊”。另外三巨头的文章、演讲都很有个性，基本不人云亦云。
卧槽，不带这么黑的吧，要黑去黑吴恩达撒。
”你要是看一下理论计算机领域最近对NN的研究，你就知道Bengio的数学有多弱了。Bengio连个像样的bound都没证明出来。“ 我算是长见识了。真不知道提问者是什么大牛。
首先推荐题主看看2015年Natrue上一篇名为deep learning的综述，是由bengio，hinton和lecun一起做的，这也体现了他们之间的互相认可。
其次，bengio提出了神经网络语言模型，将神经网络应用到自然语言处理（nlp）领域，这个成就还是非常有影响力的。
还有就是前面人提到的深度学习框架theano，用python写的代码，我正在用。bengio还提出了分布式表达，应用也越来越广泛。
最后还想说一下bengio的数学功底是非常强的，看他的论文能很明显的感觉到，之前看他的一篇sci，讲的是representation leaning，非常的全面，但是真的难懂。。。
在以后大家就会明白深度学习现在普遍利用GPU暴力计算是一个错误的方向。
Bengio, Y., Ducharme, R., Vincent, P., & Janvin, C. (2003). A neural probabilistic language model. The Journal of Machine Learning Research, 3, .
已有帐号？
无法登录？
社交帐号登录502 Bad Gateway
502 Bad Gateway【独家】IEEE深度对话Facebook人工智能负责人Yann LeCun:让深度学习摆脱束缚 -- 机器之心 -- 传送门
<meta name="description" content="本文原载IEEE,作者Lee Gomes,由机器之心独家翻译出品,参与成员:电子羊、翬、泥泥刘、赤龙飞、郑劳蕾、流明.人工智能经历了几次低潮时期,这些灰暗时光被称作「AI寒冬」.这里说的不是那段时期,事实上,人工智能如今变得异常火热,以至于科技巨头谷歌、Facebok..." />
【独家】IEEE深度对话Facebook人工智能负责人Yann LeCun：让深度学习摆脱束缚
本文原载IEEE&Spetrum&，作者Lee Gomes，由机器之心独家翻译出品，参与成员：电子羊、翬、泥泥刘、赤龙飞、郑劳蕾、流明。人工智能经历了几次低潮时期，这些灰暗时光被称作「AI寒冬」。这里说的不是那段时期，事实上，人工智能如今变得异常火热，以至于科技巨头谷歌、Facebok、苹果、百度和微软正在争抢该领域的领袖人物。当前人工智能之所以引起大家的兴奋，在很大程度上是源于「卷积神经网络」的研究进展。这项机器学习技术为计算机视觉、语音识别和自然语言处理带来了巨大的、激动人心的进步。你可能已经听过它另一个更加通俗友好的名字——深度学习。几乎没有人比54岁的Yann LeCun更能与深度学习紧密地联系在一起。早在20世纪80年代末，LeCun就作为贝尔实验室的研究员开发出了卷积网络技术，并展示如何使用它来大幅度提高手写识别能力；目前美国许多手写支票依然是用他的方法在进行处理。上世纪本世纪初，当神经网络失宠，LeCun是少数几名一直坚持研究的科学家之一。他于2003年成为纽约大学教授，并从此引领了深度学习的发展。最近，深度学习及其相关领域已然成为最活跃的计算机研究领域之一。这就是LeCun在2013年底加入Facebook负责新成立的人工智能实验室的原因之一，尽管他依然保持着在纽约大学的职务。LeCun出生在法国，保留了一些本国的「公共知识分子」角色所发挥的重要性。他的写作和演讲主要是集中在他的技术领域，当然，当涉及到其他领域，包括当今时事时，他也不会退让。IEEE Spectrum的Lee Gomes与LeCun在他纽约的Facebook办公室里进行了一次深度谈话，共有九部分。一、用8个单词解释深度学习IEEE Spectrum：这些天我们看到了许多关于深度学习的新闻。在这些对深度学习的众多描述中，你最不喜欢哪一种？Yann LeCun：我最不喜欢的描述是「它像大脑一样工作」，我不喜欢人们这样说的原因是，虽然深度学习从生命的生物机理中获得灵感，但它与大脑的实际工作原理差别非常非常巨大。将它与大脑进行类比给它赋予了一些神奇的光环，这种描述是危险的。这将导致天花乱坠的宣传，大家在要求一些不切实际的事情。人工智能之前经历了几次寒冬就是因为人们要求了一些人工智能无法给与的东西。Spectrum：因此，如果你是一名关注深度学习的记者，而且像所有新闻记者所做的那样，只用八个单词去描述它，你会说什么？LeCun：我需要考虑一下。我想将会是「学着描绘世界的机器」（machines that learn to represent the world）。可能另外一种描述是「端对端的机器学习」（end-to-end machine learning）。这种理念是：在一个能够学习的机器中，每一个组件、每一个阶段都能进行训练。Spectrum：你的编辑可能不大喜欢这样。LeCun：是的，公众将无法理解我所表达的意思。好吧，有另外一种方法。你可以把深度学习看作是，通过整合大量能够基于相同方式训练的模块和组件来构建拥有学习能力的机器，比如说模式识别系统等。因此，需要一个能够训练每个事物的单一原则。但这又超过了八个字。Spectrum：有哪些事情是深度学习系统可以做，而机器学习无法做到的？LeCun：这是个更好的问题。之前的系统，我想我们可以称之为「肤浅的学习系统」，会受他们能计算的函数的复杂度所限。因此，如果你使用一个类似于「线性分类器」的肤浅学习算法来识别图像，你将需要从图像中提取出足够多的参数特征来提供给它。但手动设计一个特征提取器非常困难，而且很耗时。或者使用一个更加灵活的分类器，比如说「支持向量机」或者两层神经网络，直接将图片的像素提供给它们。而问题是这不会提高物体识别在任何程度上的准确性。Spectrum：这听起来不像是一个简单易懂的解释。或许这就是为什么那些记者会尝试着把深度学习描述成……LeCun：像我们的大脑。二、有5亿个开关的黑盒子Spectrum：其中有一个问题是，机器学习是一个非专业人士极其难以接近的研究领域。一些经过教育的外行能够理解一些半技术性的计算问题，比如说谷歌使用的 PageRank算法。但我敢打赌只有教授才能对线性分类器和向量机了若指掌。这是因为该领域从本质上就很复杂难懂吗？LeCun：事实上，我认为机器学习的基础原理非常简单易懂。我曾经向高中的老师和学生解释过这一主题，并没有让其中的许多人觉得枯燥乏味。模式识别系统就像一个黑盒子，背面装有摄像头，顶上有一个红灯和一个绿灯，前面装有一连串开关。比如说一种尝试着调节开关的学习算法，当一条狗出现在摄像头中时控制开关使红灯亮起；当一辆车出现在摄像头中时控制开关使绿灯亮起。为了训练该算法，你将一条狗放在机器面前，如果红灯亮起，什么都不做。如果光线模糊，扭动旋钮使灯变亮。如果绿灯亮起，扭动旋钮使灯光变暗；接下来换成汽车，扭动旋钮使红灯变暗或绿灯变亮。如果你进行多次尝试，并且保持每次都对旋钮进行逐渐微调，最终，机器每次都能得出正确答案。有趣的是它能正确的区分开它从未见过的汽车和狗。窍门在于要计算出每次扭动旋钮的方向和幅度，而不是乱动一气。这包含对「梯度」的计算，旋钮的每次扭动代表着灯光的相应改变。现在想象一下，有个盒子拥有5亿个旋钮、1000个灯泡，用1000万张图来训练它。这就是一个典型的深度学习系统。Spectrum：我认为你用「肤浅的学习」这个词好像有些不太严谨；我不认为那些使用线性分类器的人会认为他们的工作很「肤浅」。之所以用「深度学习」这个表述难道就没有媒体宣传的因素在里面？因为这看起来好像它学到的东西很有深度，但实际上，「深度」仅仅是指这个系统的级数？LeCun：是的，是有点儿滑稽，但这反映了真实情况：肤浅学习系统有一层或两层，而深度学习系统一般有5-20层。肤浅还是深度指的并不是学习行为本身，而是指被训练的结构。三、追寻漂亮的创意Spectrum：Yann LeCun的标准简历里提到，在他们都对神经网络失去兴趣时，你依然坚持着探索神经网络的新方法。是什么使你能够无视世俗认知并一直坚持下去？LeCun：自始至终，我都一直深深沉迷于能够训练出一套完整的「端对端」系统。你将未经加工的数据输入系统，因为系统具有多层结构，每一层都将知道如何对上一层产生的表征进行转化，直到最后一层输出结果。该理念——从头到尾你都应该把学习融合进来，以便机器能够学习到好的数据表征——这就是我在过去三十年终所着迷的东西。Spectrum：你的工作是符合黑客原则，还是科学原则？你是一直尝试到它们可以运行为止？还是会从洞悉理论开始？LeCun：直觉洞察、理论模型、实际执行、实证研究与科学分析之间存在很多相互影响。洞察力是一种创造性思维；模型基于数学；实际执行涉及工程学和纯粹的黑客行为；实证研究和分析属于实实在在的科学。其中我最喜欢的是那些能够在实施中成功运行的简洁优美的理论。有些人倾向使用某种理论的原因仅仅是因为它简单，或者他们不理会那些真正有用的理论的原因是它们太难了，我对这样的研究人员完全没有耐心。在机器学习领域存在一些这样的现象。事实上，从某种程度上来说，上世纪末本世纪初的「神经网络寒冬」就是那种「研究原则」所导致的。你看似拥有坚不可摧的理论依据，但实证结果却没有价值，这非常不利于解决接下来的工程问题。但采用纯粹的实证研究方法也有许多隐患。例如，语音识别领域一直保持实证研究的传统，只有当你的结果由于基准线时，才能得到本行业的关注。这扼杀了创造力，因为如果你想在测试结果上击败其他研究团队，而他们对此已经做了多年研究，那你首先应该潜心研究4-5年，建造自己的基本架构，这非常困难，且极具风险，因此没人这么做。所以对于整个语音识别领域，虽然研究进展连续不断，但都属于渐进式。Spectrum：你看起来一直在竭尽全力的将你的工作与神经科学和生物学拉开距离。例如，你提到了「卷积网络」，而不是「卷积神经网络」。你在你的算法里提到了「单位/个体」（units），而非「神经元」。LeCun：的确如此。我们模型中的一些部分从神经科学中获得了灵感，但还有相当多部分与神经科学毫不相干，相反，它们是来源于理论、直觉和经验探索。我们的模型不希望变成大脑的模型，我们也没有宣称神经科学方面的相关性。但同时，如果说卷积网络的灵感来源于一些关于视觉皮质的基础知识，我也可以接受。有些人间接从神经科学获得灵感，但他却不肯承认这一点，我承认，这（神经科学）很有帮助。但我会小心翼翼的不去触碰那些会引发大肆宣传的词语，因为这个领域已经出现了疯狂炒作，这非常危险。四、大肆宣传的东西看起来像科学，但实际上不是Spectrum：炒作毫无疑问是有害的，但你为什么说这是「危险的」？LeCun：因为这给基金会、公众、潜在客户、创业公司和投资者带来了预期，他们会因此相信我们正处在风口浪尖——我们正在建造一些像大脑一样强大的系统，但实际上我们离这个目标还差的很远。这很容易导致另一次的「寒冬周期」。这里会出现一些「草包族科学」（cargo cult science），这是理查·费曼的表达，指描述某些事物貌似科学，但实际上不是（译者注：这出自理查·费曼1974年在加州理工学院的一场毕业典礼演说，描述某些事物貌似科学，却遗漏了「科学的品德，也就是进行科学思考时必须遵守的诚实原则」）。Spectrum：能举几个例子吗？LeCun：在「草包族科学」下，你往往是复制了机器的表象，却没有深入理解机器背后的原理。或者，在航空领域，你制造飞机时会完全复制鸟类的样子，它的羽毛、翅膀等等。19世纪的人们很喜欢这么做，但取得的成就非常有限。在人工智能领域也是如此，他们尝试着对我们所知晓的神经元和神经突触的所有细节进行复制，然后在一台超级计算机上启动一套庞大的模拟神经网络，希望从中孕育出人工智能。这就是「草包族科学」的人工智能。有许多拿到大笔基金支持的严肃的研究者基本上快要相信这些了。Spectrum：你认为IBM的True North项目（译者注：IBM的类人脑芯片，集成了 54 亿个硅晶体管、 4096 个内核、100 万个「神经元」和2.56 亿个「突触」）属于「草包族科学」吗？LeCun：这听起来会有些刺耳。但我的确认为，IBM团队所声称的东西有点偏差并容易造成误解。从表面上看，他们的公告令人印象深刻，但实际上没有实现任何有价值的东西。在True North之前，那个团队用IBM的超级计算机来「模拟了一个老鼠级别的大脑」。但这只是一个随机的神经网络，除了消耗CPU运算周期以外没有发挥任何作用。True North芯片的悲剧在于它本来可以很有用，如果它当初没有坚持与生物学走的太近以及没有使用「spiking integrate-and-fireneurons」模型的话。因此在我看来——我曾是一个芯片设计者——当你在开发一个芯片之前，你必须确信无疑它能做些有用的事情。如果你打造了一个卷积网络芯片——很清楚如何去做——它能立刻应用到计算设备中。IBM创造了错误的东西，我们无法用它去完成任何有用的事情。Spectrum：还有其他例子吗？LeCun：从根本上说，欧盟人脑计划（Human Brain Project）中的很大部分也是基于这样一种理念：我们应该建造一种模拟神经元功能的芯片，越接近越好，然后将芯片用于建造超级计算机，当我们用一些学习规则来开启它时，人工智能就出现了。我认识这纯属胡说八道。诚然，我刚才指的是欧盟人脑计划。并不是讽刺参与这个项目的每个人。许多人参与该项目的原因仅仅是因为它能获得巨额资助，这是他们所无法拒绝的。五、无监督学习——机器需要的学习方式Spectrum：对于一般意义上的机器学习，还有多少是有待发掘的？LeCun：太多了。我们在实际的深度学习系统中使用的学习方式还是存在局限的。在具体实践中发挥作用的其实是「有监督学习」。你将一张图片展现给系统并告诉它这是一辆车，它就会相应调整它的参数并在下一次说出「车」。然后你再展现给它一把椅子、一个人。在几百个例子、耗费几天到几周的计算时间（取决于系统规模）之后，它就弄明白了。但人类和动物不是这种学习方式。当你还是婴儿时，你并没有被告知你所看到的所有物体的名字。然而你却能学会这些物体的概念，你知道世界是三维的，当我把物体放在另一个的后面，你还是知道它的存在。这些概念不是与生俱来的，是你将它们学会了。我们把这种类型的学习称作「无监督」学习。2000s中期，我们中的许多人参与到了深度学习的复兴运动中，包括Geoff Hinton、Yoshua Bengio和我自己——这就是所谓的「深度学习团体」——还有Andrew Ng，从此使用无监督学习而非有监督学习的理念开始兴起。无监督学习可以帮助特定的深度网络进行「预训练」。我们在这方面取得了不少成果，但最终能够应用于实践的还是过去那些能与卷积网络相结合的出色的有监督学习，我们在20年前（1980s）所做的事情。但从研究的角度来看，我们一直感兴趣的是如何恰当地做好无监督学习。我们现在已经拥有了可以实用的无监督技术，但问题在于，我们仅需要收集更多数据，再配合有监督学习就能击败它。这就是为什么在现阶段的产业中，深度学习的应用基本上都是有监督的。但将来不会再是这种方式。从本质上来说，在无监督学习方面，大脑远好于我们的模型，这意味着我们的人工智能学习系统缺失了许多生物机理学习的基本原则。六、Facebook的深度学习Spectrum：Facebook有兴趣建立一个人工智能实验室的原因有哪些？LeCun：Facebook的宗旨是连接人与人（connect people）。这更意味着连接人与数字世界。2013年底，Facebook即将迎来十周年诞辰，MarkZuckerberg决定创建Facebook人工智能实验室，就是我领导的那个部门。公司在考虑未来十年间连接人与人意味着什么，然后意识到人工智能将发挥关键作用。 每天Facebook能向每个人展示2000条内容：帖子、图片和视频等。但没人有时间看这么多内容。因此Facebook必须自动筛选100到150项用户想看或需要看的内容。要深谙此道必须先理解人们，包括他们的口味、兴趣、关系、需要，甚至是生活目标等。也需要理解内容，知道帖子或者评论在讲些什么，图片和视频包含什么内容。只有这样，才能把最相关的内容筛选出来并呈现在用户面前。在某种意义上，出色地完成这项工作是一个「彻头彻尾的人工智能」问题：这需要理解人、情绪、文化和艺术。我们在Facebook人工智能实验室的大部分工作都是聚焦于制定新理论、新原则、新方法和新系统，以让机器理解图片、视频和语言，随后对其进行推理。Spectrum：我们刚刚谈及炒作，我自己也对炒作有些微辞。Facebook最近公布了一个人脸识别算法DeepFace，很多报道称人脸识别技术的准确性已经接近于人。但那些结果难道不是在精心策划的数据库中跑出来的么？如果在互联网上遇到随机的图片，这个系统报告还能取得同样的成功么？LeCun：相比于人类，系统对图片质量更为敏感，这是肯定的。人们能通过不同的面部胡须等特征识别出众多不同构造的人脸，计算机系统在这方面鲜有优势。但是系统可以在非常大的人类集合中识别出某个人，这个集合会远远超出人类的处理能力。Spectrum：浏览网上的图片并找出譬如说奥巴马是否出现在图片里，DeepFace能否做的比我强？LeCun：毫无疑问它将会更快。Spectrum：它会更准确吗？LeCun：可能不会。但是它能从数亿人中发现某人。我可做不到。Spectrum：它能像研究中那样，达到97.25%的准确率么？LeCun：没有在数据库上进行测试是很难说出一个具体数字的。这完全取决于数据的性质。如果图片库里有数亿张脸，那精确性就远不及97.25%。Spectrum：这里有个问题似乎是计算机研究者们使用的某些行话和外行们的理解有着不同含义。当研究人员论及「准确率」，他们实际上可能说的是精选的数据集得出的结果。而外行们可能认为，计算机识别图片就像我们日常生活中随意看到的图片一样。但是结果对计算机系统的要求要比它们新闻报道中的表现更为苛刻。LeCun：是的。我们也进行许多基准测试，像其他人一样利用户外脸部检测数据库等，当然也将我们的方法和别人做比较。当然，我们也有内部数据库。Spectrum：所以一般而言，面对你们随意从网上找的图片，计算机在人脸识别上的表现有多接近于人？LeCun：相当接近。Spectrum：能给个数字么？LeCun：不，不行。情景不一样（结果也不一样）。Spectrum：在图片识别之外的领域，深度学习表现如何，尤其是当涉及到诸如自然语言等通用智能相关问题的时候？LeCun：我们在Facebook的很大一部分工作都是集中于此。我们如何将深度学习的优势，与其通过学习描绘世界的能力、从短暂的信号中积累知识的能力（伴随着语言出现）、推理能力、与当前深度学习系统采取不同方式的知识存储能力结合起来？在当前深度学习系统下，就像学习一项运动技能。我们训练它们的方式类似于我们自学骑自行车。你学到了一项技能，但实际上却不涉及大量事实记忆或知识。但你学的其他一些事情，就必须要求你记住事实，你必须记住并储存一些东西。在Facebook、Google和其他许多地方，我们做的大量工作是一边建立神经网络，一边建立一个独立的存储器模块。这能被运用于自然语言理解等领域。我们开始看到，经由存储器模块强化的深度学习帮助自然语言处理取得了令人印象深刻的结果。该系统基于这样的理念，即用连续向量描述词语和句子，经由深层架构的多层级完成对这些向量的转化，并将它们存储在一种联合型存储器里。这对问答和语言翻译都非常有效。这种模式的一个范例是存储网络（Memory Network），这个模型是Facebook科学家Jason Weston、Sumit Chopra和 Antoine Bordes最近提出的。Google/Deep Mind的科学家也提出了一个相关概念「神经图灵机」（Neural Turing Machine）。Spectrum：所以你不认为深度学习将会成为解锁通用人工智能的那把钥匙？LeCun：它将是解决方案中的一部分。在一定程度上，这一解决方案看上去像一张巨大而复杂的神经网络。但这与人们迄今在文献中看到的有很大不同。我说的这些东西，你已经可以开始看到一些相关论文了。许多人正在研究所谓的「周期神经网络」（recurrent neural nets）。在这些神经网络中，输出被反馈到输入端，这样你就能形成一个推理链。你可以借此来处序列信号，像语音、音频、视频和语言，初步结果相当不错。深度学习的下一个前沿课题是自然语言理解。Spectrum：如果一切顺利，我们可以期待机器很快能做到哪些它们现在做不到的事情吗？ LeCun：你或许能看到更好的语音识别系统，但在某种程度上它们是隐藏起来的。你的数字伴侣将会变得更完善；将会有更好的问答和对话系统；你可以和你的计算机进行对话；你可以向计算机发问而它会从知识库中为你寻找答案；机器翻译将会更精准；你还能看到自动驾驶汽车和更聪明的机器人，自动驾驶汽车将会使用卷积网络。七、深度学习能让机器获得常识吗？Spectrum：在准备这次采访时，我征集了一些计算领域从业者想要问您的问题。艾伦人工智能研究院（Allen Institute for ArtificialIntelligence，简称AI2）主任Oren Etzioni对于改进图灵测试的Winograd Schemas挑战（简称WS挑战）很感兴趣。WS挑战不仅仅涉及自然语言和常识，还包括对于现代社会运行机制的理解。计算机可能会采取何种办法来应对这些挑战？LeCun：这个问题的关键是如何表达知识。在「传统的」人工智能里，事实知识以图形（是一套符号或实体及相互关系）的方式被手工输入。但我们都知道人工智能系统是可以通过学习自动获取知识的。所以问题就变成了「机器如何才能学会表达有关事实和关系的知识？」深度学习毋庸置疑是解决方案的一部分，但不是全部。符号的问题在于它只是一串毫无意义的比特。在深度学习系统里，代表实体的是大规模的向量，而它们是从数据和反应这些数据的特征中学习而来的。学习推理要归结于学会对使这些向量运算的函数。Facebook的研究人员Jason Weston、RonanCollobert、Antonine Bordes和Tomas Mikolov等人已经率先开始尝试用向量来表达单词和语言。Spectrum：人工智能的一个经典问题是让机器获得常识。深度学习领域对这个问题有什么见解？LeCun：我认为通过使用预测式无监督学习可以获得某种常识。例如，我可以让机器观看大量的关于物体被抛掷或下落的视频。我训练它的方法是给它看一个视频，然后问它：「接下来会发生什么？一秒钟之后画面将如何？」以这种方式训练机器去预测一秒钟后、一分钟后、一小时后、或一天后世界将会如何，它将获得很好的对世界的描述。这会使得机器了解物理世界的众多限制，如「抛向空中的物体在一段时间后将下落」、或者「一个物体不能同时在两个地方」、或者「物体被挡住后仍然存在」。了解物理世界的限制将使机器能够「填补空白」以及在被告知包含一系列事件的故事后对世界的状态进行预测。 JasonWeston、Sumit Chopra和Antoine Bordes正在利用我刚才讲到的「记忆网络」建造这样一个系统。Spectrum：谈及人类的智能和意识时，很多科学家常说我们甚至不知道我们所不知道的东西到底是什么。你认为在建造人工智能时也会遇到这个问题吗？LeCun：这很难说。我曾说过建造人工智能就像是开车在迷雾中前行。你只是顺着你能看见的路往前开，但是可能会突然出现一堵墙在你眼前。这样的故事在人工智能领域屡见不鲜：50、60年代的感知机（Perceptrons）如此；70年代的句法符号方法（syntactic-symbolicapproach）如此；80年代的专家系统如此；90年代初的神经网络（neural nets）依然如此；还有像图像模型、核机器（kernel machines）及其他诸多研究都是如此。每次都会产生一些新的进展和新的理解，但也会产生一些需要突破的限制。Spectrum：另外一个问题是来自加州大学伯克利分校的著名教授Stuart Dreyfus和Hubert Dreyfus兄弟：「媒体有报道说计算机现在已经厉害到能够识别并且自由攻击特定目标的程度，你对这件事及背后的道德问题怎么看？」LeCun：我想道德问题不应该只丢给科学家！关于人工智能的伦理道德问题必须进行讨论。最终我们应当要建立一套关于人工智能可以用来做什么、不可以用来做什么的伦理准则。这并不是新问题。与很多强大技术伴随而来的伦理问题都需要社会来解答一样，比如核武器和化学武器、核能、生物科技、基因操纵与克隆、信息获取。我个人认为机器在无人类决策的情况下不可能发起攻击。但是话又说回来，这一类道德问题需要通过民主与政治程序来集体考察。Spectrum：你常常发表关于政治话题的尖刻评论。Facebook的掌门人不担心吗？LeCun：只有一些问题让我坐不住。一种是不基于事实和证据的政治决策。只要某个重要决策的制定不是基于理性的我都会有所反应。聪明人对于解决问题的最佳方案可以有分歧，但是如果人们对坚定的事实都不能取得一致的话，我认为是非常危险的。这就是我所呼吁的。碰巧在这个国家，那些支持非理性决策与基于宗教决策的人们大部分都是右派的。但是我也要提醒左派的人，比如那些认为所有转基因生物（Genetically Modified Organisms）都邪恶的人──只有部分转基因生物是邪恶的，还有那些因非理性原因反对接种疫苗或核能利用的人。我是一个理性主义者。我也是一个无神论者、人文主义者，我并不害怕承认。我的道德理念的目标是，从长远来看使人类整体幸福最大化及使人类苦难最小化。这些只是我的个人见解，与我的雇主无关。我尽量明确的分隔开我（发表在Facebook个人主页）的个人见解以及我（发表在我的Facebook公共主页上）的专业文章。八、老生常谈的奇点理论Spectrum：你之前已经说过，不同意那些与「奇点运动」相关的观点。我很感兴趣的是你如何看待与之相关的社会学方面的问题？对于它在硅谷如此受欢迎你怎么解读？LeCun: 很难讲。对于这个现象我也有点困惑。正如 Neil Gershenfeld（译者注，麻省理工The Center for Bits and Atoms主任）指出，sigmoid函数曲线的初始部分是指数型上升的，这也意味着现在看起来指数般增长的趋势很可能会在将来遇到瓶颈，包括物理、经济，以及社会方面，紧接着经历拐点，然后饱和。我是乐观主义者，但同时也是现实主义者。确实有些人会大肆宣扬奇点理论，比如 Ray Kurzweil。他是个典型的未来主义者，对未来持有实证主义的观点。通过大捧奇点，他卖了很多书。但据我所知，他却对人工智能学科没有丝毫贡献。他卖了很多科技产品，其中一些有一定的创新，但并没有概念性的创新突破。确定无疑的是他没写过任何指导人们如何在人工智能方面有所突破和进展的论文。Spectrum：你觉得他在Google现有的位子上有什么成就吗？LeCun：迄今为止，好像寥寥无几。Spectrum：我也注意到当我和一些研究者讨论奇点理论时，有一个很有趣的现象。私下里他们好像对此（奇点理论）很不以为然，可是一到公众场合，他们的评论又会温和很多。这是因为硅谷的一切大人物都很相信的原因吗？LeCun：一线的人工智能研究者需要保证一种微妙的平衡：对于目标要保持乐观，但也不能过分吹嘘。需要指出其中不易，但也不能让人觉得希望渺茫。你需要对你的投资者、赞助商以及雇员诚实；需要对你的同事、同行诚实；还需要对外界公众和自己诚实。当未来的进步有很多不确定时，尤其是当那些不够诚实和自欺欺人的人总是对未来的成功夸下海口时，这（继续保持诚实）很困难。这就是为什么我们不喜欢不切实际地大肆宣扬的原因，这是由那些不诚实或者自欺欺人的人干出来的，但却会让那些严谨诚实的科学家的工作变得更难。如果你在Larry Page、Sergey Brin、Elon Musk、和Mark Zuckerberg那样的位置上，你就得时刻思考长期来看科技到底该走向何处。因为你掌握着大量资源，并且可以利用这些资源让未来朝你认为更好的方向行进。因此不可避免地你得问自己这些问题：10年，20年甚至30年后的科技到底会是什么样子？人工智能的发展，奇点以及伦理问题到底会是怎样?Spectrum：是的，你说的对。但是你自己对于计算机科技如何发展有着很清晰的判断，我不觉得你会相信我们在未来30年就可以实现下载我们的意识。LeCun：不会很快。Spectrum：或许永远不可能。LeCun：不，你不能说永远不可能。科技在加速前进着，日新月异。有些问题需要我们现在就开始关注，而另外一些则很遥远，或许我们可以在科幻作品中费点笔墨，但现在还没有担心的必要。九、有时我需要亲手创造些东西Spectrum：另一个问题来自一位研究人员，C++之父BjarneStroustrup问：「你曾经做过一些非常酷的玩意儿，其中大多数能够飞起来。你现在是不是还有时间摆弄它们，还是这些乐趣已经被你的工作压榨光了？」LeCun：工作里也有非常多乐趣。但有时我需要亲手创造些东西。这种习惯遗传于我的父亲，他是一位航空工程师。我的父亲和哥哥也热衷于飞机制造。因此当我去法国度假的时候，我们就会在长达三周的时间里沉浸于制造飞机。Spectrum: 你Google+个人首页那张图片上是什么飞机？LeCun：它是Leduc，它就在邻近巴黎的Musée de l’Air机场。我非常喜爱这架飞机。它是第一架依靠冲压式喷气发动机提供动力的飞机，这种发动机是特有的型号，能够支持非常高的飞行速度。SR-71黑鸟飞机也许是世界上采用冲压式喷气发动机和涡轮喷气发动机混合动力飞得最快的飞机。第一架Leduc原型机制造于二战前的法国，在德国入侵法国之前就被毁坏了，二战以后又先后制造了几架。这就是非常具有创造性的做事方式。它看上去非常棒，具有难以言表的外形，每一样设计都是为了满足速度要求，但是制造这样一架高效便捷的飞机耗资巨大。这架飞机冲压式喷气发动机的噪音也是难以忍受的。Spectrum：你的网站上有个帖子讲了一个有趣的故事，是你多年前偶遇Murray Gell-Mann（美国物理学家，获得1962年诺贝尔物理学奖），你还让他纠正你姓氏的发音。看起来你是小小的捉弄了一下这位杰出但自大的科学家前辈。现在你也变得相当有名，会不会担心自己也一样变得自大起来？LeCun：我试着不那么引人注目。当你领导一个实验室时，需要让年轻人动用他们的创造力，这一点非常重要。年长者的创造力来自于他们所了解的东西，而年轻人的创造力则来自于他们所不了解的。这使他们可以进行更加广泛的探索。你可不想磨灭这种激情。与博士研究生以及年轻研究者交流是应对骄傲自满情绪的一种非常有效的方式。我认为我并不自大，而Facebook也是一家非常务实的公司。因此我们相当契合。?----------------------------------------------------添加个人微信号"jiqizhixin2014"：方便查看历史文章。申请加入机器之心微信群，讨论前沿科技。申请加入机器之心翻译团队，与小伙伴一起为未来写诗。国内外前沿科技寻求报道。转载请在文章开头显著注明“本文来源于微信公众号‘机器之心’（almosthuman2014）”，并保留原文作者和来源。
觉得不错，分享给更多人看到
机器之心 最新文章:
查看更多&&>>&&
人与科技的美好关系
机器之心 微信二维码
分享这篇文章
3月4日 15:04}