人工智能名人列传（1）-“神经网络之父”杰弗里·辛顿

人工智能技术已经发展了数十年了，但直到十多年前，才随着深度学习技术和相关应用的逐步成熟掀起了新一轮浪潮，硅谷各大科技企业把它视为未来，开启了轰轰烈烈的“All in AI”转型。现代人工智能领域有三大奠基人（见下图），分别是杰弗里·辛顿(Geoffrey Hinton)、延恩·勒昆(Yann LeCun)、约书亚·本吉奥(Joshua Bengio)。

今天为大家介绍的是被称为“神经网络之父”、“深度学习鼻祖”的杰弗里·辛顿。杰弗里·辛顿（Geoffrey Hinton），人工智能学界传奇，爱丁堡大学人工智能的博士、多伦多大学的特聘教授。他将HintonBack Propagation（反向传播算法）应用到神经网络与深度学习，他也是深度学习经典网络AlexNet的提出团队成员，可以说他的学术生涯贯穿整个深度学习的发展历史。2013年辛顿加入谷歌并挂帅了一个AI团队，深度参与到将神经网络技术转化为实际应用的浪潮中，他见证了“深度学习”从边缘课题变成了谷歌等硅谷各大巨头仰赖的核心技术，下图就是杰弗里·辛顿。

说到辛顿的传奇，我们可以归结为三个传奇，一是家庭背景传奇，二是求学经历传奇，三是治学经历传奇。

1、传奇的家庭背景

1947年末，辛顿出生在战后的英国伦敦小镇温布尔登（Wimbledon），成长于布里斯托尔（Bristol）。我们细数一下他传奇家庭中的“聪明”的成员，他的曾曾祖父是著名的逻辑学家乔治·布尔（George Boole），就是赫赫有名的布尔代数（Boolean algebra）的发明者，他奠定了现代计算机科学的基础。他的叔叔是著名的经济学家科林·克拉克（Colin Clark），发明了“国民生产总值”这个经济学术语，影响意义深远。他的父亲霍华德·辛顿（Howard Hinton），是个昆虫学家，非常喜欢研究甲壳虫，母亲Margaret是一位教师。辛顿的两位堂兄妹在中国很是有名，堂弟叫William Hinton（中文名是韩丁），中国人民老朋友，创作过《翻身》等和中国相关的纪实文学。还有一个堂妹叫Joan Hinton（中文名是寒春），参加过曼哈顿计划为美国制造原子弹，心怀解放全人类的理想来到了共产主义中国，如果你翻过杨振宁、邓稼先事迹，可以看到她的名字。可以说，辛顿一家都流淌着饱含聪明才智的血液。

2、传奇的求学经历

在天才家庭出生的辛顿却是一位非典型的天才，他的求学、尤其是追求人工智能的理想之路走得很不平坦。辛顿与人工智能结缘很早，他的自述早在60年代他念高中时，无意间听到了人脑信息存储的全息图机制，如同他的前辈皮茨和麦卡诺克等学者研究的神经网络以及信息如何在大脑中存储记忆的猜想那样（参考机器学习中的函数（1）- 激活函数和感知机），辛顿也为此深深的着迷，他形容到这是他一生的关键时刻，也是他一生成功的起点。

辛顿比许多同年人都要聪明，当他高中毕业进入剑桥的国王学院攻读物理和化学，不过仅读了一个月后就退学了，他解释到“我那时候18岁，第一次离开家自己生活，感到有些压抑”。一年之后，他再次申请攻读建筑学，结果在建筑系仅仅上了一天课，又决定转学读物理学和生理学，后来发现物理数学还是不适合自己，又再次退学。此后，他再改读哲学，但却和他的导师发生了激烈的争吵，最后他选择研读心理学。直到1970年，辛顿终于以剑桥大学国王学院实验心理学学士身份毕业。后来辛顿自己都自嘲：“我想我可能有一种教育上的多动症，无法安安静静的学习”。大学毕业后，辛顿搬到了北伦敦的伊斯灵顿区居住，为了生计他成为一个木匠，过着混乱、有点潦倒的日子。

可能环境有时候会起相反的作用，在离开大学校园最好最安静的学习环境之后，辛顿反而能够平静地追求他所向往的机器模拟人类大脑来。每个星期六早上，他都会去伊斯灵顿的埃塞克斯路图书馆，靠着图书馆里的资料自学了解大脑的工作原理，这样的平淡日子过了两年后，辛顿反而又通过发表论文和参加学术会议，重新折腾回学术圈，这也是辛顿“叛逆”心态的体现。从1972年开始，辛顿从一个木匠，重新变回一位学者，进入爱丁堡大学攻读博士学位，而且还是师从大化学家克里斯多福·希金斯（Christopher Higgins）教授，他选择的研究方向自然就是神经网络。辛顿重新回到了他自己的轨道上。

3、治学经历传奇

在人工智能起起伏伏的发展历史中，深度学习运动一度被认为是学术界的一个异类，辛顿等人是如何坚持了几十年的时间，缔造了深度学习的复兴？

我们回到辛顿本科时期，当他在剑桥学习心理学，他意识到科学家们并没有真正理解大脑，“没有掌握数十亿神经元之间的交互以及如何提升智力的”，这些科学家可以解释电信号沿着一个轴突连接一个神经元到另一个，但他们无法解释这些神经元是如何学习或计算的。辛顿认为这些都是大问题，他相信这些问题的答案可能最终让我们实现1950年代人工智能起步阶段那些研究人员的梦想。虽然他也没有答案，但他决心用尽毕生之力寻找答案。

辛顿说“当我们发现一种可以使神经网络变得更好的方法，尤其是这种方法能够揭示大脑是如何工作的时候，我就非常兴奋。”不管外界怎么不看好这个技术方向，但是辛顿永远洋溢着青春的热情。他相信通过改进人工神经网络可以收集信息，并且能够做出反应，它们可以理解东西看起来什么样或听起来像什么，可以让你在做决定的时候会变得更加聪明，这是传统的的机器学习工具做不到的。早在80年代初，当辛顿和同事开始这个想法时，那时的电脑性能还远远不能处理神经网络需要的巨大数据集，成功是有限的，随后人工智能学界逐渐抛弃了他们，转而去寻找类人脑的捷径。根据辛顿回忆，那段日子极为艰难，直到2004年，这已经是辛顿他们第一次开发“反向传播”算法神经网络20年之后了。在被学术界轻视了二十年后，他们才从加拿大先进项目研究所（CIFAR）拿到的极少量资金，并在LeCun以及 Bengio 的支持下，辛顿建立了神经计算和自适应感知项目。辛顿全力邀请一些计算机科学家、生物学家、电气工程师、神经科学家、物理学家和心理学家参与这个项目，致力于创建模拟生物智能的模型，模拟大脑如何筛选大量的视觉、听觉以及书面线索来理解和应对它的环境。辛顿希望通过建立这样一个组织会刺激人工智能领域的创新，甚至改变世界，后来的事实证明他是对的。

辛顿曾感慨自己的学术生涯就像人工神经网络（ANN）一样起起伏伏，但幸运的是，他一直坚持着对人工神经网络的研究，特别是在那二十多年的人工智能寒冬期。2010年后，不但是学界，Google这样的互联网公司也开始关注他们。后来，辛顿加入Google公司，继续推进他在CIFAR启动的项目，并更多地和实际应用结合。现在深度学习是主流，辛顿说“我们不再是极端分子了，我们现在可是炙手可热的核心技术呢。”辛顿也周游世界并为深度学习积极布道，他有一个习惯就是喜欢突然大喊：“我现在理解大脑是如何工作的了！”这很有感染力。

4、辛顿的高光时刻

我们一起回顾几个辛顿在人工智能学术领域的高光时刻

• 推动BP算法，掀起深度学习第二次浪潮

上世纪70年代多层人工神经网络出现后，面临重大的挑战性是增加神经网络的层数虽然可为其提供更大的灵活性，让网络能解决更多的问题，但随之而来的数量庞大的网络参数的训练，这是制约多层神经网络发展的一个重要瓶颈。这时误差逆传播（error BackPropagation，BP）算法出现了，参考机器学习中的函数（3） - "梯度下降"走捷径，"BP算法"提效率。现在提及BP算法时，常常把保罗·沃伯斯（PaulWerbos）称作BP算法的提出者，杰弗里·辛顿称作BP算法的推动者。1986年，辛顿联合同事大卫·鲁姆哈特（David Rumelhart）和罗纳德·威廉姆斯（Ronald Williams），发表了一篇突破性的论文，详细介绍了一种叫作“反向传播”（backpropagation）的技术。通过优化人工神经网络的计算方式，反向传播可以纠正很多深度学习模型在训练时产生的计算错误，这种机制极大提高了人工神经网络的性能。因此，反向传播算法对现有人工智能影响很大，《麻省科技评论》这样定义“今天的 AI 就是深度学习，而深度学习就是建立在反向传播机制之上的。”然而提出反向传播算法之后，辛顿并没有迎来事业的蓬勃发展，受限于当时的计算机能力，深度学习的研究进入了又一次的寒冬期。

• 再定义深度学习，掀起深度学习第三次浪潮

2006年，辛顿及其学生Salakhutdinov发表了著名的论文《Reducing the Dimensionality of Data with Neural Networks》，标志着深度学习的正式复兴，也掀起深度学习的第三次浪潮，机器学习全面进入深度学习时期。此时，深度神经网络已经优于与之竞争的其他机器学习的技术以及手工设计功能的AI系统。而在此之后，伴随着数据量的爆炸式增长与计算能力的与日俱增，深度学习得到了进一步的发展，几经起伏后深度学习终于走上前台。

• 提出Alexnet，深度学习开始走向繁荣期

深度学习历史上，AlexNet当属经典中的经典。AlexNet出现之前，深度学习计算还没有机会在实际应用中展示他强大的能力。终于在2012年，辛顿和他的博士生Alex Krizhevsky等提出了AlexNet，并一举拿下当时ImageNet比赛的冠军。相比于前一年的冠军，Top-5的错误率一下子下降了10个百分点，远远超过当年的第二名（26.2%），可见其功力非同一般，从而也确立了深度卷积神经网络在计算机视觉领域的统治地位。Alexnet强化了典型CNN的架构，应用到更深更宽的网络中，由于它的出现，人们更加相信深度学习可以被应用于机器视觉领域，点燃了深度学习的热情，深度学习很快进入了一个繁荣期（参考机器学习中的函数（5） - “算法、算力，数据”已齐备，深度学习走入舞台中心）

今天我们分享了辛顿的传奇人生，从他在人工智能领域起起伏伏的经历中，我们能感受到，在寒冬之中，很多坚持是必要、很多坚持是珍贵的、很多坚持是值得的。