谷歌AI教父:AlphaGo有直觉 神经网络已接近大脑

辛顿: 首先,我在建立NCAP的时候没有想那么多,我只是想到把我认识的所有能够交流协作的人聚集到一起来做这个事情。选人的标准有三个:聪明、懂得交流协作、对神经系统是如何工作的这件事情感兴趣。因为我已经从事这项研究很多年了,在这方面积累了不少人脉,当我们聚集到一起然后我们发现,哎,合作还很不错。

海伊: 从2004年以来,计算机的的运算能力不断增加,这肯定对您的研究有很大的帮助。那么您觉得,当前NCAP的研究成果是什么呢?

辛顿: NCAP目前已经有很多科研成果,不仅仅是神经网络方面,我们在共有的知觉与肌动控制领域也有研究。其中最具影响力的研究成果还属深度神经网络。在2004年左右那个时候,业界普遍认为要训练包含多层变量的神经网络是非常困难的,NCAP的大多数人也认为通过纯粹的监督训练是没有办法构建神经网络的。所以说接下来历史的发展其实有一些偶然性,我们开始将着眼点放在非监督训练上:如何在不知道整个网络应该输出的正确结果的前提下,逐层进行训练。每一层都在试图为其下面一层的结构和数据建模,我们称之为pre-training。这是一个能让深度学习继续发展下去的重要突破,有了这种技术,接下来深度神经网络的研究就容易多了。

后来人们就发现,如果有足够的算力和数据支撑的话,深度神经网络的研究可以摆脱上述方式。很多时候你有很多数据,例如大段讲话或者视觉数据,你就不需要pre-training了。但是pre-training确实是促使深度神经网络技术继续发展的原因。我们是首先知道了通过pre-training可以解决瓶颈,然后再去寻求摆脱pre-training的方式。我觉得,是因为由NCAP最先提出来的pre-training引发了很多其他研究人员将其作为突破目标。

人工智能火不是因为它的原理和技术

海伊: 采访了这么多期人工智能领域的领先人物,我发现让我惊喜的是很多相对新的组织都将目光放得很长远,制定战略也都是基于长期的考虑,他们更倾向于选择不期待短期回报的投资者。有很多组织将自己定位成非盈利机构,这样能够让他们将技术的研发作为首要任务。这真的很少见,也很幸运,这么多的顶尖人才纷纷将目标定在历史发展而非短期盈利上。对此您是怎么看的呢?

辛顿: 是的我有几点想说。首先,不光有技术,还要有应用。现在神经网络这么火不是因为它的原理,而是因为它真的可以做事情。像语音识别、物体识别、机器翻译等这些应用都很震撼,人们也更乐意朝这方面投钱,来支持这方面的基础研究。

我觉得,“以营利为目的”比“非营利”更加复杂,举个例子,谷歌给大学投钱用来做基础研究,这很好,对于大公司来说这非常重要。因为大学培养出来的高质量的毕业生可以为他们所用,所以大公司乐意投钱给大学做基础研究,公司也能从其中受益,所以说其中的关系是很微妙的。

在大学里面,有很多政治方面的压力,在英国、美国、加拿大都有,这些政治压力让研究更偏向于应用。这样政客花这笔钱有很好的理由:“我们投这笔钱是因为在五年之后就能回本,就能为社会提供工作机会,或者说五年之后就能盈利。”这不是做基础研究的正常的路线。真正有价值的研究一定是出自于对未知的好奇。所以说给大学投钱做应用型研究在我看来是一个错误。我觉得大学就应该做基础研究,应用方面应该由公司做。让大学研究更倾向于应用的,这在自然科学领域是说不通的,是不对的。这只是对政客或者一些科学界的管理者来说是有利的,因为卖相好。

谈谷歌的人工智能,AlphaGo有了直觉

海伊: 现在您在学术界和应用界之间架起了桥梁,在您工作了多伦多大学任教的同时也加入了谷歌。我了解到你在多伦多大学的时间大概是从早上9:30到下午1:30,在谷歌办公室的时间是2:00-6:00。两边都兼顾到了。能说说这两份事业之间的联系与不同吗?

辛顿: 我在谷歌的位置很特殊,我不再从事我之前从事的研究工作了。我在神经网络领域工作了很多年,所以我经历了很多想法的产生与被否定。当时有很多想法被否定是因为计算机还不够强大。我现在的工作是给谷歌神经网络团队提供有可能会给他们现在的工作带来启发的旧的想法,用我多年以来形成的对于正确解决方法的灵敏的嗅觉来帮助他们做事情。现在我在做的是,为谷歌提供对于基础研究具体可行的应用模式。这和大多数谷歌员工所从事的对于某一个应用的具体开发工作是不一样的。在DeepMind部门(就是做出AlphaGo的那个部门),有很多员工做的事情就是发现新方法。在神经网络团队,会有人专注于基础科学的研究以及神经网络的新算法的研发工作。