AI革命:深度学习缘何突然改变你的生活

据彼得·李称,2011年,微软将深度学习技术引入商用的语音识别产品。谷歌也在2012年8月跟进。

然而,真正的转折点发生在2012年10月。在意大利佛罗伦萨举行的一个研讨会上,斯坦福AI实验室、知名的ImageNet计算机视觉比赛创办人李菲菲(Fei-Fei Li,音译)宣布,辛顿的两位学生发明了一种识别物体准确率几乎两倍于最接近的竞争产品的软件。“那是令人惊叹的成绩,”辛顿回忆道,“说服了很多很多原来持怀疑态度的人。”

攻克图像识别可谓起步抢,它点燃了一场人才争夺战。谷歌招揽了辛顿和赢得那次比赛的那两位学生。Facebook招募了法国深度学习创新者雅恩·乐昆(Yann LeCun),他曾在1980年代和1990年代开创了一种曾赢得ImageNet比赛的算法。百度则聘请了前斯坦福AI实验室负责人吴恩达,他曾在2010年帮助驱动和领导专注于深度学习的谷歌大脑项目。

此后,这场人才争夺战变得愈发激烈。微软的彼得·李称,目前该领域的人才争夺非常激烈。他说,顶级人才的要价达到NFL橄榄球球员的水平。

神经网络原型

现年68岁的乔弗里·辛顿第一次听说神经网络是在1972年,当时他开始在爱丁堡大学攻读人工智能专业硕士学位。他在剑桥大学读本科时研究的是实验心理学,因此他对于神经网络很有热情。当时,神经网络不受青睐。“人们都觉得它太疯狂了。”辛顿回忆道。不过他坚持了下来。

神经网络带来了计算机像儿童那样学习(即通过体验,而非通过人类专门打造的程序带来的指令)的前景。“当时,很多的AI研究都是受到逻辑思考的启发。”他说,“但逻辑思考是人在较晚阶段才会做的事情。而两三岁的儿童并不做逻辑思考。所以我认为,神经网络是比逻辑思考要好得多的智能运作模式。”

在1950年代和1960年代,神经网络开始在计算机科学家当中流行开来。1958年,康奈尔大学研究心理学家弗兰克·罗森布拉特(Frank

Rosenblatt)在一个美国海军支持的项目中打造了一个神经网络原型,他将其命名为Perceptron。它利用了一台占用一整个房间的穿孔卡片计算机。在经过50次尝试后,它学会了分辨左侧有标记的卡片和右侧有标记的卡片。《纽约时报》当时报道称,“海军今天公布了一款初期的电子计算机,它预计将能够走路,说话,看东西,书写,复制自己,以及意识到自己的存在。”

软件只有一层类神经元节点的Perceptron被证明用途很有限。但研究人员认为,如实施多层(或者深度的)神经网络,它会变得更加强大。

多层神经网络思路

辛顿如是解释该基本思路。想象一下,一神经网络在解读摄影图像,部分图像显示小鸟。“进行输入后,第一层神经元会检测到小小的边。一侧较暗,另一侧很明

亮。”他说,在分析第一层传来的数据时,下一层神经元会检测到“诸如两边连成的角的东西。例如,其中一个神经元可能会强烈地响应鸟嘴形成的角。

下一层神经元“可能会发现更加复杂的结构,如形成圆圈的多条边。”这一层的神经元可能会响应鸟的头部。更高层的神经元可能会检测到似头的圆圈附近并列的多

个鸟嘴状角。“这说明它很可能是鸟头。”辛顿说。神经元层次越高,响应的概念就越复杂越抽象,直至最高层联想到“小鸟”的概念。

然而,要学习,深度神经网络不仅仅需要像这样往上层神经元传递信息。它还需要路径来判断最高层得出的结果是否正确,如果结果不正确,它得将信息往下传递,让所有类神经元单元能够重新调整它们的判断,以改进结果。学习过程就是这个时候发生。

1980年代初,辛顿在研究这一问题。法国研究者雅恩·乐昆亦然,他当时刚刚开始在巴黎攻读研究生。乐昆在1983年偶然看到了辛顿的一篇讲述多层神经网络的论文。“论文当时并不是用那些术语来阐述的。”乐昆回忆道,“因为当时如果你提到‘神经元’或者‘神经网络’之类的词,论文是很难发表出去的。因此他用模糊的语言来撰写那篇论文,使得它能够通过审核。不过我觉得它非常有趣。”两人在两年后相识,一拍即合。