算法解决方案
1986年，辛顿和他的两名同事共同撰写了一篇很有创意的论文，提出通过算法解决方案来解决纠正问题。“他的论文可以说是第二波神经网络热潮的基石。”乐昆说。它点燃了研究者对该领域的兴趣。
乐昆曾在多伦多大学担任辛顿的博士后研究助理，后来于1988年前往AT&T旗下的贝尔实验室工作。在此后的10年里，他开发出了时至今日仍为许多图像识别任务使用的基础技术。1990年代，贝尔实验室旗下子公司NCB商品化了一款由神经网络驱动的设备。据乐昆称，该设备被银行广泛采用，它能够识别支票上的手写数字。与此同时，两位德国研究人员塞普·霍克赖特（Sepp Hochreiter）和约根·施米德胡贝（Jürgen
Schmidhuber）独立开创了另一种算法，那种算法如今已经成为了自然语言处理应用的重要组成部分。
尽管出现了这些进展，但神经网络在1990年代中期还是再一次失宠，风头被更加高效的机器学习工具盖过。这种情况维持了近十年，直至计算性能又增长了三四个数量级，研究人员发现GPU的加速发展。
大数据
不过，还缺少了一样东西：数据。虽然互联网上充斥着大量的数据，但大多数数据——尤其是图像方面的——都没有标签，因此你需要训练神经网络。这个时候，斯坦福AI教授李菲菲站了出来。“我们的愿景是，大数据改变机器学习的运作方式。”她在受访时解释道，“数据驱动学习。”
2007年，她创办ImageNet，建立了一个含有超过1400万张带标签图像的免费数据库。该数据库于2009年上线，次年她创办一年一度的比赛来鼓励和公布计算机视觉方面的突破性进展。
2012年10月，辛顿的两位学生在比赛中获胜，预示着深度学习时代降临。
当时，公众也有听说深度学习，不过是通过另一个事件得知。2012年6月，谷歌大脑公布了一个名为“猫试验”的古怪项目的研究结果。相关的视频相当滑稽有趣，很快就在各家社交网络上得到了病毒式的传播。
未来的一大挑战
该项目实际上探索了深度学习领域的一个很重要但未解决的问题，它就是“非监督式学习”。目前，几乎所有的商用深度学习产品都使用“监督式学习”，即它们的神经网络是用标记数据来训练的，比如用ImageNet建立的图像数据库。相比之下，在“非监督式学习”中，神经网络会被展示未被标记的数据，被要求发现反复出现的模式。研究人员非常希望有朝一日能够掌握非监督式学习技术，因为那样机器就能够自行利用当下大量无法使用的数据来理解这个世界——像婴儿那样完全依靠自己来了解这个世界。
在猫试验中，研究人员让巨大的神经网络（横跨1000台计算机）暴露在1000万张取自YouTube视频的无标签照片面前，然后让软件自己运作。运作完毕后，他们查看最高层的神经元，不出意外地发现其中一个神经元强烈响应猫的照片。“我们还发现一个强烈响应人脸的神经元。”当时领导谷歌大脑项目的吴恩达表示。
不过，研究结果也令人非常困惑。“例如，我们并没有发现一个强烈响应汽车的神经元，很很多其它的神经元也不能指派某个英语单词。因此该项工作非常困难。”
该试验引起了巨大轰动。但非监督式学习问题仍未攻克——未来的一大挑战。
不出意外，目前被商业部署的深度学习应用程序大多数都牵涉到像谷歌、微软、Facebook、百度和亚马逊这样的拥有深度学习计算所需的海量数据的大公司。许多公司在尝试开发更加实用的“聊天机器人”——自动化的客户服务人员。
深耕深度学习的四家科技巨头
·谷歌
谷歌在2011年推出了专注于深度学习的谷歌大脑项目，2012年年中将神经网络引入旗下的语音识别产品，并在2013年3月留住了神经网络先驱乔弗里·辛顿。据它透露，它目前拥有超过1000个深度学习项目，它们覆盖了搜索、Android、Gmail、地图、翻译、YouTube和无人驾驶汽车。2014年，它将DeepMind收入囊中，后者的深度强化学习项目AlphaGo今年3月击败了世界围棋冠军李世石，创下人工智能的里程碑。