黄鑫
关心AI圈的人一定都知道，谷歌是一家在AI领域投入和应用非常广泛和庞大的科技公司，对于AI的研究也一直处于世界水平的前列。作为领域的领军公司之一，谷歌自然要扛起前瞻性研发的公司，所以在很多人还对深度学习一头雾水的时候，谷歌已经开始研究如何避免AI伤害到人类了。
防范措施的全方位研究
前段时间，谷歌就发布了一篇论文，详细的描写了一种用于AI的紧急停止开关的运作原理和实现机制，但是这样仅仅的一种事后应对措施显然是无法平复人们（包括谷歌）的担心的，因此，另一项研究也在同时进行，并在前者发布不久之后发布，这项研究多是从基础理论出发。从根源上提出了几种防止AI对人类的利益产生损害的方式，雷锋网(搜索“雷锋网”公众号关注)分上下两部分翻译了论文的全文，点击链接：上、下——从事先预防到事后应急。简直已经形成了一套完美的理论。
但是这确实证明了AI确实已经强大到了足以威胁到我们的地步了吗？Elon Musk、霍金等AI警惕论者是不是应该为自己的远见欢呼雀跃？事实上恰恰相反。在仔细分析了谷歌的安全机制论文后，我们恰恰认为这篇论文反而体现了目前的AI仍然处在远远无法对人类这个整体产生威胁的程度。
如同Mobileye的Amnon Shashua说的那样，深度学习目前只能用来解决人类已知并且能非常精确的描述出来的问题。与深度学习师出同门的增强学习（Reinforcement learning，RL）自然也是一样。在目前典型的RL学习范例中，如果要让一个机器人很好的完成一项任务，人类必须把这项任务的所有细节量化成机器可以理解的形式，然后输入RL的模型，再让机器经过无数次的模拟和实验，才可能得出一套行之有效的方案。
这种形式导致的一项后果就是：增强学习的“代理”（也就是机器人）的概念中，除了完成任务获取最大化的奖励之外不会有任何概念。在某些时候，心无旁骛是件好事，但是这却导致了代理在完成任务的过程中会出现很多意想不到的问题，而这才是目前谷歌主要想要应对的问题，而不是起邪念的机器人想要毁灭世界，或者干嘛的。就连谷歌自己都在论文中说：
目前，很多此类讨论围绕极端情景，例如在超智能代理（也就是超级人工智能啦）中出现错误目标函数的风险。然而，我们认为有成效地讨论意外问题不需要渲染这些极端情景，实际上这只会带来没必要的推测性讨论，正如一些批评者所说的那样，缺少精确度。我们相信，最有成效的做法是从现代机器学习技术的实际问题（虽然经常比较笼统）来描述意外风险。
言下之意就是，现在的机器人如此之蠢，为什么大家都想去分析一个正在学习爬行的婴儿会不会飞的比飞机还快？
注意这个类比的特点：婴儿再怎么长大，再怎么学习，也是不可能单独飞起来的，更何况要飞的比飞机还快，同样，目前的增强学习模型，如果不在某种程度上发生飞跃性、本质上的进步，很难相信它随着不断的学习就能成为能超越一切的智能。
不够智能=不会犯错？
让我们回到论文本身的分析来，谷歌相信现在的机器人只有极其有限的智能，不代表他们就认为这样的智能不会对人类造成损害。事实上，没有智能的东西对人类造成的损害大了去了。其实人类在执行某项任务的时候，除了任务目标和手中掌握有的工具之外，人类在进行思考的时候还会考虑两项很重要的因素：常识和道德。它在不知不觉中影响着我们的一言一行。但由于在通常RL模型的指引下，机器人对周遭除了模型中有所描述的环境的概念一无所知，这时候它是没有常识和道德可言的。因此很容易做出一些看起来匪夷所思，但于机器人的角度来说却是合情合理的行为。谷歌在论文中以一个清洁机器人为例，主要提出了五种可能的、AI在执行RL学习时可能出现的错误趋势：
负面影响：AI在试图达到目标时可能对环境做出有负面影响的举动。比如它可能会为了更快的打扫地面而径直推翻（而不是绕过去）一个花瓶。
非法解读：AI可能通过篡改测量值等手段在奖励函数上玩花样。比如扫地机器人可能只是找个东西把脏东西盖起来让自己看不见它，就认为自己已经扫干净了地面。