自我训练能让人工智能实现人工智能理论家所谓的“智能爆炸”（intelligence explosion）。智能爆炸之后，越发聪明的机器开始以非凡的速度进行自我学习和训练，从而在一瞬间变得比人类更加聪慧。提出这个想法的理论家并没有把实现智能爆炸之后的机器人认定成康德思路下的理性道德主体。他们更倾向于将机器人当作问题解决者：机器人的数字化大脑能够完成涉及复杂逻辑的大规模计算，而这是人类大脑所不具备的能力。假如你是支持天赋派的伦理学者，道德在你眼中只是符合宏观标准的小心谨慎。因为智能机器人能够更好的解决极其复杂的数学问题，所以你推测它们也许最终也能更好的解决道德问题。一旦智能爆炸开始，机器就有超越我们的可能。虽然我们不能真正了解道德的真理究竟是什么，但智能机器人却可以做到。
所以这样一来，懂伦理道德的机器人便能突破人类局限。但仔细想来，这种帮助机器超越人类的方式会衍生其他问题。第一个问题：机器人如何才能学会道德标准？道德可不是围棋。围棋这样的棋类游戏由规则组成，而这些规则的数量是有限的。如此一来，我们可以用清晰的标准衡量出究竟哪一方最终取胜。对于道德来说，事情就没有这么简单了。根据天赋派的观点和理论，世间也有很多规范限制行动的客观道德标准。学会了这些在客观上正确的标准后，机器自然就取得“胜利”。但问题是我们并不知道这些标准和规则具体是什么，因为人类本来就是存在道德缺陷的生物。如果我们能够清楚地知道什么是客观上正确的道德标准，我们也就不需要利用超级智能机器人来帮我们寻找答案了。
也许我们可以为机器人设置道德学习的“初始参数”，比如不得漫无目的随意伤害有感情和意识的生物。接下来就要靠机器完成自我学习和训练。如果智能机器人非常理性和善于推理，它们便能超越人类局限而实现更高水平的道德状态。但这又引发了第二个问题：一旦不断发展进化中的人工智能偏离了我们认为道德正确的轨道，我们要如何应对？实际上，这个假设的前提是必然会发生的，否则我们也就不会期望机器能够超越人类道德局限而实现突破。可是问题在于，我们无法理解先进的机器人所做出的道德选择。要知道，即便是 AlphaGo 的创造者也不知道它为什么要在第 37 手走出那样的一步棋。AlphaGo 的创造者是幸运的，因为围棋有着明确的判断标准。通过这些标准，我们知道 AlphaGo 下出了很多好棋。因为连续战胜世界顶级棋手李世石，所以我们知道 AlphaGo 走出的是好棋。但是，我们又如何能判断出人工智能那些看上去荒诞不经的道德选择是正确的？我们如何知道它是否已经严重偏离了道德的轨道？一旦机器开始像“英雄”一般弃车保帅，选择淹死我们的孩子来拯救前方马路上的其他孩子，我们又该如何应对？
智能机器人的确有可能知道什么样的行为在道德上是正确的。这里所说的道德正确，指的是从宏观角度分析得出的客观结论。可即便如此，智能机器人也无法顺利的向我们解释清楚它们的理解，因为人类的大脑存在局限性。也许从宏观角度来看，保护婴儿和沙发都具有道德上的重要意义。另一方面，智能机器人也可能在自我学习和训练过程中走向道德灾难。从解决数学问题这个层面看，智能机器人的确比人类聪明许多。但这种高级的智慧可能并不足以帮他们建立正确的道德观。智能机器人最终可能形成残忍无情的简单逻辑，对世间万物没有怜悯和照顾，只是想无情的伤害一切。
图片来自 Flickr
看上去，事情最终有两种潜在结局：机器人要么拥有比我们更完美优秀的道德观，要么拥有比我们更糟糕失败的道德观。但是问题的关键在于我们无法区分这两种局面。而且如果从人类的角度出发看待机器人，不出意外我们会认为它们正在逐渐走向错误的终点。机器人可能会选择保护我们认为毫无价值的东西，也可能会选择牺牲我们心中的无价之宝（比如坐在机器人车中的孩子）。如果我们有能力终止机器人的行为，那人类几乎一定会选择这样做。
这就是为什么天赋派的观点不能帮我们解决机器人道德观的问题。如果世间真的存在超越人类理解能力的客观道德准则，我们最终也不会愿意让机器人成功领悟。机器人行事的风格偏离人类社会道德标准越远，我们就越难认为它们是在做正确的事情，也就越难理解它们的一举一动。我们不会允许机器人比人类优秀太多，因为我们不能接受机器人与人类差异巨大这样的局面。