人工智能的“黑暗秘密”:如何让AI解释自身行为?

当他得到了他想要的答案之后,威尔逊表示利用该算法用来理解光如何表示粒子位置的内部规则之后,可能将会为接下来的研究开辟了一条新的道路。

威尔逊说:“在某种程度上,一个模型是我们观察得出的理论,我们不仅可以利用模型进行预测,还可以更好地理解为什么这种预测方向是正确的,以及这些自然过程是如何运作的。”

解读能力

不过微软研究人员Wallach说,要在解释性语言能力上开辟新领域,最大的挑战之一就是怎样简单地定义它。

解读能力是否意味着人工智能专家知道为什么Facebook数据的算法会向每个人展示一个特定的帖子,或者说,这是一种能让你了解自己的方式?使用人工智能治疗推荐系统的医生是否需要知道为什么采用特定的建议治疗方案,或者说我们还需要在医院里创建另一个角色——人工智能监测人员?

Wallach称解读能力是一种潜在的构想:一种无法察觉的东西,但却被测试了真实的人们如何正确或错误地使用人工智能系统。这不仅仅是提升算法观察以及引擎运行的方式。

了解一种算法并不仅仅是为了防止局限性或确保你的火星漫游者不会从太空悬崖上掉下来,而是可能可以帮助人工智能研究人员建立更精确的系统。

优步公司的Yosinski说:“如果你不知道这个系统不工作的原因,要提高它的性能是相当困难的。”“通常情况下,如果你知道它为什么会工作失败的话,最后必然会找到一个解决方案。”

为了弄清楚其中一种算法是如何思考的,谷歌正试图对每次通过算法处理图像时进行的数百万次计算过程进行层层筛选研究。在NIPS大会上发表的一篇论文中,通过观察树皮和鸟的互动联系,谷歌研究人员Maithra Raghu展示了她修复的之前有问题的哑铃与机器人手臂之间的联系。

当人工智能研究鸟类的图像时,我们可以观察到人工智能网络中哪些神经元被激活,而Raghu能够通过这些数据确定哪些神经元专注于鸟的叫声或者集中在树皮上,最后再把树皮神经元关掉看看会有什么结果。取得这一成功意味着尽管人工智能是一个复杂的产物,但将神经网络的工作转化为人类所理解的东西并非是不可能的事情。

Wagstaff说:“在学校里,我们要求学生用自己的理解来证明他们学到的东西,并展示这些来证明他们的理解是正确的。”“现在我们希望机器也能做同样的事情。”