嘿，AI，你觉得你在看什么?为什么有着学习算法的机器还会被骗认知出本不存在的东西?随着无人驾驶汽车这样的产品出现，这一点变得越来越重要。现在，我们可以通过一项测试来窥见机器的大脑，这一测试可以使人们知道人工智能正在看一幅图像的哪些部分。
人工智能和人类完全不同。罗德岛布朗大学的克里斯·格里姆说，即使是最好的图像识别算法，也会被骗，比如会将白噪图像识别成知更鸟或是猎豹，这是一个大问题。他说，如果我们不理解为什么这些系统会犯愚蠢的错误，那么我们把性命交付给人工智能时，就应当三思而后行，比如审慎考虑是否发展无人驾驶汽车。
因此，格里姆和他的同事们创建了一个系统，分析一个人工智能在识别图像过程中，实时监测它在关注图像的哪一部分。类似地，对于一种文档分类算法来说，该系统显示了算法使用哪些单词来决定一种特定文档应该属于哪个类别。
窥探内在
谷歌的研究人员杜密鲁特·埃尔汗说，这是一种非常有用的方法，可以进一步了解人工智能并研究它是如何学习的。格里姆的工具为人们提供了一种方便的方式，让人可以检查出一种算法是否正确地给出了正确的答案，他这样说道。
为了创建他的注意力跟踪工具，格里姆在他想要测试的人工智能上安装了第二个人工智能。这个“外包AI”替换了一张带有白噪的图像，来看看这是否对原始软件的判断产生了影响。
如果替换部分图像改变了结果，那么这个图像的区域很可能是识别过程中的一个重要区域。这种方法同样适用于语言。如果在文档中改变一个词使人工智能对文档进行了不同的分类，那么它就表明这个词对人工智能的决定至关重要。
格里姆在人工智能上测试了他的技术，该人工智能经学习可将图像分类为10个类别，包括飞机、鸟类、鹿和马等。他的系统映射出了人工智能在进行分类时的视线路径。结果显示，人工智能已经学会了把物体分解成不同的元素，然后在图像中搜索每一个元素，以确认其识别结果。
识别马头
例如，当看到马的图像时，格里姆的分析显示，人工智能首先对腿进行了密切关注，然后在图像中搜索了它认为可能是头的地方——它预先并不能知道这匹马的头出现的地方。对于包含了鹿的图像，人工智能也采取了类似的方法，但在这些情况下，它专门搜索了鹿角。人工智能几乎完全忽略了一个图像中的许多部分，这些部分并不包含有助于分类的信息。
格林和他的同事们也分析了一个训练后可以玩“Pong”(某电子游戏)的人工智能。他们发现，它几乎忽略了屏幕上所有的东西，只是密切关注着两根纤细的移动小柱。人工智能对一些区域几乎没有关注，以至于把小柱从它预期的地方移开后，它就误以为它是在看球而不是小柱。
格里姆认为，他的工具可以帮助人们判断出人工智能是如何做出决定的。例如，它可以用来检查在肺部扫描中检测癌细胞的算法，确保它们不会通过观察图像错误的部分，却恰好找到正确的答案。“你可以看看它是否没有注意到正确的东西，”他说，但首先，格里姆想用他的工具来帮助人工智能学习。
如果人工智能没有注意到时，它就会让人工智能培训师把他们的软件直接引导到到相关的信息上去。(马特·雷诺兹报道，参考:arXiv)