有些人想知道，我们是否应该欢迎新的机器人负担，并且/或者如何装备他们的程序，让其本质上对人类无害（就像阿西莫夫的「机器人三定律」），并且/或者防止他们掌握将宇宙变为回形针的理论。那都不是问题。 事实一直如此，生产力、经济能力、智力，无论哪个方面， 单个特别有创造力的人（的能力）都成千上万倍于绝大多数普通人；而且这种人如果将自己的能力用来作恶，会祸害无穷。
这些现象与AGI没关系。善恶之间的思想斗争和人类物种一样古老，还会继续持续下去，无论智能在什么事物上运行。问题在于：我们总是希望善的智能总能击败恶的智能，生物智能击败人工智能；但是我们错了，我们自己的「善」的概念需要不断发展。社会组织结构如何发展才算合理呢？「控制所有的智能」是一个巨大的错误，「控制所有看起来不同于我们的智能」也好不到哪里去。
我们必须停止使用的含义之一就是将（人类或类似AGI的）教育视为指令（instruction)——作为一种不加变更灌输既有知识的手段，让既有价值得以遵从。正如波普尔写道的（在科学的发现的语境下，它既适用于AGI编程也适用于孩子教育 ）：「没有(不受认知框架影响的)指令…我们不是通过复制而发现新事实或新影响，也不是从观察中归纳推导出它们，或者用任何其他依靠环境指导的办法发现新事物。 毋宁说，我们的办法是试错。」（译者注：这是波普尔在其《The Myth of the Framework》中说的话）也就是说，推测和批判。学习一定是指新创造的智能为自己行事和控制自身。
我没有突出所有这些哲学论题，因为我担心在人类发展出理解AGI并将之融入人类文明的哲学解释之前，AGI就被研发出来了。这一担心出于几乎完全相反的原因：我确信，研发AGI的全部问题就是个哲学事实，而不是计算机科学或神经生理学问题，而且哲学研究进展是AGI未来融合的关键，它也是把研发AGI放在首位的先决条件。
错误观念阻碍了AGI的发展。没有了波普尔的认识论，我们甚至没办法开始猜测成就AGI必须实现什么样的细节功能。波普尔的认识论并不为众人所知，更别说充分理解并加以运用了。为了把经验，奖赏与惩罚翻译成想法（或者更糟，翻译成行为）而将AGI视为机器，这如同通过平衡身体幽默来治愈传染病：没用，因为它源于古老且错得离谱的世界观。
如果没有理解AGI功能和其他任何一种计算机程序功能存在质的不同，那么，这个人就是在完全不同领域工作。如果一个人努力制作出其「思维」天生就无法违背先决约束的程序，那么，这个人就是在设计定义智能存在，比如一个人的特征，也就是创造力。
清除这一障碍不会自动得出结论。然而，获得答案也不全然很难。既然人类能够设定目标而黑猩猩没有这一能力，理解这一能力质的不同就为我们提供了信息：如何获取这一能力，答案肯定被编码进了人和黑猩猩DNA的相对少量差异中。因此，在一方面，我赞同AGI迫近阵营的观点：有理由认为我们和突破之间仅隔着一个想法。但是，这个想法必须是最好的想法中的一个。
登陆|注册欢迎登陆本站，认识更多朋友，获得更多精彩内容推荐！