在这个(含义广泛)术语的一个极端,有个关于主观感觉的本质,即「感觉质(qualia)」的哲学问题,这与AGI难题紧密相连;不过,另一方面,「意识」不过是麻醉状态时所失去的东西。许多动物当然也有这种东西。
未来,AGI确实会有自我觉知——但是,那是因为他们会变得通用(General):他们能觉知到各种深刻而微妙的事物,包括它们自己。那并不意味着通过镜子测试的黑猩猩被暗示具有「通用智能(general intelligence)」特征,AGI是这种「通用智能(general intelligence)」的人工版本。确实,Richard Byrne对大猩猩模因(memes)的精彩研究已经揭示出,黑猩猩如何能相互学习有用的行为,却不理解这些行为的意义:对黑猩猩认知原理的解释实际上是行为主义的。
讽刺的是,合理化阵营(AGI已经完成了/不重要/在黑猩猩中也存在/是一个文化虚构)的观点正是那些源于「AGI不可能」阵营观点的镜像。针对每个类似观点「你做不出AGI,因为你永远没法为灵魂编程,因为它是超自然的」,「AGI容易实现」阵营中的合理化观点会认为,「如果你认为人类认知与黑猩猩有本质不同,你一定信仰超自然灵魂。」
「我们至今所不可实现的是…『人类智能』」,这是另外一种合理化(解释)。这种解释的代表性人物是哲学家John Searle(他属于「不可能」阵营),他认为在计算机诞生之前,蒸汽发动机和后来电报系统都曾被用来隐喻人类心智的工作方式。他认为,AGI可能仅存在于类似脆弱的隐喻上,亦即心智「本质上(essentially)」是计算机程序。但是,那并不是一个隐喻:计算的通用性(universality of computation)遵循已知的物理定律。
有些人认为,大脑使用了量子计算,甚至使用了以量子理论无法解释的物理现象为基础的超量子计算(hyper-quantum computation),这就解释了为什么在现有计算机上创造AGI会失败。我和量子理论领域绝大多数研究人员都无法苟同那就是人类大脑拥有独特功能的原因之一,不过详加解释已经超出本文的讨论范围。
AGI是「人」,从一开始就是该概念的暗含之意。如果有一个程序,哪怕缺少一个人类特有的认知能力,那么,从定义上说,它就就不是AGI;使用非认知性特征( non-cognitive attributes)(比如碳含量的百分比)来定义人格,是种族主义的做法,赞同有机大脑优于硅大脑。但是,能够做出新解释是「人」(人类和AGI)的独特功能具有道德和智力上的重要性,他们借由推测和批评做出新的解释,这一事实改变了一切。
如今,人格(personhood)更具象征意义,而非真实意义——如同一种荣誉,作为某个实体(黑猩猩,胎儿,公司)是人,以实现某种哲学或实践目的承诺。这并不好。请不要在乎这些术语,如果乐意,你可以改变它,对不同的实体都尊敬有嘉,使他们免于伤害及其他。那个客观标准定义下的真实人类与其他实体之间的区别具有重大的道德和实践意义,对包括AGI在内的文明功能也非常重要。
比如,不是计算机而是运行的程序才是人——仅这一事实就会提出一个未解的哲学难题,一旦AGl存在,这个难题就会变成现实的政治争议。因为一旦AGI在计算机上运行起来,再从计算机上剥离它无异于谋杀(或者至少会是错误的监禁),就像从人体剥夺掉他的思想。但是,和人体不同的是,仅需按钮,一个AGI程序就能复制到许多台计算机上。
虽然他们的运行步骤相同,但是,那些程序是同一个人还是多个不同的人?一个投票权还是多个投票权?删除程序是谋杀,还是较轻的攻击?如果一个流氓程序员在一台或者多台电脑上编制出成千上万个不同的AGI人群,也许这是违法的,会发生什么?他们都是人,享有人权。他们都能拥有选举权吗?
而且,考虑AGI,如同思考其他有创造力的实体,我们必须忘掉单词「程序」的全部既有含义。将AGI视为任何其他计算机程序会带来类似洗脑,奴役,暴虐的效果。这对小孩也同样残酷,因为和其他编程行为不同,「编程」一个已经处在运行中的AGI意味着教育。这会引发道德和事实层面的争议。忽视AGI的权利与人格,不仅是邪恶的化身,还会制造灾难:有创造力的存在不能永远被奴役。