为什么说人工智能意识是个糟糕的主意

人工智能正在迅速发展。我们现在可以与大型语言模型（如ChatGPT）进行对话，就像他们是人类一样。视觉模型可以生成获奖的照片以及看似真实但实际上并未发生的事件的视频。这些系统确实变得越来越聪明，但它们有意识吗？它们是否像你我一样有主观体验、感觉和意识，而桌椅和计算器没有？如果不是现在，那么什么时候——如果可能的话——这种情况会发生呢？

虽然有些研究人员认为有意识的人工智能即将到来，但包括我在内的许多人认为它仍然遥不可及，甚至可能根本不可能。但即使这种可能性很小，也不应该完全忽视。人工意识的前景提出了远超现有人工智能的伦理、安全和社会挑战。重要的是，即使人工智能系统仅仅表现得像是有意识的，尽管实际上只是算法在运作，这些挑战仍然存在。

我们认为自己是智能的，知道自己是有意识的，因此认为两者是相伴而生的。

因为这些担忧，我签署了一封由数学研究意识协会（AMCS）组织的 公开信 [1] 。继广受关注的 呼吁暂停大规模人工智能研究 [2] 之后，这封信认为，公众、工业界和政府机构必须了解人工智能系统是否以及如何可能变得有意识，考虑其影响，并解决潜在危险。大约在同一时间，斯坦福大学的Anka Reuel和人工智能领域的领军人物Gary Marcus也呼吁成立一个全球、中立和非营利的“国际人工智能机构”来协调全球人工智能技术的监管。我认为，这样一个机构的任务应包括人工意识。上周，人工智能先驱之一Geoffrey Hinton辞去谷歌首席科学家的职务，加入了对他所帮助开发的技术的即时性和现实威胁的担忧行列。我的观点是，我们甚至不应该尝试构建有意识的机器。

为了掌握这些挑战，并澄清围绕人工智能和意识的混乱和炒作，让我们从一些定义开始。首先是 意识 [3] 。虽然很难给出精确的定义，但直观地说，我们都知道什么是意识。它是在全身 麻醉 [4] 下消失的东西，或者当我们进入无梦睡眠时消失的东西，当我们在恢复室醒来或睡醒时，它又会回来。当我们睁开眼睛时，我们的大脑不仅仅在处理视觉信息；还有完全不同的维度：我们的思想充满了光、色、阴影和形状。情感、思想、信念、意图——这些对我们都有特定的感觉。

至于智能，有很多可用的定义，但都强调在各种环境中以灵活的方式实现目标的能力。广义上讲，智能是能在适当的时候做出正确事情的能力。

这些定义足以提醒我们，意识和智能是非常不同的。作为人类，我们认为自己是智能的，这可能赋予我们新的意识方式，而某些形式的人类和动物智能可能需要意识，但基本的意识体验（如快乐和痛苦）可能不需要太多的物种级别智能。

身体与意识

血肉之躯： 意识并不是某种在大脑“湿件”上运行的复杂算法的结果。它根植于活生生的生物体内在的生存驱动力。 照片由 NadyaEugene / Shutterstock 提供。

这个区别很重要，因为许多人工智能社区内外的人认为意识只是智能的一个功能：随着机器变得越来越聪明，它们也会变得有意识——即它们的内在光芒会亮起来。去年三月，OpenAI的首席科学家Ilya Sutskever在推特上表示，“如今的大型语言模型可能稍微有点意识。”不久之后，谷歌研究副总裁Blaise Agüera y Arcas暗示人工智能正在向意识迈进。

这些假设和建议是没有根据的。一个系统是否会仅因为变得更智能而变得有意识，这一点并不明确。实际上，认为随着人工智能变得更智能，意识就会随之而来的假设反映了一种我们应当抛弃的人类例外主义。我们认为自己是智能的，知道自己是有意识的，所以我们认为两者是相伴而生的。

认识到这一假设的弱点可能会让人感到安慰，因为这意味着我们不必担心有意识的机器即将出现。不幸的是，事情并非如此简单。即使人工智能本身不足以实现这一目标，工程师们也可能会故意尝试构建有意识的机器——实际上，已经有人在这样做了。

在这里，存在很多不确定性。虽然在过去的30年里，科学对意识的理解取得了重大进展，但仍有许多未知之处。我的 个人观点 [5] 是，意识与我们作为有血有肉的生物的本质密切相关。在这种观点中，意识不是某种在大脑“湿件”上运行的复杂算法的结果。它是一种体现的现象，根植于活生生的生物体内在的生存驱动力。如果我是对的，那么有意识的人工智能的前景仍然遥远而令人安心。

但我可能是错的，其他理论则不那么严格，有些理论提出，意识可能在以特定方式处理信息或按照特定架构 连接 [6] 的计算机中产生。如果这些理论是正确的，那么有意识的人工智能可能已经近在咫尺——甚至可能已经存在。

关于意识的共识缺乏，再加上人工智能快速变化的环境，突显了对意识本身进行更多研究的必要性。如果没有对意识如何发生的原则性和实验验证的理解，我们将无法确定一台机器是否拥有——或不拥有——意识。在这种模糊的情况下，人工意识甚至可能在不经意间产生，或许作为科技行业在下一代算法中安装的某些功能的副产品。

创造人工意识，无论是有意还是无意，都是一个非常糟糕的主意，原因有二。首先，它可能赋予人工智能系统新的能力和功能，如果设计和监管不当，可能会造成严重破坏。确保人工智能系统以符合人类价值观的方式行事已经很难了。如果是有意识的人工智能，挑战会更大，因为这些系统将拥有自己的利益，而不仅仅是人类赋予它们的利益。

将人类般的意识归于人工智能会导致不合理的假设。

第二个原因更加令人不安：有意识机器的出现将带来巨大的潜在痛苦，痛苦我们甚至可能无法识别，这种痛苦可能在无数服务器农场中随鼠标的点击而瞬间出现。正如德国哲学家托马斯·梅青格所指出的那样，这将引发前所未有的道德和伦理危机，因为一旦某物有了意识，我们就有责任照顾它的福利，尤其是如果是我们创造了它。问题不在于弗兰肯斯坦的生物活了，而在于它有意识并且能够感受到。

这些情景可能看起来很荒唐，确实有意识的人工智能可能还很遥远，甚至可能不可能。但它的出现对世界的影响如此重大，我们不能忽视这种可能性。当然，没有人应该积极尝试创造机器意识。

抛开存在性担忧不谈，随着人工智能变得越来越像人类，其行为带来的更直接的危险是无法回避的。当人工智能系统给人类留下有意识的印象时，无论其内部运作如何，这些危险都会出现。人类心理在自我中心主义和拟人化之间不舒服地摇摆——把自己置于一切的中心，以及基于一些表面上的相似性将人类特质投射到事物上。正是后者让我们在面对人工智能时陷入了困境。

包括一些专家在内的许多人已经开始基于大多是轶事和坦率地说很不靠谱的证据，将复杂的认知能力投射到人工智能系统上，特别是大型语言模型上。但这些模型真的理解任何东西吗？它们是否真的——如有人所声称的那样——拥有 心智理论 [7] （即归因于他人心理状态，如信仰和愿望的能力）？声称语言模型具备这些能力通常基于一些暗示性的对话片段。任何心理学家都会告诉你，这种证据非常薄弱。当我们试图从人类经验推断到机器时，这种证据就更为薄弱了。虽然人类需要具备复杂的认知能力才能参与一些聊天机器人现在能够进行的对话，但同样的结论并不适用于人工智能。语言模型可能能够参与复杂的语言互动，但完全不理解任何东西。

语言模型缺乏真正理解的一个表现是它们倾向于编造：用自信的语言胡说八道。当我要求OpenAI的GPT-4写我的传记时，它错误地说我出生在伦敦。当我要求它再写一次，减少日期和地点的错误时，它更错了，说我出生在伦敦的哈默史密斯——一个揭示性的答案，因为任何理解事物的人都知道，越具体越有可能错。

未来的语言模型不会那么容易被揭穿。不久之后，它们可能会给我们一种无缝且难以穿透的理解和知晓事物的印象，无论它们是否真的理解和知晓。当这种情况发生时，我们也可能无法避免将意识归于它们，被我们的拟人化偏见和将智能与意识联系起来的内在倾向所蒙蔽。

这种系统将通过所谓的加兰德测试，这一概念源自Alex Garland的电影《机械姬》中的精辟和美丽的设想。这个测试重新定义了经典的图灵测试——通常被认为是机器智能的测试——作为人类在知道机器是机器的情况下，感觉到机器是有意识的测试。通过加兰德测试的人工智能系统会让我们产生一种认知错觉，就像简单的视觉错觉那样，即使我们知道现实不同，我们也无法不以特定方式看待事物。

这将使社会进入一个危险的新领域。错误地将人类般的意识归于人工智能系统，我们会对它们的行为做出不合理的假设。我们的大脑没有进化到能够处理这种情况。如果我们觉得一台机器真正关心我们，我们可能会给予它超出应有的信任。如果我们觉得一台机器真正相信它所说的，我们可能更倾向于认真对待它的观点。如果我们期望一个人工智能系统像有意识的人类那样行事——根据它表面上的目标、愿望和信念——我们可能无法预测它的行为。

无论人工智能看似有意识还是实际上有意识，麻烦都在路上。

我们的伦理态度也会变得扭曲。当我们觉得某物是有意识的——并且像我们一样有意识——我们会开始关心它。我们可能会重视它的所谓福祉超过其他真正有意识的生物，如非人类动物。或者可能会发生相反的情况。我们可能学会将这些系统视为缺乏意识，即使我们仍然觉得它们是有意识的。然后我们可能会像对待奴隶一样对待它们——对他人的感知痛苦产生免疫。这些情景在科幻剧如《 西部世界 [8] 》中得到了最好的探讨，在那里事情对任何人都没有好结果。

总之，无论新兴的人工智能看似有意识还是实际上有意识，麻烦都在路上。我们需要仔细考虑这两种可能性，同时注意不要混淆它们。我们也需要采取行动。除了Marcus和Reuel提出的新机构外，还应该对心智和大脑科学中的意识研究进行重大投资，以便在开发和应对新一代人工智能时能更好地了解情况。（这项研究还将在医学、法律和动物福利等许多其他方面造福社会。）

社会科学和人文学科的加速研究也是必要的，以澄清仅看似有意识的机器的影响。人工智能研究也应继续，既要帮助我们理解生物意识，又要创造对社会有积极作用的人工智能。我们需要在从意识提供的许多功能中受益的同时，避免陷入困境。也许未来的人工智能系统可以像AI专家Yoshua Bengio所建议的那样，更像是预言者：帮助我们理解世界并尽可能真实地回答我们的问题，而不具备自己的目标或自我。

与技术本身一样，人工智能的态度也处于一个拐点。时间紧迫，我们需要制定一个合理且适用的框架，以确保人工智能的巨大潜力用于造福人类和地球。无论是真正的还是表面的人工意识的影响，都必须成为讨论的一部分。我们需要将对意识本身的理解的重要性提升到集体意识的最前沿。

Anil Seth是萨塞克斯大学认知与计算神经科学教授，加拿大高级研究院脑、心智与意识项目的联合主任，欧洲研究委员会的高级研究员。他著有《Being You: A New Science of Consciousness》.

参考资料

[1]

公开信: https://amcs-community.org/open-letters/

[2]

呼吁暂停大规模人工智能研究: https://futureoflife.org/open-letter/pause-giant-ai-experiments/

[3]

意识: https://nautil.us/whats-so-hard-about-understanding-consciousness-238421/

[4]

麻醉: https://nautil.us/under-anesthesia-where-do-our-minds-go-238501/

[5]

个人观点: https://nautil.us/we-are-beast-machines-238325/

[6]

连接: https://nautil.us/neuroscience-weighs-in-on-physics-biggest-questions-238326/