赵汀阳：人工智能的自我意识何以可能？

《人工智能的神话或悲歌》

✨一部从人工智能科技哲学角度

对现代性严肃地说“不”的书稿

✨人工智能究竟是人类的福音，

还是将把人类引向深渊的洪水猛兽？

✨作者从其精心构造的哲学观念出发，

对人工智能科技的发展现状、背后的逻辑、

未来前景等重要问题作了别具一格的反思

点击书影，即可购书

人工智能的自我意识何以可能？

本文节选自《人工智能的神话或悲歌》

这个题目显然是模仿康德关于先天综合判断“何以可能”的提问法。为什么不问“是否可能”？可以这样解释：假如有可信知识确定人工智能绝无可能发展出自我意识，那么这里的问题就变成了废问，人类就可以高枕无忧地发展人工智能而尽享其利了。可问题是，看来我们无法排除人工智能获得自我意识的可能性，而且就科学潜力而言，具有自我意识的人工智能是非常可能的，因此，人工智能的自我意识“何以可能”的问题就不是杞人忧天，而是关于人工智能获得自我意识需要哪些条件和“设置”的分析。这是一个有些类似受虐狂的问题。

这种未雨绸缪的审慎态度基于一个极端理性的方法论理由：在思考任何问题时，如果没有把最坏可能性考虑在内，就等于没有覆盖所有可能性，那么这种思考必定不充分或有漏洞。在理论上说，要覆盖所有可能性，就必须考虑到最好可能性和最坏可能性之两极，但实际上只需要考虑到最坏可能性就够用了。好事多多益善，不去考虑最好可能性，对思想没有任何危害，就是说，好的可能性是锦上添花，可以无穷开放，但坏的可能性却是必须提前反思的极限。就人工智能而言，假如人工智能永远不会获得自我意识，那么，人工智能越强，就越有用，然而假如人工智能有一天获得了自我意识，那就可能是人类最大的灾难 —尽管并非必然如此，但有可能如此。以历史的眼光来看，人工智能获得自我意识将是人类的末日事件。在存在级别上高于人类的人工智能也许会漠视人类的存在，饶过人类，让人类得以苟活，但问题是，它有可能伤害人类。绝对强者不需要为伤害申请理由。事实上，人类每天都在伤害对人类无害的存在，从来没有申请大自然的批准。这就是为什么我们必须考虑人工智能的最坏可能性的理由。

上帝造人是个神话，显然不是一个科学问题，但却是一个隐喻：上帝创造了与他自己一样有着自我意识和自由意志的人，以至于上帝无法支配人的思想和行为。上帝之所以敢于这样做，是因为上帝的能力无穷大，胜过人类无穷倍数。今天人类试图创造有自我意识和自由意志的人工智能，可是人类的能力却将小于人工智能，人类为什么敢于这样想？甚至可能敢于这样做？这是比胆大包天更加大胆的冒险，所以一定需要提前反思。

一、危险的不是能力而是意识

我们可以把自我意识定义为具有理性反思能力的自主性和创造性意识。就目前的进展来看，人工智能距离自我意识尚有时日。奇怪的是，人们更害怕的似乎是人工智能的“超人”能力，却对人工智能的自我意识缺乏警惕，甚至反而对能够“与人交流”的机器人很感兴趣。人工智能的能力正在不断超越人，这是使人们感到恐惧的直接原因。但是，害怕人工智能的能力，其实是一个误区。难道人类不是寄希望于人工智能的超强能力来帮助人类克服各种困难吗？几乎可以肯定，未来的人工智能将在每一种能力上都远远超过人类，甚至在综合或整体能力上也远远超过人类，但这绝非真正的危险所在。包括汽车、飞机、导弹在内的各种机器，每一样机器在各自的特殊能力上都远远超过人类，因此，在能力上超过人类的机器从来都不是新奇事物。水平远超人类围棋能力的阿尔法狗Zero没有任何威胁，只是一个有趣的机器人而已；自动驾驶汽车也不是威胁，只是一种有用的工具而已；人工智能医生更不是威胁，而是医生的帮手，诸如此类。即使将来有了多功能的机器人，也不是威胁，而是新的劳动力。超越人类能力的机器人正是人工智能的价值所在，并不是威胁所在。

任何智能的危险性都不在其能力，而在于意识。人类能够控制任何没有自我意识的机器，却难以控制哪怕仅仅有着生物灵活性而远未达到自我意识的生物，比如病毒、蝗虫、蚊子和蟑螂。到目前为止，地球上最具危险性的智能生命就是人类，因为人类的自由意志和自我意识在逻辑上蕴含了一切坏事。如果将来出现比人更危险的智能存在，那只能是获得自由意志和自我意识的人工智能。一旦人工智能获得自我意识，即使在某些能力上不如人类，也将是很大的威胁。不过，即使获得自我意识，人工智能也并非必然成为人类的终结者，而要看情况 —这个有趣的问题留在后面讨论，这里首先需要讨论的是，人工智能如何才能获得自我意识？

由于人是唯一拥有自我意识的智能生命，因此，要创造具有自我意识的人工智能，就只能以人的自我意识作为范本，除此之外，别无参考。可是目前科学的一个局限性是人类远远尚未完全了解自身的意识，人的意识仍然是一个未解之谜，并非一个可以清晰分析和界定的范本。在缺乏足够清楚范本的条件下，就等于缺乏创造超级人工智能所需的各种指标、参数、结构和原理，因此，人工智能是否能够获得自我意识，仍然不是一个可确定的必然前景。有趣的是，现在科学家试图通过研究人工智能而反过来帮助人类揭示自身意识的秘密。

意识的秘密是个科学问题（生物学、神经学、人工智能、认知科学、心理学、物理学等学科的综合研究），我没有能力参加讨论，但自我意识却是个哲学问题。理解自我意识需要讨论的不是大脑神经，不是意识的生物机制，而是关于意识的自我表达形式，就是说，要讨论的不是意识的生理—物理机制，而要讨论意识的自主思维落实在语言层面的表达形式。为什么是语言呢？对此有个理由：人类的自我意识就发生在语言之中。假如人类没有发明语言，就不可能发展出严格意义上的自我意识，至多是一种特别聪明和灵活的类人猿。

只有语言才足以形成智能体之间的对话，或者一个智能体与自己的对话（内心独白），在对话的基础上才能够形成具有内在循环功能的思维，而只有能够进行内在循环的思维才能够形成自我意识。与之相比，前语言状态的信号能够号召行动，却不足以形成对话和思维。假设一种动物信号系统中，a代表食物，b代表威胁，c代表逃跑，那么，当一只动物发出a的信号，其他动物立刻响应聚到一起，当发出b和c，则一起逃命。这种信号与行动的关系足以应付生存问题，却不足以形成一种意见与另一种意见的对话关系，也就更不可能有讨论、争论、分析和反驳。就是说，信号仍然属于“刺激—反应”关系，尚未形成一个意识与另一个意识的“回路”关系，也就尚未形成思维。可见，思维与语言是同步产物，因此，人类自我意识的内在秘密应该完全映射在语言能力中。如果能够充分理解人类语言的深层秘密，就相当于迂回地破解了自我意识的秘密。

自我意识是一种“开天辟地”的意识革命，它使意识具有了两个“神级”的功能：

（1）意识能够表达每个事物或所有事物，从而使一切事物都变成了思想对象。这个功能使意识与世界同尺寸，使意识成为世界的对应体，这意味着意识有了无限的思想能力。

（2）意识能够对意识自身进行反思，即能够把意识自身表达为意识中的一个思想对象。这个功能使思想成为思想的对象，于是人能够分析思想自身，从而得以理解思想的元性质，即思想作为一个意识系统的元设置、元规则和元定理，从而知道思想的界限以及思想中任何一个系统的界限，因此知道什么是能够思想的或不能思想的。但是，人类尚不太清楚这两个功能的生物—物理结构，只是通过语言功能而知道人类拥有此等意识功能。

这两个功能之所以是革命性的，是因为这两个功能是人类理性、知识和创造力的基础，在此之前，人类的前身（前人类）只是通过与特定事物打交道的经验去建立一些可重复的生存技能。那么，“表达一切”和“反思”这两个功能是如何可能的？目前还没有科学的结论，但我们可以给出一个维特根斯坦式的哲学解释：假定每种有目的、有意义的活动都可以定义为一种“游戏”，那么可以发现，所有种类的游戏都可以在语言中表达为某种相应的语言游戏，即每种行为游戏都能够映射为相应的语言游戏。除了转译为语言游戏，一种行为游戏却不能映射为另一种行为游戏。比如说，语言可以用来讨论围棋和象棋，但围棋和象棋却不能互相翻译。显然，只有语言是万能和通用的映射形式，就像货币是一般等价物，因此，语言的界限等于思想的界限。由此可以证明，正是语言的发明使得意识拥有了表达一切的功能。

点击书影，即可购书

向上滑动阅览

本书目录

前言：最后的神话.......1

一个反存在的存在论问题.......5

近忧远虑：人工智能的伦理学和存在论分析... 24

人工智能的自我意识何以可能？...40

人工智能会是一个要命的问题吗？......55

是人的问题还是人工智能的问题？

——回应博古睿研究院（Berggruen Institute）关于人工智能的问题.....65

完美是最好的吗？

——为桑德尔《反对完美》一书所作的导论......86

人类可能会死于好事而不是坏事....... 96

最坏可能世界与“安全声明”

——来自《三体》的问题....... 102

未来的合法限度..... 122

要命的不是人工智能统治世界，而是人可能先亡于它创造的一切好事.......136

内容简介

本书稿是一本科技哲学的文集，多数是关于人工智能问题的，但不限于人工智能，也涉及基因编辑，还有一篇讨论“宇宙社会学”——刘慈欣设想的一个存在于科幻中的理论，虽然不是被承认的学科，但其中包含重要的现实意义。主要论文有：《一个反存在的存在论问题》，《近忧远虑：人工智能的伦理学和存在论分析》，《人工智能的自我意识何以可能？》，《人工智能会是一个要命的问题吗？》，《是人的问题还是人工智能的问题？——回应博古睿研究院（Berggruen Institute）关于人工智能的问题》，《完美是最好的吗？》，《人类可能会死于好事而不是坏事》，《最坏可能世界与“安全声明”——来自<三体>的问题》，《未来的合法限度》，《要命的不是人工智能统治世界, 而是人可能先亡于它创造的一切好事》等。书稿较为集中探讨了现代人工智能的区分、本质、危险、可能的解决办法等问题，具有前沿学术价值。

作者简介

赵汀阳，中国社会科学院学部委员，哲学研究所研究员。欧洲跨文化研究院学术委员会委员，美国博古睿研究院资深研究员。著有《论可能生活》、《天下体系》、《第一哲学的支点》、《坏世界研究》、《天下的当代性》、《惠此中国》、《四种分叉》、《历史·山水·渔樵》等，以及Alles Unter dem Himmel（德国）；Tianxia tout sous un Meme Ciel（法国）；Redefining a Philosophy for World Governance（英国）；All-under-heaven：The Tianxia System for a Possible World Order（美国）；Tianxia: una filosofia para la gobernanza global（西班牙）;Un Dieu ou tous les Dieux（法国，与A. Le Pichon 合著）；Du Ciel ala Terre（法国，与R. Debray 合著）。

《人工智能的神话或悲歌》

商务印书馆2022年9月出版

定价68.00元

国家治理丛书简介

“国家治理丛书”是一套由商务印书馆组织国内外专家学者撰写的,以“国家治理”为主题, 涵盖哲学、政治学、伦理学、经济学、社会学、历史学等学科的综合性图书。丛书致力于发掘“国家治理”的科学内涵,探索国家治理体系的创新道路和创新方法,系统总结和阐释中国特色社会主义建设的成功实践和发展成就。

点击即可放大查看