尼克·波斯特洛姆编著的这本《超级智能（路线图危险性与应对策略）》将努力诠释可能出现的超级智能带来的挑战，以及我们如何更好地应对。

全书共分十五章，前几章讨论了在人工智能方面取得突破的可能途径，并谈论了何时能够突破的问题。然后，重点探讨控制问题，并提出为了让我们生存并且获得有利的结果，我们如何选择初始数据的问题。结尾思考研究所呈现的更大的图景。最后提出了一些建议，指出为了增加避免存在性灾难的概率，我们现在可以做些什么。

当机器智能超越了人类智能时会发生什么？人工智能会拯救人类还是毁灭人类？

作者尼克·波斯特洛姆提到，我们不是这个星球上速度最快的生物，但我们发明了汽车、火车和飞机。我们虽然不是最强壮的，但我们发明了推土机。我们的牙齿不是最锋利的，但我们可以发明比任何动物的牙齿更坚硬的刀具。我们之所以能控制地球，是因为我们的大脑比即使最聪明的动物的大脑都要复杂得多。如果机器比人类聪明，那么我们将不再是这个星球的主宰。当这一切发生的时候，机器的运转将超越人类。

人类大脑拥有一些其他动物大脑没有的功能。正是这些独特的功能使我们的种族得以拥有主导地位。如果机器大脑在一般智能方面超越了人类，那么这种新兴的超级智能可能会极其强大，并且有可能无法控制。正如现在大猩猩的命运更多的掌握在人类手中而不是自己手中一样，人类未来的命运也会取决于机器超级智能的行为。

但是，我们有一项优势：我们有机会率先采取行动。是否有可能建造一个种子人工智能，创造特定的初始条件，使得智能爆发的结果能够允许人类的生存？我们如何实现这种可控的引爆？

作者相信，超级智能对我们人类将是一个巨大的威胁。在这本《超级智能（路线图危险性与应对策略）》中，作者谈到了超级智能的优势所带来的风险，也谈到了人类如何解决这种风险。作者认为，他的这本书提到的问题将是我们人类所面临的最大风险。

本书目标宏大，且有独创性，开辟了人工智能领域的新道路。本书会带你开启一段引人入胜的旅程，把你带到对人类状况和智慧生命未来思索的最前沿。尼克·波斯特洛姆的新书为理解人类和智慧生命的未来奠定了基础，不愧是对我们时代根本任务的一次重新定义。

天算论

序言

第一章 人工智能：昨日成就与今日现状

 增长模式和宏大历史

 大预期

 希望与绝望并存

 技术发展水平

 对未来机器智能的看法

第二章 通往超级智能之路

 人工智能

 全脑仿真（whole brain emulation）

 生物认知

 人脑—计算机交互界面

 网络和组织

 总结

第三章 超级智能的形式

 高速超级智能

 集体超级智能

 素质超级智能

 直接和间接范围

 数字智能的优势来源

第四章 智能大爆发的动力学

 智能爆发的时间和速度

 反抗度

 最优化力与爆发

第五章 决定性战略优势

 领先者会取得决定性战略优势吗？

 成功的项目会有多大？

 从决定性战略优势到单一体

第六章 超级认知能力

 功能与超级能力

 人工智能夺权的场景

 对自然和智能体的影响力

第七章 超级智能的意愿

 智能与动机的关系

 工具性趋同

第八章 结局注定是厄运吗？

 存在性灾难是智能大爆发的默认后果吗？

 背叛转折

 恶性失败模式

第九章 控制问题

 两个代理问题

 能力控制方法

 动机选择方法

第十章 神谕，精灵，主权，工具

 神谕

 精灵和主权

 工具性人工智能

 比较

第十一章 多极情景

 马与人

 算术经济下的生活

 后过渡时代下单一体的形成

第十二章 获取价值观

 价值观加载问题

 进化性选择

 强化学习

 联合累积的价值观

 动机性支架

 价值观学习

 仿真调节

 体制设计

 总结

第十三章 确定选择标准

 间接规范方法的必要性

 一致推断意愿

 道德模式

 按照我的意思做

 设计选择清单

第十四章 战略图景

 科学技术战略

 路径与促成因素

 合作

第十五章 关键时刻

 哲学面临最后期限

 应该做些什么？

 人性中最优秀的部分

致谢

首先，我们回顾过去。在最长的时间范围里，历史似乎呈现出一系列不同的增长模式，每个新模式都比前一个模式增长更快。根据这个规律推测，可能会出现另一种（甚至更快速的）增长模式。然而，我们并不特别强调这个观点，因为这并不是一本关于“科技加速”、“极速增长”，或者集合在“奇点”标题下的各种观点的书。然后，我们要回顾人工智能的历史，之后再探索目前人工智能的能力。最后，我们简要地介绍一些专家近期的观点和调查，并且思考一下我们对于未来发展之时间表的空白领域。

增长模式和宏大历史

仅在几百万年前，我们的祖先还在非洲森林中穿梭。以地质或进化的时间尺度来看，从与类人猿共同拥有的最后一代祖先向智人的进化是非常快速的。我们进化出直立的姿势和对生拇指，而最重要的是，我们的大脑体积和神经组织发生了相对微小的变化，但正是这些变化引起了人类认知能力的巨大进步。因此，人类可以进行抽象思维，交流复杂的思想，可以比地球上任何其他物种更好地积累和传承文化信息。

这些能力使人类创造出越来越高效的生产技术，从而使我们的祖先从热带雨林和草原向远方的迁徙成为可能。尤其是进行农耕之后，人口总数和人口密度都在增加。更多的人口意味着更多的想法；更大的人口密度则意味着想法更容易传播，并且更多的个体可以专注于发展专门的技能。这些发展提高了经济生产力和技术实力的增长率。后来与工业革命相关的发展则带来了第二次与此相当的增长率的剧增。

这些增长率的变化有着重要的影响。几十万年前，在早期人类（或原始人类）史前时代，增长非常缓慢，要使人类生产能力增长到能够维持另外100万人基本生存的水平，需要大约100万年的时间。到了公元前5000年，经过了农业革命，增长率已经提高到只需要两个世纪就能实现同样的增长。今天，经过了工业革命，世界经济平均每90分钟就能够增长相同的量。

即使是现在的增长率，如果持续一定时间，也会产生可观的结果。如果世界经济继续以过去50年的速度增长，那么到2050年，全球财富将是现在的约5.8倍，到2100年则是约35倍。

然而，当前这种依指数增长实现稳定繁荣的方式仍旧是不够的，如果世界再经历一次农业革命或工业革命那样的飞跃式增长，世界将会呈现出完全不同的面貌。经济学家罗宾?汉森通过研究历史上的经济和人口数据，推测出过去社会中经济呈倍数增长所要经历的时间：在洪积世 狩猎采集社会下，经济增长翻倍需要224 000年，在农业社会需要909年，在工业社会则需要6.3年。（在汉森的模型中，当今时代是农业社会和工业社会发展模式的混合体，世界经济实现倍数增长的速度还不能达到6.3年这个平均时长。）但如果出现另外一种完全不同的经济增长模式，类似于农业革命和工业革命时期的飞跃式发展，那么世界经济便会以每两周的时间实现翻倍增长。

以当今形势看，要实现这种增长速度无异于痴人说梦。观察家们可能已经发

洪积世（Pleistocene），又译更新世，地质时代第4纪的早期。—译者注现，对于以往的历史时期而言，世界经济很难在某一段时期中实现好几次翻倍增长。然而，我们现在就要学着对这种不寻常的情况习以为常。

弗诺·文奇（Vernor Vinge）开创性的文章以及雷?库兹韦尔（Ray Kurzweil）等人的著述所揭示的那种即将到来的技术性奇点已经受到了广泛关注。然而，“奇点”这一术语在很多不同领域被混乱地使用，并催生出一种不合理的技术乌托邦氛围，就好像我们会就此迎来太平盛世了。考虑到“奇点”这个词所指的大部分涵义与本文的论述不甚相关，我们可以去掉这个词并代替以更精确的术语，以便阐述得更清晰。

我们更感兴趣的一个与“奇点”相关的术语是智能爆发，尤其是机器超级智能的前景。肯定会有人意识到图1–1所显示的增长模式是比农业革命和工业革命还要激烈的另一种可能的飞跃式增长模式。这些人也会意识到，要想让世界经济实现在仅仅数周内翻倍的增长速度，就需要创造出一种比人类的生物性思维更快、更有效的思维方式。但是我们很难通过分析经济增长曲线以及推断过往经济增长模式来认真严肃地了解机器智能变革的前景。我们将看到，更加强有力的理由会让我们认真考虑这一问题。

P3－5

在你的颅腔里，有个器官能够阅读。这个器官就是人的大脑，它具有其他动物大脑没有的一些能力，而我们在地球上的主宰地位便归功于这些独特的能力。其他动物有更强壮的肌肉或更锐利的爪子，但是我们有更聪明的大脑。我们在一般智能方面的些许优势使我们创造了语言，发展了科技，并建立了复杂的社会组织。这种优势随着时间的延续而不断提高，因为每一代人的成就都建立在前人的成就之上。

如果有一天我们发明了超越人类大脑一般智能的机器大脑，那么这种超级智能将会非常强大。并且，正如现在大猩猩的命运更多地取决于人类而不是它们自身一样，人类的命运将取决于超级智能机器。

然而我们拥有一项优势：我们清楚地知道如何制造超级智能机器。原则上，我们能够制造一种保护人类价值的超级智能，当然，我们也有足够的理由这么做。实际上，控制问题—也就是如何控制超级智能，似乎非常困难，而且我们似乎也只有一次机会。一旦不友好的超级智能出现，它就会阻止我们将其替换或者更改其偏好设置，而我们的命运就因此被锁定了。

在本书中，我将努力诠释可能出现的超级智能带来的挑战，以及我们如何更好地应对。这很可能是人类面对的最重要和最可怕的挑战。而且，不管我们成功还是失败，这大概都是我们将要面对的最后一个挑战。

本书并不认为，我们即将在人工智能方面取得重大突破，或者能够准确预测突破会在何时发生。突破有可能会在21世纪的某些时候实现，但是我们并不能确定。本书的前几章讨论了取得突破的可能途径，并谈论了何时能够突破的问题。然而，本书的主要部分讨论的是智能爆发以后会发生什么。我们会研究智能大爆发的动力学，超级智能的形式和能量，以及具有决定性优势的超级智能体有哪些战略选择。然后，我们探讨的重点转向控制问题，并提出为了让我们生存并且获得有利的结果，我们如何选择初始数据的问题。在本书的结尾，我们将画面拉远，思考我们的研究所呈现的更大的图景。最后提出了一些建议，指出为了增加避免存在性灾难的概率，我们现在可以做些什么。

我希望本书可以开辟出一条道路，以使其他研究者能够更加快速和便捷地到达这个领域的前沿，从而以全新的视角加入这项研究，进一步扩展我们的认识。（如果我铺的这条道路有点崎岖不平，那么我希望评论家们在评判结果时，不要低估原来地势的险恶情况！）

这本书写起来并不容易。我努力使其读起来容易，但是我觉得可能并没有做到。写作时，我把早前时间切片（time-slice）里的自己当作目标读者，并尽量把书写成自己喜欢阅读的类型。虽然这可能会导致读者群较窄，但我还是认为书中的内容对很多人来说都是能够理解的，前提是他们对书中的内容进行一些思考，同时拒绝盲目地将任何一个新观点误解为他们文化中相似而陈旧的观点。非科技专业的读者不必因为书中偶尔出现的数学知识或专业术语感到气馁，因为往往可以通过上下文的解释看懂主要观点。

本书提出的很多观点可能是不恰当的，而有些非常重要的观点我可能也没有考虑到，从而削弱了我的某些或者所有结论的有效性。我已经尽可能地在全书中指明细微差别和不确定性—书中遍布着太多的“可能”、“或许”、“也许”、“也有可能”、“看起来”、“大概”、“非常可能”、“几乎肯定”这样的词。每个限定词的使用都是经过深思熟虑的。然而，这些字眼所体现出的认识方面的谦虚谨慎依然是不够的，还必须要补充对不确定性和易错性的整体说明。这不是虚伪的谦虚，因为虽然我相信我的书中可能有一些较严重的问题和误导性，但是我认为目前书中提到的其他观点更加糟糕，包括默认观点或者所谓的“零假设”，这些观点认为我们可以暂时安全地或合理地忽略超级智能出现的可能性。

这本书讨论的就是怎么解决“人算不如天算”的问题，所以我称之为“天算论”。你为什么应该关注这本书呢？如果说“天演论”告诉人们的是，物竞天择，适者生存，至少人还是赢家；那么“天算论”就没那么简单了，将来人与计算机竞争，人还会是赢家吗？

《超级智能》讨论的是我们这个时代的优先事项。

姜奇平

中国社会科学院信息化研究中心秘书长、《互联网周刊》主编

尼克·波斯特洛姆有力地指出，未来人工智能的影响可能是人类面对的最重要的问题，我们需要采取措施。《超级智能》用极其详细的方式阐述了潜在的未来的危险。它标志着一个新时代的开始。

斯图尔特·罗素

加利福尼亚大学伯克利分校计算机科学教授

在读过这本具有独创性、论证充分的著作之后，那些将“人工智能夺权”视为科学幻想的人会重新思考。

马丁－里兹

英国皇家学会前主席

尼克·波斯特洛姆是世界上最聪明的思想家之一，在这部新作中，他对人类面对的最大挑战进行了精彩的分析。

——马克斯·特格马克

麻省理工学院教授

这是一本极其重要的、开创性的书。作者非凡的睿智和清晰的头脑使他能够将广泛的知识糅合成一个可以理解的整体，这些知识涉及很多领域：工程学、自然科学、医学、社会科学和哲学。如果这本书得到了应有的重视，那么它会成为自1962年《寂静的春天》之后，甚至有史以来，最重要的警钟。

——奥莱·哈格斯特罗姆

瑞典查尔姆斯理工大学教授