斯图尔特·罗素（Stuart Russell）
加州大学伯克利分校计算机科学家，人类兼容人工智能中心（CHAI）主任，人工智能研究实验室指导委员会（BAIR）成员。
世界经济论坛人工智能和机器人委员会副主席，美国科学促进会（AAAS）会士，美国人工智能协会（AAAI）会士。
曾与谷歌研究总监彼得·诺维格合著，出版了人工智能领域里的“标准教科书”《人工智能》，该书被128个国家的1400多所大学使用。
获得过多项科学荣誉，包括美国国家科学基金会总统青年研究员奖、国际人工智能联合会议（IJCAI）计算机与思想奖、国际计算机学会（ACM）卡尔斯特朗杰出教育家奖等，并受邀在TED、世界经济论坛演讲。

这是我在相当长的一段
时间以来，读到的非常重
要的一本书。它清晰地解
释了超级人工智能时代的
到来如何威胁到人类的控
制权。至关重要的是，这
本书还提出了一个新颖的
解决方案，以及我们应该
存有希望的原因。
丹尼尔·卡尼曼(Daniel
Kahneman)
诺贝尔经济学奖得主，
《思考，快与慢》作者
这是一场由人工智能先
驱罗素带来的智识之旅。
罗素不仅以引人人胜且有
说服力的方式解释了人工
智能带来的风险，而且给
出了一种切实可行的解决
方案。
迈克斯·泰格马克(Max
Tegmark)《生命3.0》作者
与那些未来学家和警告
人工智能风险的人不同，
罗素是一位人工智能领域
的专家。这本书比其他我
所知的书更能教导公众，
而且这本书读起来令人愉
快、振奋人心。
朱迪亚·珀尔(Judea
Pearl)贝叶斯网络之父，《
为什么》作者
这本文笔优美的书解决
了人类面临的一项基础性
挑战：越来越智能的机器
会按照我们的要求行事，
却不会按照我们的本意行
事。如果你关心我们的未
来，请务必阅读。
约书亚·本吉奥(Yoshua
Bengio)2019年图灵奖得主
，《深度学习》作者
这本关于人工智能未来
风险和解决方案的书值得
一读，作者罗素很棒！
埃隆·马斯克（Elon
Musk)特斯拉创始人兼CEO
人工智能到底发展到了
哪一步，未来会怎么发展
，这本书代表主流专家意
见，能让你迅速获得“当前
科学理解”。作者是研究人
工智能的教授，但书中并
不过度讨论技术，他关心
更大的问题：人的偏好可
以“算法化”吗?人工智能是
人类的威胁吗?人能限制人
工智能吗?当前的答案并不
乐观。到最后，你会发现
人工智能的问题首先是“人
的问题：我们其实并不了
解我们自己。
万维钢科学作家，“得到
”App《精英日课》专栏作
者
这是一本引人人胜的巨
作，无论一般读者还是人
工智能专家都将从中获得
启发。罗素教授对于超级
智能这个人工智能的重大
问题做出了深刻明确的分
析。更重要的是，他提出
了一个新颖的人机关系处
理方案，为解决超级智能
这个重要问题开辟了一个
崭新的研究方向。
姚期智中国科学院院土
，2000年图灵奖得主
当人们为人工智能技术
的突飞猛进而欢呼雀跃，
并期盼着超级人工智能到
来时，我们不能忘了人类
正面临着一个非常关键的
挑战：如何确保人工智能
的发展以人为本，基于人
类的共同价值造福人类?这
本书为我们带来了罗素教
授多年潜心的研究成果和
深刻洞见，读起来令人赏
心悦目。
张宏江智源研究院理事
长，源码资本投资合伙人
人类可能在不久的将来
制造出超越自己的强人工
智能，我很高兴人工智能
知名学者斯图尔特·罗素教
授不仅仔细推敲了这种可
能性，还提出了一种巧妙
的应对之策。
黄铁军智源研究院院长
，北京大学教授
创造出达到或超越人类
水平的人工智能会怎么样?
超级人工智能的成功为什
么可能是人类历史上的最
后一个事件?人类是否还有
希望?人工智能经典教科书
作者斯图尔特·罗素的这本
书值得每位关心人工智能
的人士阅读。
周志华南京大学人工智
能学院院长
欧洲科学院外籍院士
自我们这一代人开始，
科学地理解、探索、协同
和管控超级智能机器，将
变成一个越来越不能回避
的严肃课题。如果说罗素
的经典教科书在过去帮助
很多学者进入了人工智能
研究领域，他的这本新书
则将让更多人思考如何创
造更好的人机协同的未来
。
周伯文京东集团副总裁
书中倡议的构建“尽可能
安全且对人类有益的人工
智能”应成为全球人工智能
研究与实践者的共同愿景
。罗素论述的人工智能安
全风险与人类自身的隐忧
无疑将“确保人工智能的安
全有益”这个重要挑战长期
置于未来人工智能研究的
核心。
曾毅中国科学院自动化
研究所研究员，类脑智能
研究中心副主任
智源研究院人工智能伦
理与可持续发展研究中心
主任

前言
01 如果我们成功了
我们如何走到今天？/接下来会发生什么？/出了什么问题？/我们能解决吗？
02 人类和机器的智能
智能/计算机/智能计算机
03 人工智能在未来会如何发展？
近未来/超级人工智能何时到来？/概念上的突破即将到来/想象一台超级智能机器/超级智能的局限/人工智能如何造福人类？
04 人工智能的滥用
监督、劝导和控制/致命性自主武器/篡夺其他人类角色
05 过于智能的人工智能
大猩猩问题/迈达斯国王问题/恐惧与贪婪：工具性目标/智能爆炸
06 不那么伟大的人工智能辩论
否认/转移话题/部落主义/难道我们不能……
辩论重新开始
07 人工智能：一种不同的方法
有益机器的原则/乐观的理由/谨慎的理由
08 可证明有益的人工智能
数学保证/从行为中学习偏好/辅助博弈/要求和指示/“主动嗑电”/递归式自我完善
09 复杂的难题：我们
不同的人/许多人/善良的、可恶的、爱嫉妒的人类/愚蠢的、情绪化的人类/人类真的有偏好吗？
10 问题解决了吗？
有益的机器/对人工智能的治理/滥用/衰弱与人类自主
附录A 寻找解决方案
附录B 知识与逻辑
附录C 不确定性和概率论
附录D 从经验中学习
致谢
注释
图片版权

很久以前，我父母住在英国伯明翰大学附近。后来他们决定搬出这座城市，并把房子卖给了英语文学教授戴维·洛奇（David Lodge）。那时候，洛奇已经是一位著名小说家了。我从未见过他，但我决定读读他的书：《换位》和《小世界》。书中的主要人物都是学者，他们从伯明翰搬到了加州伯克利。而我正是刚刚从伯明翰搬到伯克利的学者，这一系列的巧合似乎在提醒我要多多注意。
《小世界》中有一个特别的场景令我印象深刻。主人公是一位有抱负的文学理论家，他参加了一个重要的国际会议，并问一群领军人物：“如果所有人都赞同你们的观点，接下来会发生什么？”这个问题引起了恐慌，因为专家组成员更关心的是智力竞赛，而不是弄清真相、获得认同。当时我想到，我们可以对人工智能领域的领军人物提出一个类似的问题：“如果你们成功了会如何？”该领域的目标一直是创造出达到或超越人类水平的人工智能，但人们很少或根本没有考虑过，如果我们创造出了这样的人工智能会发生什么。
几年后，我和彼得·诺维格（Peter Norvig）开始编写一本新的人工智能教科书，书的第一版于1995年出版。这本《人工智能》的最后一节题为“如果我们成功了会如何”，它指出了出现好结果和坏结果的可能性，但没有得出明确的结论。到2010年第三版出版的时候，许多人终于开始考虑，创造超越人类的人工智能可能不是一件好事，但这些人大多是局外人，而不是主流的人工智能研究人员。到了2013年，我开始相信这个问题不仅是主流的人工智能研究人员应该考虑的问题，而且可能是人类面临的最重要的问题。
2013年11月，我在伦敦南部一座久负盛名的艺术博物馆——杜尔维奇绘画馆演讲。听众大多是退休人员，他们不是科学家，但是普遍对智能问题感兴趣，所以我只好做一次完全非技术性的演讲。这似乎是一个在公共场合验证我的想法的合适场所。在解释了人工智能是什么之后，我提出了5个“人类未来最大事件”的候选选项：
1.我们灭亡了（因为小行星撞击、气候灾难、流行病等）。
2.我们都能永生（医学攻克了衰老）。
3.我们发明了超光速旅行，征服了宇宙。
4.高级外星文明造访了我们。
5.我们发明了超级人工智能。
我认为第5个候选选项，即我们发明了超级人工智能，将会胜出，因为如果可能，超级人工智能将帮助我们避免灾难，实现永生和超光速旅行。它将代表我们文明的一次巨大飞跃，或者说一次突变。超级人工智能的到来在许多方面类似于高级外星文明的到来，但前者更有可能发生。也许最重要的是，人工智能不同于外星人，它是我们对其有发言权的东西。
然后，我让听众想象一下，如果我们收到一个来自高级外星文明的通知，说它们将在30到50年后到达地球，会发生什么。“乱作一团”这个词并不能准确地描述这种情景。然而，我们对超级人工智能即将到来的反应却是……“冷淡”。（在后面的演讲中，我用图1所示的电子邮件交流的形式对此进行了说明。）最后，我将超级人工智能的意义解释为：超级人工智能的成功将是人类历史上最重大的事件……或许是人类历史上的最后一个事件。
在那之后几个月，也就是2014年4月，我在冰岛参加一个会议，美国国家公共广播电台打来电话，问我是否可以接受他们的采访，谈谈刚刚在美国上映的电影《超验骇客》。虽然我已经看过了剧情概要和影评，但我还没有看过电影，因为我当时住在巴黎，电影要到6月才会在巴黎上映。然而碰巧的是，我在从冰岛回家的路上绕道去了波士顿，参加美国国防部的一个会议。所以，到达波士顿洛根机场后，我乘出租车去最近的电影院看了这部电影。我坐在第二排，看到约翰尼·德普饰演的加州大学伯克利分校人工智能教授遭到了对超级人工智能存有担忧的“反人工智能激进分子”的枪击。我不由自主地瘫倒在座位上。（又是巧合在警示我吗？）在这名教授死去之前，他的意识被上传到一台量子超级计算机上，这台计算机迅速超越了人类的能力，威胁要接管世界。
2014年4月19日，我和物理学家迈克斯·泰格马克（Max Teg-mark）、弗兰克·威尔切克（Frank Wilczek）、史蒂芬·霍金（Stephen Hawking）合写的关于《超验骇客》的影评被发表在了《赫芬顿邮报》上。其中包括我在杜尔维奇绘画馆的演讲中谈到的人类历史上最重大的事件。从那时起，我便公开承认，我的研究领域对我自己所属的物种构成了潜在危险。
P3-6

在一个由超级AI主宰的世界里，人类能否保持独立？
我们之所以能控制地球，是因为我们的大脑比动物复杂得多。但如果AI变得比我们更聪明，那么我们该如何主宰这个星球？这本书用三个大原则，一个“有益的AI”，带你破解人机共存的密码，这可能是人类面临的最后一个大问题。
本书是AI领军人物，业界公认的“标准教科书”作者，全新烧脑新作。
人类试图将自己的目标灌输给机器，是注定要失败的尝试。强化学习、标准模型已经过时，这本书倡导一种颠覆性的新方法——“逆强化学习”，让机器根据人类行为，学习人类目标。
万维钢倾情解读，黄铁军、周志华、曾毅 等专家鼎力推荐。

为什么读这本书，为什
么现在读？
这本书讲述了我们为理
解和创造智能，在过去、
现在和未来所做的尝试。
这很重要，并不是因为人
工智能正迅速成为当前的
一种普遍现象，而是因为
它是未来的主导技术。世
界上的各个大国正在意识
到这一事实，各家大公司
也早就知道这一点。我们
无法准确预测这项技术将
如何发展，也不知道这项
技术发展的时间线。然而
，我们必须为现实世界中“
机器的决策能力远远超过
人类”这种可能性做好准备
。文明所提供的一切都是
我们智能的产物，掌控比
我们强大得多的智能将是
人类历史上最大的事件。
这本书的目的是解释为什
么这可能是人类历史上的
最后一件事，以及如何确
保这不会成为现实。
全书概述
本书分为三个部分。第
一部分（第1章到第3章）
探讨了人类和机器中智能
的概念。阅读这部分不需
要技术背景，但对于感兴
趣的人，书后补充了4个附
录，解释了当今人工智能
系统的一些核心概念。第
二部分（第4章到第6章）
讨论了给机器赋予智能所
产生的一些问题。我特别
关注控制问题：对于比我
们更强大的机器，我们要
保持绝对的控制权。第三
部分（第7章到第10章）提
出了一种思考人工智能的
新方法，并确保机器永远
对人类有益。虽然这本书
是面向普通读者的，但我
希望它也能说服人工智能
专家重新思考他们的基本
假设。

从比尔·盖茨、埃隆·马斯克到霍金，众多企业家和科学家都曾表示担心AI对人类生存造成的威胁。真有一天，人类会成为自己发明的机器的受害者吗？
这本书讲述了我们为了理解和创造智能，在过去、现在和未来做出的尝试。这很重要，并不是因为人工智能正迅速成为当前的一种普遍现象，而是因为它是未来的主导技术。世界上的各个大国正在意识到这一事实，各家大公司也早就知道这一点。我们无法准确预测这项技术将如何发展，也不知道这项技术发展的时间线。然而，我们必须为现实世界中“机器的决策能力远远超过人类”这种可能性做好准备。我们该怎么办？
如何破解人机共存密码，掌控比我们强大得多的智能，让AI获得新生，这可能是人类最后一个大问题。这本书的目的是解释为什么这可能是人类历史上的最后一件事，以及如何确保这不会成为现实。