德梅萃·P.博塞克斯（Dimitri P.Bertsekas）教授是国际运筹优化与控制领域的著名学者，其系列经典教材被清华大学、麻省理工学院等国内外高校广泛使用。本书构建了近似动态规划和强化学习的新的理论框架，简洁但雄心勃勃。这一框架以离线训练和在线学习这两类算法为中心，彼此独立又通过牛顿法有机融合。当今新一代人工智能技术发展绚丽多彩，在看似纷繁复杂的数据与算法表象之下，其实蕴藏着简洁而美妙的规律。通过本书的学习，读者将能体会经典优化控制理论在分析和理解当代强化学习算法性能中的强大威力，更能领悟到以阿尔法零为代表的新一代算法浪潮为经典理论提供的新的发展机遇。本书适合作为普通高等学校信息科学技术领域研究生、本科生高年级教材，也可供本领域科研人员自学参考。

贾庆山，男，博士，清华大学自动化系副教授。分别于2002年、2006年获得清华大学自动化系学士、博士学位，并留校任教。分别于2006年赴哈佛大学、2010年赴香港科技大学、2013年赴麻省理工学院任访问学者。主要研究方向为离散事件动态系统的仿真与性能优化，及在智能建筑与智能电网中的应用。

第1章 阿尔法零、离线训练和在线学习
1.1 离线训练和策略迭代
1.2 在线学习与值空间近似——截断滚动
1.3 阿尔法零的经验
1.4 强化学习的一种新概念框架
1.5 注释与参考文献
第2章 确定性和随机的动态规划
2.1 无限时段上的最优控制
2.2 值空间近似
2.3 注释与参考文献
第3章 强化学习的抽象视角
3.1 贝尔曼算子
3.2 值空间近似和牛顿法
3.3 稳定域
3.4 策略迭代、滚动和牛顿法
3.5 在线对弈对于离线训练过程有多敏感？
3.6 何不直接训练策略网络并在使用时摒弃在线对弈呢？
3.7 多智能体问题和多智能体滚动
3.8 在线简化策略迭代
3.9 例外情形
3.10 注释与参考文献
第4章 线性二次型情形——例证
4.1 最优解
4.2 稳定线性策略的费用函数
4.3 值迭代
4.4 单步和多步前瞻——牛顿步的解释
4.5 灵敏度问题
4.6 滚动和策略迭代
4.7 截断滚动——前瞻长度问题
4.8 线性二次型问题中的例外行为
4.9 注释与参考文献
第5章 自适应和模型预测控制
5.1 具有未知参数的系统——鲁棒和PID控制
5.2 值空间近似、滚动和自适应控制
5.3 值空间近似、滚动和模型预测控制
5.4 末端费用近似——稳定性问题
5.5 注释与参考文献
第6章 有限时段确定性问题——离散优化
6.1 确定性离散空间有限时段问题
6.2 一般离散优化问题
6.3 值空间近似
6.4 离散优化的滚动算法
6.5 采用多步前瞻的滚动——截断滚动
6.6 约束形式的滚动算法
6.7 使用部分可观马尔可夫决策问题模型滚动的自适应控制
6.8 极小化极大控制的滚动
6.9 小阶段费用与长时段——连续时间滚动
6.10 结语
附录A 不动点问题的牛顿法
A.1 可微不动点问题的牛顿法
A.2 无须贝尔曼算子可微性的牛顿法
参考文献