本书考虑大规模且具有挑战性的多阶段决策问题。原则上，此类问题可以通过动态规划来求解。但是，对于许多实际问题，以该方法进行数值求解是难以实现的。本书探讨的求解方法通过采用相关的近似，能够给出满足性能要求的次优策略。此类方法被统称为强化学习。强化学习从最优控制和人工智能这两个领域的思想碰撞中获益良多。本书的目的之一便是探讨这两个领域的共同边界，从而为具有其中任一领域背景的研究者提供通向另一领域的桥梁。另外一个目的则是挑选出许多在实践中证明有效的且具有坚实的理论与逻辑基础的方法，并将它们有组织地整理起来。
原著作者美国工程院院士Dimitri P.Bertsekas教授，有极高的学术造诣和学术声誉，在学术专著和教材的写作方面取得了公认的成绩。

德梅萃·P.博塞克斯（Dimitri Bertsekas）曾在希腊国立雅典技术大学学习机械与电机工程，之后从麻省理工学院获得系统科学博士学位。曾先后在斯坦福大学工程与经济系统系和伊利诺伊大学香槟分校的电机工程系任教。1979年以来，他一直在麻省理工学院电机工程与计算机科学系任教，现任麦卡菲工程教授。其研究涉及多个领域，包括优化、控制、大规模计算和数据通信网络，并与其教学和著书工作联系紧密。他已撰写14本著作以及众多论文，其中数本著作在麻省理工学院被用作教材。他与动态规划之缘始于博士论文的研究，并通过学术论文、多本教材和学术专著一直延续至今。
Bertsekas 教授因其著作《神经元动态规划》（与John Tsitsiklis合著）荣获1997年INFORMS 授予的运筹学与计算机科学交叉领域的杰出研究成果奖、2000年希腊运筹学国家奖、2001年美国控制会议John R.Ragazzini奖以及2009年INFORMS Expository写作奖。2001年，他因为“基础性研究、实践并教育优化/控制理论，特别是在数据通信网络中的应用”当选美国工程院院士。
Bertsekas博士近些年出版的书包括《概率导论》第二版（2008年与John Tsitsiklis合著）和《凸优化理论》（2009），均由雅典娜科学出版社出版。

第1章 精确动态规划
1.1 确定性动态规划
1.1.1 确定性问题
1.1.2 动态规划算法
1.1.3 值空间的近似
1.2 随机动态规划
1.3 例子、变形和简化
1.3.1 确定性最短路径问题
1.3.2 确定性离散优化问题
1.3.3 含终止状态的问题
1.3.4 预报
1.3.5 含不可控状态组分的问题
1.3.6 不完整的状态信息和置信状态
1.3.7 线性二次型最优控制
1.3.8 含未知参数的系统——自适应控制
1.4 强化学习与最优控制——一些术语
1.5 注释和资源
第2章 值空间的近似
2.1 强化学习中的近似方法
2.1.1 值空间近似的一般问题
2.1.2 离线与在线方法
2.1.3 针对前瞻最小化的基于模型的简化
2.1.4 无模型的离线Q因子近似
2.1.5 基于值空间近似的策略空间近似
2.1.6 值空间的近似何时有效
2.2 多步前瞻
2.2.1 多步前瞻与滚动时域
2.2.2 多步前瞻与确定性问题
2.3 问题近似
2.3.1 强制解耦
2.3.2 随机问题中的近似——确定性等价控制
2.4 策略前展与策略改进原则
2.4.1 针对确定性离散优化问题的在线策略前展
2.4.2 随机策略前展与蒙特卡洛树搜索
2.4.3 基于专家的策略前展
2.5 针对确定性无穷空间问题的在线策略前展——优化类启发式方法
2.5.1 模型预测控制
2.5.2 目标管道与约束可控性条件
2.5.3 模型预测控制的变形
2.6 注释与资源
第3章 参数化近似
3.1 近似架构
3.1.1 基于特征的线性与非线性参数架构
3.1.2 训练线性与非线性架构
3.1.3 增量梯度与牛顿法
3.2 神经网络
3.2.1 训练神经网络
3.2.2 多层与深度神经网络
3.3 连续动态规划近似
3.4 Q因子参数化近似
3.5 基于分类的策略空间参数化近似
3.6 注释与资源
第4章 无穷阶段动态规划
4.1 无穷阶段问题概论
4.2 随机最短路径问题
4.3 折扣问题
4.4 半马尔可夫折扣问题
4.5 异步分布式值迭代
4.6 策略迭代
4.6.1 精确策略迭代
4.6.2 乐观与多步前瞻策略迭代
4.6.3 针对Q因子的策略迭代
4.7 注释和资源
4.8 附录：数学分析
4.8.1 随机最短路径问题的相关证明
4.8.2 折扣问题的相关证明
4.8.3 精确与乐观策略迭代的收敛性
第5章 无穷阶段强化学习
5.1 值空间近似——性能界
5.1.1 有限前瞻
5.1.2 策略前展
5.1.3 近似策略迭代
5.2 拟合值迭代
5.3 采用参数化近似的基于仿真的策略迭代
5.3.1 自主学习与执行–批评方法
5.3.2 一种基于模型的变体
5.3.3 一种无模型的变体
5.3.4 实施参数化策略迭代的挑战
5.3.5 近似策略迭代的收敛问题——振荡
5.4 Q学习
5.5 附加方法——时序差分
5.6 精确与近似线性规划
5.7 策略空间近似
5.7.1 通过费用优化执行训练——策略梯度、交叉熵以及随机搜索方法
5.7.2 基于专家的监督学习
5.7.3 近似策略迭代、策略前展与策略空间近似
5.8 注释和资源
5.9 附录：数学分析
5.9.1 多步前瞻的性能界
5.9.2 策略前展的性能界
5.9.3 近似策略迭代的性能界
第6章 聚集
6.1 包含代表状态的聚集
6.1.1 连续控制空间离散化
6.1.2 连续状态空间——部分可观察马尔可夫决策问题的离散化
6.2 包含代表特征的聚集
6.2.1 硬聚集与误差界
6.2.2 采用特征的聚集
6.3 求解聚集问题的方法
6.3.1 基于仿真的策略迭代
6.3.2 基于仿真的值迭代
6.4 包含神经网络的基于特征的聚集
6.5 偏心聚集
6.6 注释和资源
6.7 附录：数学分析
参考文献