刘克、曹平写作这本《马尔可夫决策过程理论与应用》有三个目的：一个是为理论研究者提供参考，为高等院校有关专业的高年级大学生和研究生提供教材；另一个是希望本书的内容能够引起管理者、计算机科学工作者、经济学家、应用数学家、控制与通信工程方面的工作者、信息科学与工业工程等方面的学者和技术人员的兴趣；最后是想通过增加的练习题，为读者熟悉这些理论方法提供帮助。

《马尔可夫决策过程理论与应用》从马氏决策的一般理论出发，介绍了马氏决策的基本概念，给出了决策过程的表述方法并介绍了不同准则条件下的基本理论，还给出了作者刘克、曹平对一些实际问题的研究心得，为读者提供参考。本书在《实用马尔可夫决策过程》一书的基础上增加了Bandit过程、部分可观察过程、软件可靠性建模分析以及大规模计算方法等章节，为读者提供更为宽阔的视野。

本书可作为高等院校高年级大学生和研究生的教材，也可作为运筹学、管理科学、信息科学、系统科学以及计算机科学和工程领域的学者和技术人员的参考书。

《运筹与管理科学丛书》序

前言

常用符号表

第1章 引论

 1.1 序列决策模型

 1.2 马氏决策过程的例子

 1.3 马氏决策过程的定义与记号

1.3.1 决策时刻与周期

1.3.2 状态与行动集

1.3.3 转移概率和报酬

1.3.4 历史、决策规则与策略

1.3.5 诱导过程、效用准则与马氏策略优势

 1.4 马氏决策过程的起源和发展

 1.5 问题

第2章 有限阶段模型

 2.1 最优准则

 2.2 有限阶段的策略迭代和最优方程

 2.3 最优策略的存在性和算法

 2.4 两个例子

2.4.1 序贯分配问题

2.4.2 秘书问题

 2.5 单调策略的最优性

 2.6 部分可观察的马氏决策过程

2.6.1 有限状态和行动空间的部分可观察马氏决策过程

2.6.2 算法

 2.7 问题

第3章 无限阶段折扣模型

 3.1 最优准则

 3.2 最优方程

 3.3 最优策略的存在性

 3.4 策略迭代算法

 3.5 值迭代算法

 3.6 改进的策略迭代算法

 3.7 线性规划算法

 3.8 可数状态与行动的模型

3.8.1 无界报酬的情形

3.8.2 有限状态逼近无限状态的情形

3.8.3 设备维修的例子

3.8.4 有限状态可数行动的情形

 3.9 最优单调策略

 3.10 最优策略的结构

 3.11 多臂赌博机问题

 3.12 问题

第4章 无限阶段平均模型

 4.1 最优准则

 4.2 最优平稳策略的存在性

 4.3 平稳策略一些特征

 4.4 最优方程与策略迭代算法

 4.5 单链时的情形

4.5.1 最优方程解存在的条件

4.5.2 值迭代算法

4.5.3 单链MDPs的策略迭代算法及其改进

4.5.4 单链MDPs的线性规划算法

4.5.5 带约束模型和方差准则模型

4.5.6 可数状态模型

4.5.7 结构化最优策略

 4.6 多链时的情形

4.6.1 线性规划算法

4.6.2 平均准则下的Bellman最优原则

 4.7 问题

第5章 权重准则模型与概率准则模型

 5.1 折扣权重模型

 5.2 折扣与平均权重模型

 5.3 MDP的百分比与目标水平

 5.4 风险概率准则模型

5.4.1 终达目标最小风险模型

5.4.2 首达目标最小风险模型

 5.5 问题

第6章 连续时间与半马氏模型

 6.1 连续时间折扣MDP

6.1.1 模型和策略的定义

6.1.2 连续时间MDP的决策过程与折扣准则

6.1.3 最优策略的存在性与结构

6.1.4 转化为离散时间模型

6.1.5 适用范围的推广

 6.2 连续时间平均MDP

 6.3 折扣半马氏模型

 6.4 平均半马氏模型

 6.5 服务率受控的一个排队模型

 6.6 问题

第7章 空集装箱调配问题

 7.1 单港口的问题与建模

 7.2 无限阶段折扣准则

 7.3 无限阶段平均准则

 7.4 数值例子

 7.5 多港口空集装箱的调配问题

第8章 人力资源模型

 8.1 问题

 8.2 数学模型

8.2.1 状态空间

8.2.2 决策时刻与行动集

8.2.3 转移速率与转移概率

8.2.4 费用与准则

 8.3 相关参数分析

 8.4 数例

第9章 软件测试的最优发布问题

 9.1 模型

 9.2 结构性质

9.2.1 最优函数V*(n，t)的性质

9.2.2 最优策略的阈值结构

 9.3 数值仿真研究

9.3.1 连续时间模型的离散逼近

9.3.2 数值例子

 9.4 基本模型的一般化

第10章 大规模问题的近似算法

 10.1 大规模问题的挑战

 10.2 向前动态规划方法

10.2.1 近似最优决策行为的选择

10.2.2 随时间向前递推过程

10.2.3 随机变量的抽样

10.2.4 向前动态规划算法

 10.3 Q-learning和SARSA方法

10.3.1 Q-learning方法

10.3.2 SARSA方法

 10.4 实时动态规划方法

 10.5 逼近值迭代方法

 10.6 决策后状态方法

10.6.1 寻找决策后状态变量

10.6.2 决策后状态变量的例子

10.6.3 决策后状态变量的最优方程

10.6.4 决策后状态方程的逼近算法

10.6.5 决策后状态与Q-learning

 10.7 探索和利用的问题

 10.8 近似线性规划方法

 10.9 策略近似算法

 10.10 总结

参考文献

索引

习题解答

《运筹与管理科学丛书》已出版书目