本书选择典型的流水车间调度、作业车间调度、分布式调度等问题作为研究背景，以强化学习、深度学习和其他智能算法为研究对象，开展复杂约束条件下的车间生产调度单目标或多目标问题研究。围绕基于监督学习的序列模型、基于值函数逼近的深度强化学习算法、基于策略梯度的深度强化学习算法、改进的NSGA-Ⅱ算法、基于NASH-Q-learning的分布式算法展开论述，并将之分别应用到不同的生产调度场景。本书基于作者多年的研究成果和实践经验写成，可供从事智能制造、人工智能、工业工程、企业管理等专业的研究人员阅读，也可作为上述专业学生的研究、学习用参考书。

任剑锋，男，汉族，副教授，现就职于河南财经政法大学，长期从事管理科学与工程、高等教育教学管理等领域的相关研究工作，谙熟强化学习、深度学习等人工智能方法在相关管理科学问题中的应用及其背后的数学理论基础；同时，多年从事高等教育教学管理工作，积累了较丰富的工作经验。

第1章 绪论
1.1 研究背景和意义
1.1.1 研究背景
1.1.2 研究意义
1.2 车间生产调度问题及研究现状
1.2.1 车间生产调度问题
1.2.2 研究现状
1.3 研究内容及目标
1.3.1 研究内容
1.3.2 研究目标
1.4 技术路线及创新点
1.4.1 技术路线
1.4.2 创新点
第2章 概率推理
2.1 贝叶斯公式
2.2 概率图模型
2.2.1 隐马尔可夫模型
2.2.2 贝叶斯网络
2.2.3 贝叶斯网络推理
2.3 本章小结
第3章 样本学习
3.1 决策树
3.1.1 信息增益
3.1.2 增益率
3.1.3 Gini指数
3.1.4 剪枝处理
3.2 回归
3.2.1 线性回归
3.2.2 逻辑回归
3.3 支持向量机
3.3.1 硬间隔最大化支持向量机
3.3.2 软间隔最大化支持向量机
3.3.3 对偶算法
3.3.4 非线性支持向量机
3.4 非参数化学习
3.4.1 KNN算法
3.4.2 距离计算
3.4.3 K值确定
3.5 集成学习
3.5.1 Boosting算法
3.5.2 随机森林
3.6 无监督学习和半监督学习
3.6.1 样本的相似度
3.6.2 类和簇
3.6.3 层次聚类
3.6.4 K-means聚类
3.7 本章小结
第4章 神经网络和深度学习
4.1 深度前馈神经网络
4.1.1 前馈神经网络
4.1.2 深度前馈神经网络及学习模式
4.2 深度卷积神经网络
4.2.1 卷积神经网络
4.2.2 深度卷积神经网络
4.3 深度循环神经网络
4.3.1 循环神经网络
4.3.2 深度循环神经网络
4.4 深度自动编码器
4.4.1 欠完备自动编码器
4.4.2 正则自动编码器
4.4.3 深度自编码器
4.5 核函数方法深度学习
4.6 激活函数
4.6.1 饱和激活函数
4.6.2 非饱和激活函数
4.7 本章小结
第5章 强化学习
5.1 马尔可夫链蒙特卡洛方法
5.1.1 马尔可夫链
5.1.2 马尔可夫决策过程
5.2 动态规划
5.2.1 动态规划原理
5.2.2 价值函数
5.2.3 策略迭代
5.3 深度强化学习
5.3.1 深度强化学习基本原理
5.3.2 基于值函数的深度强化学习
5.3.3 基于策略梯度的深度强化学习
5.4 本章小结
第6章 监督学习方式求解车间生产调度问题
6.1 引言
6.2 问题描述
6.3 调度规则与样本数据
6.3.1 调度规则
6.3.2 样本数据
6.4 自注意力模型
6.4.1 基于自注意力模型的序列编码
6.4.2 Transformer模型
6.5 LSTM-PtrNets-CRF模型
6.5.1 模型框架
6.5.2 模型训练
6.6 实验与结果分析
6.6.1 实验设置
6.6.2 结果对比与分析
6.7 本章小结
第7章 值函数逼近算法求解车间生产调度问题
7.1 引言
7.2 问题描述
7.3 状态表示和动作构建
7.3.1 状态表示
7.3.2 动作构建
7.4 状态与动作映射
7.4.1 网络构建
7.4.2 网络训练
7.4.3 误差反向传播
7.4.4 梯度下降算法
7.5 奖励函数与值函数计算
7.5.1 奖励函数
7.5.2 值函数逼近
7.5.3 期望Sarsa算法
7.6 实验与结果分析
7.6.1 实验设置
7.6.2 结果对比与分析
7.7 本章小结
第8章 策略梯度算法求解车间生产调度问题
8.1 引言
8.2 问题描述
8.3 注意力机制
8.3.1 注意力分布和打分机制
8.3.2 指针网络
8.4 模型框架
8.4.1 深度序列模型
8.4.2 长短期记忆网络
8.5 策略梯度优化方法
8.5.1 策略梯度定理及证明
8.5.2 基于强化学习的序列生成
8.5.3 A3C算法应用
8.6 实验与结果分析
8.6.1 实验设置
8.6.2 结果对比与分析
8.7 本章小结
第9章 混合Q-learning算法求解多目标车间生产调度问题
9.1 引言
9.2 问题描述及优化目标
9.2.1 问题描述
9.2.2 问题建模
9.2.3 Pareto最优解
9.3 改进NSGA-Ⅱ算法
9.3.1 编码与解码
9.3.2 选择、交叉和变异操作
9.3.3 基于N5邻域结构搜索策略
9.3.4 算法流程
9.4 路径优化算法设计
9.4.1 位置扫描
9.4.2 节点选择策略和信息素更新
9.4.3 路径优化问题编码
9.5 强化学习避障策略
9.5.1 动态避障策略
9.5.2 收敛性证明
9.6 实验与结果分析
9.6.1 实验设置
9.6.2 结果对比与分析
9.7 本章小结
第10章 NASH-Q-learning算法求解分布式车间生产调度问题
10.1 引言
10.2 问题描述
10.2.1 分布式置换流水车间调度
10.2.2 问题模型
10.2.3 复杂性分析
10.3 迭代贪婪算法
10.3.1 初始化方法
10.3.2 破坏重构策略
10.3.3 局部搜索
10.3.4 接受准则
10.4 多智能体深度强化学习
10.4.1 多