深度强化学习理论的提出为机器人控制中的动力学模型建立、环境状态信息感知等问题提供了丰富的解决思路。本书在现有的深度强化学习算法基础上，针对机器人控制中的机器人姿态平衡控制、机器人持物平衡控制、机器人抓取控制3个方面的问题展开研究，为基于深度强化学习的机器人控制问题提供一定的理论指导和技术支撑。
本书适合机器人运动控制领域的研究者，以及对机器人运动控制方法感兴趣的读者阅读参考。

第1章 绪论
1.1 研究背景与意义
1.2 国内外研究现状
1.2.1 深度强化学习的研究现状
1.2.2 机器人控制的研究现状
1.3 本书主要内容
第2章 深度强化学习及非线性最优化基础理论
2.1 引言
2.2 强化学习理论
2.2.1 马尔可夫决策过程
2.2.2 动态规划
2.2.3 蒙特卡罗方法
2.2.4 时间差分学习
2.2.5 强化学习算法概述
2.3 深度强化学习理论
2.3.1 深度学习
2.3.2 深度强化学习算法概述
2.4 非线性系统
2.4.1 非线性系统描述
2.4.2 李雅普诺夫稳定性理论
2.4.3 控制系统中的动态规划问题
2.4.4 连续系统最优控制问题
2.4.5 离散系统最优控制问题
2.4.6 ADP方法分析
2.4.7 关于性能指标函数的讨论
2.5 本章小结
第3章 机器人运动控制方法及问题分析
3.1 引言
3.2 机器人平衡问题及方法提出
3.2.1 问题描述
3.2.2 方法提出
3.3 机器人抓取问题及方法提出
3.3.1 问题描述
3.3.2 方法提出
3.4 本章小结
第4章 基于深度强化学习的机器人姿态平衡控制
4.1 引言
4.2 倒立摆双轮式机器人基础模型
4.3 平衡系统控制模型设计
4.3.1 系统特点分析
4.3.2 姿态平衡系统强化学习模型构建
4.3.3 细节奖励函数设计
4.3.4 强化学习算法
4.4 实验结果及分析
4.4.1 倒立摆动力学模型软件设计
4.4.2 倒立摆内核系统设计
4.4.3 训练和测试环境
4.4.4 实验分析
4.5 本章小结
第5章 基于深度强化学习的机器人持物平衡控制
5.1 引言
5.2 机器人球杆系统模型
5.3 平衡系统控制模型设计
5.3.1 持物平衡系统强化学习模型构建
5.3.2 细节奖励函数设计
5.3.3 强化学习算法
5.4 视觉定位方法设计
5.5 实验结果及分析
5.5.1 训练和测试环境
5.5.2 实验分析
5.6 本章小结
第6章 基于深度强化学习的机器人抓取控制
6.1 引言
6.2 机器人运动学模型建立
6.3 抓取系统控制模型设计
6.3.1 抓取系统强化学习模型构建
6.3.2 奖励函数设计
6.3.3 强化学习算法
6.3.4 算法网络设计
6.4 实验结果及分析
6.4.1 训练和测试环境
6.4.2 实验分析
6.5 本章小结
第7章 移动机器人的运动控制问题
7.1 引言
7.2 智能体学习环境及问题
7.3 用细节奖励机制解决智能体学习问题
7.4 本章小结
第8章 并联机器人的逆解问题
8.1 引言
8.2 并联机器人深度强化学习建模
8.2.1 状态空间设计
8.2.2 输出动作选取
8.2.3 奖励函数分析
8.3 改进双延迟深度确定性策略梯度
8.3.1 TD3算法流程
8.3.2 基于Sumtree优先采样
8.4 实验结果及分析
8.4.1 仿真环境下的模型训练和评价
8.4.2 实物平台模型测试
8.5 本章小结
第9章 结论与展望
9.1 结论
9.2 创新点
9.3 展望
参考文献