本书是系统介绍群体机器人协同概念、方法、算法及应用的综合性专业书籍。首先介绍群体机器人协同的基本概念、特点及其发展历程。其次详细介绍群体机器人协同算法，尤其是群体机器人多目标搜索问题，作者针对该问题提出多种高效的群体机器人多目标搜索策略，包含基于规则的多目标搜索策略和基于学习的多目标搜索策略。再次介绍在简单、复杂、复合环境及开放环境中的多目标搜索方法。接着通过将多体系统作为群体机器人应用延拓，利用多智能体强化学习方法，解决以游戏AI为代表的复杂现实问题，详细介绍复杂任务中的群体机器人协同方法和基于学习策略的群体机器人协同方法。最后介绍作者团队开发的群体机器人模拟演示平台。

目录
“新一代人工智能理论、技术及应用丛书”序
前言
第1章 绪论 1
1.1 群体协同 1
1.2 群体机器人的定义和特征 4
1.2.1 群体机器人的定义 4
1.2.2 生物群体的特性 5
1.2.3 群体机器人的特征 6
1.3 本书的组织结构 12
参考文献 13
第2章 群体机器人研究发展 16
2.1 群体机器人基础模型 16
2.1.1 群体机器人系统模型 16
2.1.2 群体机器人协作方式 21
2.2 群体机器人协同方法 22
2.2.1 早期的群体机器人算法 23
2.2.2 群体机器人基础任务 24
2.2.3 现有的群体机器人算法 31
2.3 群体机器人模拟平台与实体项目 35
2.3.1 模拟平台 36
2.3.2 实体项目 38
2.4 群体机器人研究现状分析 40
2.5 群体机器人多目标搜索的研究意义 41
参考文献 42
第3章 群体机器人多目标搜索问题 52
3.1 多目标搜索问题的建模与分析 53
3.1.1 问题模型的相关工作 53
3.1.2 问题假设与理想化模型 54
3.1.3 问题的近似数学模型与分析 56
3.2 搜索策略性能的衡量指标 58
3.3 群体机器人多目标搜索策略的研究现状 60
3.3.1 群体机器人的三阶段搜索框架 61
3.3.2 启发自群体智能算法的多目标搜索策略 63
3.3.3 启发自随机搜索策略的多目标搜索策略 64
3.3.4 动态目标追踪问题与弹簧虚拟力算法 65
3.3.5 本节小结 74
3.4 本章小结 75
参考文献 76
第4章 基于规则的多目标搜索策略 79
4.1 基准设定与问题特征 79
4.1.1 关于基准策略的探讨 79
4.1.2 多目标搜索问题的特征 80
4.2 分组爆炸策略 82
4.2.1 分组爆炸策略概述 83
4.2.2 组内协同 84
4.2.3 拆分较大分组 85
4.2.4 利用历史信息 87
4.2.5 速度更新式 87
4.2.6 本节小结 88
4.3 改进的分组爆炸策略 88
4.3.1 分组爆炸策略的不足 88
4.3.2 改进的分组爆炸策略概述 89
4.3.3 算法的收敛性 92
4.3.4 参数优化 93
4.3.5 本节小结 94
4.4 三角编队搜索策略 94
4.4.1 TFS策略的五个阶段 95
4.4.2 TFS策略实现的关键技术 96
4.4.3 本节小结 99
4.5 独立搜索策略 99
4.5.1 广域搜索阶段的随机搜索策略 100
4.5.2 细化搜索阶段的三角梯度估计 100
4.5.3 惯性机制 100
4.5.4 本节小结 101
4.6 基于概率有限状态机的搜索策略 101
4.6.1 研究动机 101
4.6.2 基于概率有限状态机的搜索策略概述 105
4.6.3 参数优化 107
4.6.4 本节小结 110
4.7 实验结果与讨论 110
4.7.1 对比算法及其配置 110
4.7.2 不同群体规模下的对比实验 111
4.7.3 不同目标数量下的对比实验 116
4.7.4 不同目标收集次数下的对比实验 119
4.7.5 各种对比策略搜索效率的排名 122
4.8 本章小结 122
参考文献 123
第5章 基于学习的多目标搜索策略 125
5.1 基于深度学习和进化计算的策略设计 125
5.1.1 研究动机 125
5.1.2 基于深度学习的搜索策略学习 128
5.1.3 基于进化计算的搜索策略学习 131
5.1.4 实验结果与讨论 133
5.1.5 本节小结 141
5.2 基于强化学习的搜索策略设计 142
5.2.1 强化学习的基础理论 142
5.2.2 值函数逼近 143
5.2.3 基于神经网络值函数逼近的强化学习避障算法 143
5.2.4 实验结果与讨论 151
5.2.5 本节小结 154
5.3 本章小结 154
参考文献 154
第6章 简单环境下的多目标搜索 157
6.1 在环境中引入简单条件 157
6.2 障碍物下的多目标搜索方法 159
6.2.1 问题描述 159
6.2.2 应对策略 159
6.2.3 实验结果与讨论 160
6.3 干扰源下的多目标搜索方法 161
6.3.1 问题描述 161
6.3.2 实验结果与讨论 162
6.4 假目标下的多目标搜索方法 164
6.4.1 问题描述 164
6.4.2 应对策略 165
6.4.3 实验结果与讨论 168
6.5 多种环境下的多目标搜索方法 172
6.5.1 障碍物和干扰源下的多目标搜索方法 172
6.5.2 障碍物和假目标下的多目标搜索方法 173
6.6 本章小结 174
第7章 复杂环境下的多目标搜索 175
7.1 引入能量和感知的多目标搜索方法 175
7.1.1 问题描述 175
7.1.2 方向选择算法 178
7.1.3 实验设置 185
7.1.4 实验结果与讨论 187
7.1.5 本节小结 193
7.2 复合环境中的多目标搜索方法 193
7.2.1 群体规模 194
7.2.2 目标数量 195
7.2.3 障碍物数量 196
7.2.4 干扰源数量 196
7.2.5 假目标数量 197
7.2.6 目标适应度值上限 198
7.2.7 环境噪声 199
7.2.8 算法的时间性能和成功次数 200
7.3 开放环境中的多目标搜索方法 201
7.3.1 问题描述 201
7.3.2 实验设定及假设 202
7.3.3 自适应分布控制 203
7.3.4 实验结果与讨论 207
7.4 本章小结 211
参考文献 212
第8章 复杂任务中的群体机器人协同方法 214
8.1 多智能体系统 214
8.2 强化学习 215
8.2.1 问题描述 215
8.2.2 值函数与贝尔曼方程 216
8.2.3 探索与利用的权衡 216
8.2.4 时序差分学习 217
8.2.5 多步自举 217
8.2.6 策略优化 218
8.3 深度强化学习 219
8.3.1 深度强化学习的历史发展 219
8.3.2 深度 Q 学习算法 220
8.3.3 深度确定性策略梯度算法 223
8.3.4 深度强化学习的应用 224
8.4 多智能体强化学习 224
8.4.1 随机博弈建模 225
8.4.2 多智能体强化学习的挑战 226
8.4.3 传统的多智能体强化学习算法 226
8.4.4 多智能体深度强化学习 227
8.5 强化学习在游戏智能中的应用 229
8.6 本章小结 231
参考文献 231
第9章 基于学习策略的群体机器人协同方法 239
9.1 基于注意力机制的多智能体强化学习状态表示方法 239
9.1.1 多智能体强化学习中的特征聚合方法 240
9.1.2 图视角下的多智能体状态表示学习 241
9.1.3 注意力关联编码器 241
9.1.4 实验结果与讨论 246
9.1.5 ARE 的优缺点 252
9.1.6 本节小结 252
9.2 基于协同隐空间的多智能体强化学习探索方法 253
9.2.1 强化学习中的探索 253
9.2.2 基于低维协同隐空间的多智能体探索 254
9.2.3 实验结果与讨论 259
9.2.4 本节小结 262
9.3 基于多智能体强化学习的多分支集成策略网络 262
9.3.1 基于多智能体强化学习的多分支集成策略网络概述 264
·xii· 群体机器人协同方法
9.3.2 实验结果与讨论 267
9.3.3 本节小结 272
9.4 基于互引导Actor-Critic的多智能体高效动作探索 273
9.4.1 个体-全局-优选值约束 274
9.4.2 个体-全局-优选值约束的不可分解性问题 275
9.4.3 基于互引导的多智能体行动者-评论家算法 277
9.4.4 实验结果与讨论 279
9.4.5 本节小结 283
9.5 双信道多智能体通信方法 283
9.5.1 双信道多智能体通信方法概述 284
9.5.2 实验结果与讨论 285
9.5.3 本节小结 288
9.6 基于有向图结构的通信代价约减方法 288
9.6.1 简介 288
9.6.2 模型 288
9.6.3 实验结果与讨论 290
9.6.4 本节小结 293
9.7 基于预测性贡献度量的多智能体系统信用分配方法 293
9.7.1 多智能体近端策略优化算法 294
9.7.2 预测性贡献度量 294
9.7.3 PC-MAPPO算法 296
9.7.4 实验结果与讨论 297
9.7.5 本节小结 301
9.8 本章小结 301
参考文献 302
第10章 群体机器人模拟平台 304
10.1 模拟平台 304
10.1.1 核心算法模块 304
10.1.2 三维演示模块 306
10.1.3 并行测试模块 307
10.2 机器人邻域的快速计算 308
10.2.1 问题背景 308
10.2.2 索引K-D树 309
10.2.3 利用索引K-D树进行邻域计算 312
10.2.4 实验结果与讨论 314
10.3 本章小结 316
参考文献 316
第11章 总结与展望 318