本书尝试总结近年来游戏人工智能方向的优秀研究工作，以及作者的一些探索成果。主要内容包括游戏人工智能的背景、经典的游戏人工智能方法、DeepMind针对棋牌和视频类游戏的人工智能方法，以及作者团队针对即时游戏的人工智能方法，如格斗游戏、星际争霸的宏观生产和微观操作等。从理论分析到算法设计到编程实现，旨在为读者提供一个针对不同游戏人工智能问题的系统性论述。
本书适合人工智能等相关领域科技人员参考使用，也可供高校相关专业的研究生学习。

“新一代人工智能理论、技术及应用丛书”序
前言
第1章 游戏人工智能介绍
1.1 引言
1.1.1 游戏人工智能背景和意义
1.1.2 游戏人工智能研究发展
1.2 回合制游戏人工智能
1.2.1 棋类游戏人工智能发展历程
1.2.2 牌类游戏人工智能发展历程
1.2.3 棋牌类游戏人工智能测试平台
1.3 即时制游戏人工智能
1.3.1 即时制游戏平台和竞赛
1.3.2 雅达利游戏
1.3.3 第一人称视角游戏
1.3.4 即时策略游戏
1.4 游戏人工智能的关键性挑战与研究思路
1.5 游戏人工智能的未来发展趋势与展望
1.5.1 基于深度强化学习方法的策略模型泛化性
1.5.2 构建高效鲁棒合理的前向推理模型
1.5.3 增强模型的环境适应和学习优化性能
1.5.4 从虚拟环境到实际应用的迁移
1.6 本章小结
参考文献
第2章 基本游戏人工智能方法
2.1 引言
2.2 经典博弈树模型
2.2.1 极小化极大算法
2.2.2 α-β剪枝算法
2.3 统计前向规划
2.3.1 蒙特卡罗树搜索算法
2.3.2 滚动时域演化算法
2.4 强化学习
2.4.1 蒙特卡罗算法
2.4.2 时间差分强化学习算法
2.4.3 策略梯度学习算法
2.5 深度强化学习
2.5.1 深度Q网络及其扩展
2.5.2 异步优势执行器-评价器算法及其扩展
2.5.3 策略梯度深度强化学习
2.5.4 面向对抗博弈的深度强化学习
2.6 本章小结
参考文献
第3章 DeepMind游戏人工智能方法
3.1 引言
3.2 AlphaGo
3.2.1 算法概述
3.2.2 计算机围棋的发展历史与现状
3.2.3 原理分析
3.2.4 性能分析
3.2.5 评价
3.3 AlphaGoZero.
3.3.1 算法概述
3.3.2 深度神经网络结构
3.3.3 蒙特卡罗树搜索
3.3.4 训练流程
3.3.5 讨论
3.4 AlphaZero和MuZero
3.4.1 AlphaZero概述
3.4.2 MuZero概述
3.4.3 算法解析
3.4.4 性能分析
3.5 AlphaStar
3.5.1 星际争霸研究意义
3.5.2 算法概述
3.5.3 算法解析
3.5.4 性能分析
3.6 本章小结
参考文献
第4章 两人零和马尔可夫博弈的极小化极大Q网络算法
4.1 引言
4.2 两人零和马尔可夫博弈的基本知识
4.2.1 两人零和马尔可夫博弈
4.2.2 纳什均衡或极小化极大均衡
4.2.3 极小化极大价值和极小化极大方程
4.2.4 线性规划求解极小化极大解
4.3 动态规划求解贝尔曼极小化极大方程
4.3.1 值迭代
4.3.2 策略迭代
4.3.3 广义策略迭代
4.4 极小化极大Q网络算法
4.4.1 Q函数神经网络
4.4.2 在线学习
4.4.3 M2QN算法在查表法下的收敛性
4.5 仿真实验
4.5.1 足球博弈
4.5.2 守护领土
4.5.3 格斗游戏
4.6 本章小结
参考文献
第5章 格斗游戏的对手模型和滚动时域演化算法
5.1 引言
5.2 基于滚动时域演化的统计前向规划建模
5.2.1 格斗游戏问题定义
5.2.2 滚动时域演化算法
5.3 基于自适应对手模型的神经网络建模
5.3.1 对手模型建模
5.3.2 监督学习式对手模型
5.3.3 强化学习式对手模型
5.4 实验设计与测试结果
5.4.1 实验设置与测试平台
5.4.2 内部比较
5.4.3 对抗2018年格斗游戏程序
5.4.4 两种统计前向规划与对手建模结合的性能比较
5.4.5 2019年格斗游戏竞赛结果
5.4.6 2020年格斗游戏竞赛结果
5.4.7 性能指标分析
5.4.8 讨论
5.5 本章小结
参考文献
第6章 星际争霸宏观生产的深度强化学习算法
6.1 引言
6.2 星际争霸宏观生产决策分析与建模
6.2.1 问题定义
6.2.2 输入状态特征
6.2.3 决策动作定义
6.2.4 决策神经网络模型结构
6.2.5 基于策略和价值混合式网络的决策系统优化方法
6.3 实验设置与结果分析
6.3.1 星际争霸宏观决策对抗优化场景
6.3.2 对抗优化场景下的实验结果
6.3.3 星际争霸学生天梯赛
6.4 本章小结
参考文献
第7章 星际争霸微操的强化学习和课程迁移学习算法
7.1 引言
7.2 星际争霸微操任务分析与建模
7.2.1 问题定义
7.2.2 高维状态表示
7.2.3 动作定义
7.2.4 网络结构
7.3 基于强化学习的星际争霸多单位控制
7.3.1 共享参数多智能体梯度下降Sarsa(λ)算法
7.3.2 奖赏函数
7.3.3 帧跳跃
7.3.4 课程迁移学习
7.4 实验设置和结果分析
7.4.1 星际争霸微操场景设置
7.4.2 结果讨论
7.4.3 策略分析
7.5 本章小结
参考文献
第8章 星际争霸微操的可变数量多智能体强化学习算法
8.1 引言
8.2 背景知识与相关工作
8.2.1 多智能体强化学习
8.2.2 联合观