本书聚焦于视觉语言领域的视觉推理研究问题。视觉语言是计算机视觉与自然语言处理的交叉领域，对机器的感知和认知能力均有较高的要求。随着深度学习的发展和计算能力的提高，机器的感知能力得到了显著提升，于是研究者们开始探索机器的认知能力，尤其是推理能力。
本书从知识建模和知识推断两方面入手，对视觉语言交互任务中的视觉推理问题进行研究。其中，知识建模指通过模型的构建，从视觉媒介和自然语言中提取视觉与语言知识，并进行特征表示；知识推断指机器对视觉和语言两个模态的知识进行综合考虑，并进行无偏的推断与估计。
本书的适读人群为视觉语言、视觉推理领域的科研工作者或对相关领域感兴趣的研究人员。

牛玉磊，美国哥伦比亚大学博士后，2015年和2020年于中国人民大学分别获得学士与博士学位。研究方向包括计算机视觉、机器学习、因果推理、多模态学习等，在国际著名学术会议和期刊上发表论文20余篇。担任BMVC 2022领域主席，AAAI 2023、IJCAI 2021高级程序委员会委员等学术职务。获2021年度CCF优秀博士学位论文奖、CVPR 2019视觉对话挑战赛冠军，被评为NeurIPS 2022、ICLR 2021、ICCV 2021的杰出审稿人。

丛书序
推荐序Ⅰ
推荐序Ⅱ
导师序
摘要
ABSTRACT
插图索引
表格索引
第1章 引言
1.1 研究背景
1.2 研究现状
1.2.1 指称语理解
1.2.2 视觉对话
1.2.3 视觉问答
1.3 研究内容与贡献
1.4 组织结构
第2章 单轮交互情形下的指称语理解
2.1 研究概述
2.2 相关工作
2.3 变分背景框架
2.3.1 问题表述
2.3.2 指称语理解
2.3.3 指称语生成
2.3.4 模型实现
2.4 实验结果
2.4.1 实验设置
2.4.2 指称语理解实验结果
2.4.3 指称语生成实验结果
2.5 小结
第3章 多轮交互情形下的视觉对话
3.1 研究概述
3.2 相关工作
3.3 预备知识
3.4 递归视觉注意力模型
3.4.1 判别模块
3.4.2 匹配模块
3.4.3 注意力模块
3.5 其他模块
3.5.1 语言特征表示
3.5.2 视觉特征表示
3.5.3 特征优化与融合
3.5.4 非线性映射
3.5.5 Gumbel离散采样
3.6 实验结果
3.6.1 实验设置
3.6.2 实现细节
3.6.3 对比方法
3.6.4 实验结果分析
3.7 小结
第4章 知识偏差情形下的视觉问答
4.1 研究概述
4.2 相关工作
4.3 预备知识
4.3.1 因果图
4.3.2 反事实表示
4.3.3 因果效应
4.4 基于简化因果图的反事实视觉问答
4.4.1 反事实视觉问答框架
4.4.2 技术实现
4.5 基于完全因果图的反事实视觉问答
4.5.1 反事实视觉问答框架
4.5.2 技术实现
4.6 实现细节
4.7 实验结果
4.7.1 实验设置
4.7.2 简化因果图实验结果
4.7.3 完全因果图实验结果
4.8 小结
第5章 总结与展望
5.1 创新总结
5.2 未来工作展望
5.2.1 视觉推理任务
5.2.2 知识建模
5.2.3 知识偏差
参考文献
丛书跋