共融机器人是能够与作业环境、人和其他机器人自然交互、自主适应复杂动态环境并协同作业的机器人。“敏锐体贴型”的自然交互是共融服务机器人的研究热点问题之一。当前迫切需要共融机器人具备多模态交互信息的情感分析能力。本书针对多模态机器学习方法的情感分析领域，从多模态交互信息特征的学习表示出发，系统介绍了自然交互中的特征学习表示、特征融合和情感分类的方法，并进一步探讨了如何实现鲁棒的多模态情感分析法。
本书是共融机器人自然交互领域国内第一本系统介绍多模态交互信息情感分析的专业书籍，可为读者掌握共融机器人研究领域人机情感分析的关键技术和基础知识，为追踪该领域的发展前沿提供重要的学习和研究参考。

徐华，博士，2003年毕业于清华大学计算机科学与技术系，现为清华大学计算机科学与技术系长聘副教授，博士生导师。从事多模态智能信息处理、智能优化和共融机器人智能控制等研究工作。担任爱思唯尔（Elsevier）开放期刊Intelligent Systems with Applications首任主编，权威期刊Expert Systems with Applications副主编。完成国家科技重大专项课题3项，国家自然科学基金项目4项，国家973项目二级课题2项，国家863项目（课题）5项，国际500强企业（宝洁、西门子、安捷伦等）合作项目13项。目前已在本专业领域权威国际期刊和AAAI、ACL、ACMMM等顶级会议上发表学术论文100余篇。获得国家科技进步奖二等奖1项（集体奖），北京市科学技术奖一等奖1项，北京市科学技术奖二等奖1项（集体奖），北京市科学技术奖三等奖1项，重庆市科技进步奖三等奖1项，中国物流与采购联合会科技发明奖一等奖1项，中国物流与采购联合会科学技术奖一等奖1项。作为主讲教师，主讲清华大学全校性课程“数据挖掘：方法与应用”“工业数据挖掘与分析”“互联网产品设计”等课程。独立编写专著和教材5本，其中《演化机器学习》是国内首部演化机器学习领域的学术专著；《面向共融机器人的自然交互——人机对话意图理解》是国内首部共融机器人自然交互领域的学术专著；《数据挖掘：方法与应用》和《数据挖掘：方法与应用——应用案例》已经被国内众多高校选用为配套教材，并获得清华大学优秀教材（2020年）二等奖。

第一篇 概述
第1章 多模态情感分析概述
1.1 多模态情感分析相关研究概述
1.2 模态缺失相关研究概述
1.3 本章小结
第2章 多模态机器学习概述
2.1 多模态表示学习概述
2.1.1 联合型表示学习
2.1.2 协同型表示学习
2.2 多模态表示融合概述
2.2.1 前期融合
2.2.2 中期融合
2.2.3 后期融合
2.2.4 末期融合
2.3 本章小结
第3章 多任务学习机制概述
3.1 在计算机视觉中的多任务架构
3.2 在自然语言处理中的多任务架构
3.3 在多模态学习中的多任务架构
3.4 本章小结
第二篇 多模态情感分析数据集与预处理
第4章 多模态情感分析数据集简介
4.1 CMU-MOSI
4.2 CMU-MOSEI
4.3 IEMOCAP
4.4 MELD
4.5 本章小结
第5章 多模态多标签情感分析数据集构建
5.1 概述
5.2 多模态多标签的中文情感分析数据集制作
5.2.1 数据收集和标注
5.2.2 统计和分析
5.3 本章小结
第6章 基于主动学习的多模态情感分析数据的自动标定
6.1 相关工作
6.1.1 数据标注
6.1.2 主动学习
6.2 研究方法
6.2.1 整体结构介绍
6.2.2 MMAL模块介绍
6.2.3 半监督学习模块
6.3 实验设置
6.3.1 实验参数和评价标准
6.3.2 基线模型选择
6.4 结果分析
6.4.1 主动学习方法效果分析
6.4.2 半监督主动学习方法效果分析
6.4.3 消融实验
6.5 本章小结
……
第三篇 单模态信息的情感分析
第四篇 跨模态信息的情感分析
第五篇 多模态信息的情感分析
第六篇 多模态情感分析平台及应用
结束语
参考文献
附录A 中英文缩写对照表
附录B 图片索引
附录C 表格索引