当前有关情感识别的研究已成为模式识别、人工智能、人机交互等领域中的一个热点研究课题，正越来越受到国内外科研机构和研究人员的重视。它在智能人机交互、机器人等领域具有重要的应用价值。张石清、赵小明著的《音视频情感识别的关键技术研究/模式识别技术丛书》共10章，首先介绍了当前面向语音和人脸的音视频情感识别技术研究概况，然后详述了音视频情感特征的提取及降维方法、音视频情感的分类方法、音视频情感信息的融合方法，最后重点介绍了基于近年来新发展起来的深度学习理论的音视频情感识别方法。本书大部分内容来源于作者在情感计算领域获得的多个省部级和国家级自然科学基金项目的资助下所取得的研究成果方面的归纳与总结。
本书可作为计算机类、电子信息类等专业的高年级本科生及研究生开展模式识别、人工智能、智能人机交互、情感计算等领域研究的参考教材，也可作为从事情感计算领域的科技工作者的参考书。

张石清，博士，副教授，浙江省高等学校中青年学科带头人。主要研究方向为模式识别、情感计算理论等。主持国家自然科学基金项目1项、浙江省自然科学基金项目2项、中国博士后基金项目1项。在IEEE Transactions on Multimedia、IEEE Transactions on Circuits and Systems for Video Technology, Journal of Visual Communication and Image Representation、International Conference on Multimedia Retrieval等国内外刊物和会议上发表论文30余篇，并获得发明专利授权3项。

第1章 绪论
1.1 情感的定义
1.2 情感的表示方法
1.3 情感计算
1.4 情感识别的应用
第2章 基于语音和人脸的音视频情感识别技术回顾
2.1 语音情感识别的技术回顾
2.1.1 情感语音数据库
2.1.2 语音情感特征分析
2.1.3 语音情感的分类算法
2.1.4 语音情感识别中的难点
2.2 人脸表情识别的技术回顾
2.2.1 人脸表情数据库
2.2.2 人脸表情特征分析
2.2.3 人脸表情的分类算法
2.2.4 人脸表情识别中的难点
2.3 音视频情感识别的技术回顾
2.4 深度学习在音视频情感识别中的应用
2.5 本章小结
第3章 基于非线性流形学习的语音情感识别
3.1 流形学习的概念
3.2 代表性的流形学习算法
3.2.1 局部线性嵌入
3.2.2 等距映射
3.3 改进的监督局部线性嵌入算法
3.3.1 监督局部线性嵌入
3.3.2 改进的监督局部线性嵌入
3.4 语音情感特征提取
3.4.1 韵律特征
3.4.2 音质特征
3.5 实验测试及结果分析
3.5.1 语音情感数据集
3.5.2 实验结果分析
3.6 本章小结
第4章 融合核方法与非线性流形学习的语音情感识别
4.1 核方法基本理论
4.2 两种代表性的核方法
4.2.1 核主成分分析法
4.2.2 核Fisher线性判别分析
4.3 核判别局部线性嵌入
4.4 实验测试及结果分析
4.4.1 语音情感数据集
4.4.2 情感数据的低维可视化
4.4.3 语音情感识别结果比较
4.5 本章小结
第5章 基于稀疏表示理论的鲁棒性人脸表情识别
5.1 人脸表情特征提取
5.1.1 人脸表情图像预处理
5.1.2 局部二元模式
5.1.3 Gabor小波变换
5.2 稀疏表示
5.2.1 压缩感知理论
5.2.2 稀疏表示分类器
5.3 实验测试及结果分析
5.3.1 人脸表情数据集
5.3.2 无腐蚀和无遮挡的实验结果及分析
5.3.3 鲁棒性测试的实验结果及分析
5.4 本章小结
第6章 基于特征层和决策层的音视频情感识别
6.1 音视频情感信息融合策略
6.1.1 特征层融合
6.1.2 决策层融合
6.2 音视频情感数据库
6.3 特征提取
6.3.1 声学特征提取
6.3.2 人脸表情特征提取
6.4 实验测试及结果分析
6.4.1 语音情感识别结果
6.4.2 人脸表情识别结果
6.4.3 音视频情感识别结果
6.5 本章小结
第7章 基于CNN和DTPM的语音情感识别方法
7.1 CNN的基本原理
7.2 基于CNN和DTPM的语音情感识别模型
7.2.1 CNN的语音输入
7.2.2 CNN微调
7.2.3 DTPM算法
7.3 实验测试及结果分析
7.3.1 语音情感数据集
7.3.2 实验结果分析
7.4 本章小结
第8章 融合DBN与MLP的人脸表情识别方法
8.1 DBN的基本原理
8.2 融合19BN与MLP的人脸表情识别模型
8.3 实验测试及结果分析
8.4 本章小结
第9章 基于多模CNN的音视频情感识别方法
9.1 基于多模CNN的音视频情感识别模型
9.1.1 CNN的音视频输入
9.1.2 网络训练
9.2 实验测试及结果分析
9.3 本章小结
第10章 基于混合深度学习的音视频情感识别方法
10.1 基于混合深度学习的音视频情感识别模型
10.1.1 CNN的音视频输入
10.1.2 网络训练
10.2 实验测试及结果分析
10.2.1 音视频数据集
10.2.2 实验结果分析
10.3 本章小结
参考文献