詹永照、毛启容、林庆、成科扬所著的《视觉语音情感识别》作者近几年来在国家自然科学基金项目(60673190、61003183、61272211)的支持下，开展了基于视频和音频的情感识别技术的研究，包括视频和音频的情感特征的提取、适合于音视频情感分析、分类和识别的算法或分类器、多分类器融合的情感识别方法以及情感分析、识别的应用等。本书是在这些项目的研究成果基础上，系统化地加以归类总结撰写而成的。

情感识别是近年来模式识别和人机交互领域的研究热点之一，它对推动自然的人机交互和类人机器人等技术发展有着重要的作用。詹永照、毛启容、林庆、成科扬所著的《视觉语音情感识别》共8章，首先介绍当前视觉语音情感识别技术研究概况，接着介绍基于视觉信息的情感特征提取方法和情感识别方法、语音情感特征选择提取方法和情感类别识别方法，然后介绍视觉语音融合的情感识别方法，最后介绍情感分析在人脸动画生成和E-learning环境中的应用。

《视觉语音情感识别》对于从事情感计算研究的科技工作者是一本系统的参考书，也可作为高年级本科生和研究生学习情感计算和新型人机交互等课程的教材。

前言

第1章 绪论

 1.1 视觉语音情感识别的产生背景

 1.2 视觉语音情感分析的研究内容

 1.3 视觉语音情感识别的应用领域

1.3.1 表情识别的应用

1.3.2 语音情感识别的应用

 参考文献

第2章 视觉语音情感识别技术概况

 2.1 情感识别框架

 2.2 情感描述模型

2.2.1 情感的定义

2.2.2 情感的分类

 2.3 视觉语音信号预处理

2.3.1 人脸表情图像预处理

2.3.2 情感语音信号预处理

 2.4 情感特征提取

2.4.1 视觉信息情感特征提取

2.4.2 语音情感特征提取

 2.5 情感特征选择

 2.6 常用的情感识别模型

2.6.1 基于相似性的情感识别模型

2.6.2 基于连接机制的情感识别模型

2.6.3 基于概率模型的情感识别模型

2.6.4 基于集成学习的情感识别模型

 2.7 视觉语音情感识别的挑战

 2.8 视觉语音情感识别的新动向

 参考文献

第3章 基于视觉信息的情感特征提取方法

 3.1 概述

 3.2 基于小波分解和优选VLBP的表情特征提取方法

3.2.1 表情图像的小波分解

3.2.2 小波分解图像的情感特征提取

3.2.3 实验结果与分析

 3.3 基于多频域LBP-TOP的人脸表情特征提取方法

3.3.1 LBP-TOP算子

3.3.2 多频率图像分块LBP-TOP特征提取

3.3.3 实验结果与分析

 3.4 基于VLBP与光流的混合情感特征提取

3.4.1 眼睛区域的小波分解分块VLBP特征提取

3.4.2 特征点自动标注的嘴部光流特征提取

3.4.3 基于混合特征的表情识别

3.4.4 实验结果与分析

 3.5 基于Gabor变换的表情图像特征提取方法

3.5.1 小波变换与多分辨率分析

3.5.2 Gabor变换

3.5.3 人脸表情图像的网格化

3.5.4 基于Gabor小波变换的表情弹性图的构造

3.5.5 实验结果与分析

 3.6 基于积分图像的表情特征提取方法

3.6.1 积分图像的概念

3.6.2 积分图像表情特征提取

3.6.3 实验结果与分析

 3.7 一种加权矩形提取表情特征的方法

3.7.1 矩形模板设计

3.7.2 基于加权矩形的表情特征提取

3.7.3 实验结果与分析

 3.8 本章小结

 参考文献

第4章 基于视觉信息的情感识别方法

 4.1 概述

 4.2 最大间隔最小体积球形支持向量机

4.2.1 最大间隔球形支持向量机

4.2.2 最大间隔最小体积球形支持向量机

4.2.3 模型性能分析

4.2.4 基于最大间隔最小体积球形支持向量机的表情识别

 4.3 混合特征结合分类树的细微表情识别算法

4.3.1 混合特征提取

4.3.2 基于分类树的表情识别

4.3.3 实验结果与分析

 4.4 基于模糊深隐马尔可夫模型的图像序列表情识别方法

4.4.1 模糊深隐马尔可夫模型

4.4.2 模糊深隐马尔可夫模型的特性

4.4.3 基于模糊深隐马尔可夫模型的图像序列表情识别

4.4.4 实验结果与分析

 4.5 本章小结

 参考文献

第5章 语音情感特征选择提取方法

 5.1 概述

 5.2 情感语音库的录制

5.2.1 语音情感数据库

5.2.2 音视频情感数据库

5.2.3 音视频情感的有效性分析

 5.3 语音情感特征提取方法

5.3.1 传统声学语音情感特征分析与提取

5.3.2 基于导数的非个性化语音情感特征提取方法

5.3.3 基于多重分形理论的语音情感特征提取方法

 5.4 语音情感特征选择方法

5.4.1 基于神经网络贡献分析的语音情感特征选择

5.4.2 基于遗传算法的语音情感特征选择和分类器参数优化方法

5.4.3 基于类集／类对的两级语音情感特征选择方法

5.4.4 基于扩展测地距离的语音情感特征有效性分析方法

5.4.5 实验结果与分析

 5.5 基于流形学习的语音情感特征降维

5.5.1 Isomap算法描述

5.5.2  ELE算法描述

5.5.3 基于增量流形学习的情感特征降维方法

5.5.4 实验结果比较与分析

5.5.5 相关方法比较

 5.6 本章小结

 参考文献

第6章 语音情感识别方法

 6.1 概述

 6.2 基于选择性特征的SVM决策树的语音情感识别方法

6.2.1 情感混淆度

6.2.2 基于SVM一对一算法的语音情感识别

6.2.3 基于SVM决策树和选择性特征的语音情感识别

 6.3 基于改进有向无环图的分层语音情感识别方法

6.3.1 基于SVM的有向无环图

6.3.2 改进有向无环图的构造算法

6.3.3 基于测地距离的待识别样本鉴别度量算法

6.3.4 基于SVM的改进有向无环图的构造

6.3.5 语音情感识别实验

6.3.6 相关工作比较

 6.4 本章小结

 参考文献

第7章 视觉语音融合情感识别方法

 7.1 基于混合特征和多HMM融合的图像序列表情识别

7.1.1 多HMM融合的图像序列表情识别方法

7.1.2 实验结果分析与比较

 7.2 基于D-S证据理论的多粒度语段融合语音情感识别

7.2.1 D-S证据理论简介

7.2.2 多粒度情感语句分段方法

7.2.3 多粒度语段融合情感识别算法描述

7.2.4 实验结果分析与比较

7.2.5 相关工作比较

 7.3 基于对象模糊密度赋值的决策级层次式融合算法

7.3.1 模糊测度、模糊密度和模糊积分

7.3.2 类模糊密度与混淆矩阵

7.3.3 对象模糊密度

7.3.4 基于对象模糊密度赋值的决策层融合识别算法

7.3.5 基于模糊密度的人脸表情融合识别

7.3.6 实验结果与分析

 7.4 具有噪声过滤功能的分类器协同训练半监督主动学习算法

7.4.1 具有噪声过滤功能的协同训练半监督主动学习算法

7.4.2 基于NF-CT-SSAL训练算法的半监督主动学习人脸表情识别

7.4.3 实验结果与分析

 7.5 基于可分度和支持度的模糊密度赋值融合识别算法

7.5.1 分类器的初始模糊密度

7.5.2 分类器的自适应模糊密度赋值

7.5.3 算法描述

7.5.4 算法在人脸表情识别中的应用

7.5.5 实验结果与分析

 7.6 本章小结

 参考文献

第8章 情感分析的应用

 8.1 概述

 8.2 人脸表情动画中的逼真人脸重构

8.2.1 一般人脸模型

8.2.2 特定人脸模型重构

8.2.3 实验结果与分析

 8.3 基于表情动作单元参数的逼真表情动画方法

8.3.1  ERI介绍

8.3.2 图像的对准方法及分部位表情比率图库的建立

8.3.3 表情动画中细微纹理生成

8.3.4 实验结果与分析

 8.4 情感分析在E-learning环境中应用

8.4.1 基于规则的本体推理

8.4.2  E-learning环境中的本体规则推理情感激励

8.4.3 情形分析及情感激励实例

8.4.4 相关工作比较

 8.5 本章小结

 参考文献

第1章 绪论

1．1 视觉语音情感识别的产生背景

计算机科学技术的迅猛发展对人类社会产生了巨大的影响，一场信息革命正在酝酿。人们认知自然、改造自然的方式也随之发生变化。在众多领域，计算机正在逐渐代替人类完成一些极具挑战性的任务。为了使人类与计算机之间进行更加智能、更加自然的交互，新型的人机交互技术正逐渐成为研究热点。人类自然形成的与自然界沟通的认知习惯和形式必定是人机交互的发展方向。一方面要求计算机能看、能说、能听、能感觉，即能够智能地感知使用者的意图；另一方面，使用者可以不必坐在计算机前通过鼠标和键盘操作计算机，而是在三维空间中以更加自然和人性化的方式同计算机交流。总之，新型的人机交互环境要求计算机必须具有自然化、智能化和人性化等特点。

实时的多媒体信息在新型的人机交互环境中扮演着举足轻重的角色，计算机应该能够通过采集用户的图像信息和语音信息，形成计算机视觉和听觉，然后处理采集到的多媒体信息，并进行识别，从而感知使用者的意图，完成人机问的自然交互。实时的视频图像传递更加丰富的信息，这对于感知使用者的意图，判断其行为极具价值，因此，目前国内外众多研究学者将信号处理技术应用于实时的视频信息，使用计算机处理视觉语音信息，研究并开发新型的人机交互系统。在该研究领域，基于数字图像的人脸检测技术、人脸识别技术、手势识别技术、语音识别技术和基于音视频信息的情感识别技术等陆续被提出，相关的应用系统也将逐渐改变人们的工作与生活。

所谓情感识别，就是利用计算机分析特定表演者的面部表情、姿势或语音信号及其变化过程，进而确定该表演者的内心情绪或思想活动，实现人机之间更智能、更自然的交互。情感分析在许多领域都有着潜在的应用价值，如心理学研究、图像理解、脸部动画合成、视频检索、机器人技术和虚拟现实技术等。随着多媒体技术的发展，基于音视频的情感分析、识别研究对于增强计算机的智能化和人性化、开发新型人机环境，以及推动多媒体技术和信号处理等相关领域的发展有着重要的意义。

表情是人类交流中信息传递的主要媒介，在人类的日常生活中扮演着重要的角色，是语言交流的重要补充和非语言交流的最主要方式之一。表情包含了丰富的情感信息，是情绪的外在表现，即情绪在生理上、心理上和外在行为上所表现的一切变化或活动，同时也是人的社会行为的外在表现。由于人的脸部表情是反映人的内心情绪和想法的最自然最直接的方式，因此，基于视觉信息的人脸表情识别技术的研究是继人脸检测与识别之后的又一研究热点。

语音是人类表达情感的重要通道之一，语音信号中包含了大量的情感信息。近年来，从语音信号的角度研究说话人情感状态的研究越来越多，已成为情感识别的一个重要分支。

1．2 视觉语音情感分析的研究内容

视觉语音情感分析的主要研究内容概括为六个方面。

1)情感机理和描述

情感机理和描述即研究人的情感状态的判定以及生理和行为的关系，并以一套形式化或模型的方式加以表达，这方面的研究涉及心理学、生理学及认知科学等，其研究成果将为情感分析提供理论基础。人类情感的研究是一个非常古老的话题，心理学家、生理学家已经在这方面做了大量的工作。任何一种情感状态都可能伴随几种生理或行为特征的变化，而某些生理或行为特征也可能起因于数种情感状态。因此，确定情感状态与生理或行为特征之间的对应关系是情感分析理论的一个基本前提，这些对应关系目前还不十分明确，需要进一步探索和研究。

2)视觉语音情感信号的获取和量化

视觉语音情感信号的获取和量化即通过摄像头、麦克风等设备记录情感变化信号，如语音、面部表情、手势及姿势等声音和体态语的变化信息，并结合心理学、生理学及认知科学等关于情感状态的表征，研究各种情感状态特征的提取方法，便于计算机进行分析处理，力求能更准确分析、判断和理解人类的各种情感状态。

3)视觉语音情感信号的分析、建模与识别

一旦由各类有效传感器获得了情感信号，并针对情感状态可能的表征提取并量化出数字化信息，接下来的任务就是将情感信号与情感机理相应方面的内容对应起来，这里要对所获得的情感信息进行建模和识别。视觉语音情感信号的分析、建模与识别即对所获取的情感信息进行分析，基于情感机理建立各种情感状态模型，并获取欲分析识别的视觉语音所对应的情感信息，通过事先或训练得到的情感状态模型识别该视觉语音所对应的情感状态。由于情感状态是一个隐含在多个生理和行为特征之中的不可直接观测的量，不易建模，所以部分可采用诸如情感信息变化规则、隐马尔可夫模型、贝叶斯网络模式及支持向量机(support vector machines，SVM)等模型。情感信息的非线性关联关系的建模更能使模型具有泛化性和鲁棒性。如MIT媒体实验室给出了一个隐马尔可夫模型，可根据人类情感概率的变化推断得出相应的情感走向。因此，研究如何度量人类情感的深度和强度的、定性和定量的情感度量的理论模型、指标体系、计算方法及测量技术，将是视觉语音情感信号的分析、建模与识别的一个重要研究方向。

4)情感理解和反馈

情感理解和反馈即通过对情感的获取、分析与识别，计算机便可了解其所处的情感状态，同时理解情感信号识别的结果，分析人的情感产生的原因，并做出合理恰当的情感反应。情感分析的最终目的是使计算机在了解用户情感状态的基础上，做出适当反应，去适应用户情感的不断变化。因此，这部分主要研究如何根据情感信息的识别结果，对用户的情感变化做出最适宜的反应。在情感理解的模型建立和应用中，应注意以下事项：情感信号的跟踪应该是实时的，并保持一定时间间隔进行记录；情感的表达是根据当前情感状态进行适时的表达；情感模型是针对个人生活的并可在特定状态下进行更新；情感模型应具有自适应性，可通过理解情况适当反馈调节识别模式。

5)情感合成与表达

情感合成与表达即通过计算机交互设备向用户表达所对应对象的情感。上述的研究技术是从声音或行为特征来推断情感状态，而情感合成与表达则是研究其反过程，即给定某对象某一情感状态，研究如何使这一情感状态在该对象的声音或行为特征中表征出来。例如，如何在语音合成和面部表情合成中得以体现所交互的对象情感，使所交互的对象富有情感，能够方便与用户进行交流。情感的表达提供了用户与虚拟对象情感交互和交流的可能，对于单个用户，情感的交流主要包括人与人、人与机、人与自然以及人与虚拟对象的交互、交流。

6)情感人机交互的实现

情感人机交互的实现即形成一个完整的情感交流过程，实现自然和谐的人机交互。情感人机交互的实现主要在情感表达的基础上，进一步研究如何在计算机或机器人中，通过视觉和语音通道，分析、理解、模拟或生成情感模式，设计实现虚拟或实体的情感机器人或具有人工情感的计算机及其应用系统的情感生成、表达的方法和技术。

P1-3

计算机科学技术的迅速发展改变了人们的工作和生活方式。人机交互(human computer interaction，HCI)技术是突破计算机与人类交互瓶颈的重要技术，它有力地促进了计算机的普及应用。为了使人类与计算机之间进行更加智能、更加自然的交互，新型的人机交互技术正在逐渐成为研究热点。人们不仅希望能以更方便、更高效、更自然的方式操纵计算机，而且还希望计算机能理解人的情感，并提供有价值的增值服务。因此，情感识别已经成为人机交互领域亟待突破的关键技术之一。

所谓情感识别，就是利用计算机分析特定表演者的面部表情、姿势和语音信号及其变化过程，进而确定该表演者的内心情绪或思想活动，实现人机之间更智能、更自然的交互。情感分析在许多领域都有着潜在的应用价值，如心理学研究、图像理解、脸部动画合成、视频检索、机器人技术和虚拟现实技术等领域。随着多媒体技术的发展，基于音视频的情感分析、识别研究对增强计算机的智能化和人性化、开发新型人机环境，以及推动多媒体技术和信号处理等相关领域的发展有着重要的意义。

本书作者近几年来在国家自然科学基金项目(60673190、61003183、61272211)的支持下，开展了基于视频和音频的情感识别技术的研究，包括视频和音频的情感特征的提取、适合于音视频情感分析、分类和识别的算法或分类器、多分类器融合的情感识别方法以及情感分析、识别的应用等。本书是在这些项目的研究成果基础上，系统化地加以归类总结撰写而成的。

全书内容分为8章。第1章为绪论，简要地介绍了视觉语音情感识别产生的背景和意义、研究内容及其应用领域。第2章为视觉语音情感识别技术概况，包括情感识别的框架、情感的定义与分类、情感信号的预处理、常见的情感特征提取与选择、现有的情感识别方法，以及情感识别的难点及新动向。第3章为基于视觉信息的情感特征提取方法，内容包括基于视频、图像的表情特征提取的相关方法，这些方法是对已经提出的一些方法的改进，并提出自己所设计的方法。第4章为基于视觉信息的情感识别方法，内容包括了较有特色的相关表情分类、识别方法，如针对样本的不均衡性，提出并实现的最大间隔最小体积球形支持向量机的表情识别方法；针对细微表情的识别问题，提出并实现的混合特征结合分类树的细微表情识别算法；针对视频信息存在噪声和部分遮挡问题，提出并实现的基于模糊深隐马尔可夫模型的图像序列表情识别方法。第5章为语音情感特征选择提取方法，内容包括了语音情感测试库的构建、个性化和基于多重分形理论的语音情感特征提取方法、语音情感特征有效选择方法，以及基于流形学习的语音情感特征降维等方法。第6章为语音情感识别方法，内容包括了基于选择性特征的决策树的语音情感识别方法和基于改进有向无环图的分层语音情感识别方法。第7章为视觉语音融合情感识别方法，内容包括基于D-S证据理论的多粒度语段融合情感识别方法、多分类器融合方法和具有噪声过滤功能的分类器协同训练半监督主动学习方法等。第8章为情感分析的应用，内容包括基于表情动作单元参数的逼真表情动画方法和E-learning环境中的情感分析应用方法。

本书较全面地总结了课题组近年来的有关视觉语音情感识别的研究成果，内容系统、深入浅出、方法有新颖性和创新性。适合从事音视频信息的处理，特别是从事智能人机交互、计算机视觉与听觉、模式识别与人工智能以及智能动画等领域的科技工作者阅读参考。本书也可作为情感计算、新型人机交互和智能信息处理等课程的研究生教材。

本书由詹永照总体负责，毛启容负责组织实施。本书的第1、2章由毛启容和成科扬撰写，第3章由林庆撰写，第5、6章由毛启容撰写，詹永照负责了其余各章的撰写和全书的统稿工作。

完成这些项目的老师和合作者还有张建明、文传军、叶敬福、曹鹏、周庚涛、陈亚必、刘娟、李婷、陆捷荣、张娟、胡敏灵、徐莉婷、刘云、孔建等，他们在课题研究中刻苦钻研，做了有意义的探索性工作，也为本书的完成做出了重要贡献。在此谨向他们表示衷心的感谢。本书的撰写过程也参考了国内外研究者的研究成果和资料，也一并向他们致谢。

情感计算属于交叉学科的新兴研究领域，由于我们的水平有限，书中难免有疏漏之处，敬请读者不吝指正。

詹永照

2012年10月于江苏大学