张鸿编著的《多媒体信息的融合分析与综合检索》是在国家自然科学基金资助项目(项目批准号：61003127)和湖北省教育厅科学技术研究项目(Q20091101)的资助下完成的。本书共十二章节，内容包括基于文本的信息检索、基于内容的多媒体检索——以CBIR为例、图像的特征提取和降维、音频时序性特征的计算方法等。本书给供可作为高等院校计算机科学、图书情报等专业的研究生或高年级本科生的技术资料或教学用书。

张鸿编著的《多媒体信息的融合分析与综合检索》较系统地讲述了多媒体信息的融合分析与综合检索技术。全书共三个部分，十二个章节。首先从基于文本的信息检索、基于内容的多媒体检索两个方面介绍了信息检索的基础性概念和方法，然后详细阐述了如何从内容特征的角度，实现多媒体数据的结构化表达.并在此基础上，进一步分析了异构的多媒体特征的融合分析方法.以及如何综合各种类型的多媒体信息，实现跨媒体检索。

《多媒体信息的融合分析与综合检索》层次分明，内容详实，理论分析与算法实践相结合，力求实用。《多媒体信息的融合分析与综合检索》可作为高等院校计算机科学、图书情报等专业的研究生或高年级本科生的技术资料或教学用书，对从事模式识别和多媒体分析等研究、应用和开发的广大科技人员也有很大的参考价值。

第一部分　信息检索概述

第一章　基于文本的信息检索

　1.1　基本概念

　1.2　纯文本信息的检索

　　1.2.1　技术背景

　　1.2.2　经典模型

　1.3　基于关键字的多媒体检索

　1.4　本章小结

第二章　基于内容的多媒体检索——以CBIR为例

　2.1　基本概念

　2.2　关键技术

　　2.2.1　特征提取

　　2.2.2　高维特征索引

　　2.2　3　相似度计算模型

　　2.2.4　相关反馈

　2.3　CBIR相关工具和项目

　　2.3.1　国外CBIR开发简介

　　2.3.2　数字图书馆中基于内容的多媒体检索

　2.4　本章小结

第二部分　多媒体信息的结构化表达

第三章　图像的特征提取和降维

　3.1　基本概念

　　3.1.1　数字图像的组成和存储模式

　　3.1.2　广义的特征类型和特征表达方式

　3.2　视觉特征的类型和计算方法

　　3.2　1　颜色特征

　　3.2　2　纹理特征

　　3.2.3　形状特征

　3.3　特征降维技术

　　3.3.1　主成分分析

　　3.3.2　独立成分分析

　　3.3.3　典型相关性分析

　　3.3.4　奇异值分解

　　3.3.5　多维尺度分析

　　3.3.6　非线性降维方法

　3.4　本章小结

第四章　音频时序性特征的计算方法

　4.1　音频窗口

　4.2　听觉特征的类型和计算方法

　　4.2.1　时域特征

　　4.2.2　频域特征

　　4.2.3　压缩域特征

　　4.2.4　特征计算的基本单位

　4.3　基于听觉特征的音频分析与应用

　　4.3.1　音频流的自动分割

　　4.3.2　基f内容的音频检索

　　4.3.3　音乐信号分析

　4.4　本章小结

第五章　视频多通道特征的结构化方法

　5.1　视频结构化的概念

　5.2　关键帧的提取方法

　5.3　视频镜头的自动分割

　　5.3.1　镜头变换

　　5.3.2　摹本的分割方法

　5.4　基于视频的人脸识别

　5.5　视频数据的融合分析

　5.6　本章小结

第三部分　基于异构特征融合分析的跨媒体检索

第六章　跨媒体检索基础知识

　6.1　什么是跨媒体

　　6.1　1人脑认知的跨媒体特性

　　6.1.2　跨媒体的主要研究范畴

　　6.1.3　跨媒体检索的研究意义

　6.2　跨媒体检索的相关研究

　　6.2.1　多媒体特征的融合分析

　　6.2.2　多媒体关联挖掘

　　6.2.3　跨语言检索

　　6.2.4　基于音频的说活人脸检测

　　6.2.5　多媒体交叉索引

　6.3　本章小结

第七章　异构特征的统计分析

　7.1　跨媒体的内容鸿沟

　7.2　异构特征的典型相关性分析

　　7.2.1　典型相关性分析的数学表述

　　7.2.2　图像和音频在底层特征上的典型相关性分析

　　7.2.3　典型相关性分析的优点

　7.3　实验测试和结果分析

　　7.3.1　数据收集和特征提取

　　7.3.2　实验环境和参数设置

　　7.3.3　扩展实验

　7.4　本章小结

第八章　多媒体数据的统一表达和检索

　8.1　基于线性变换的子空间映射算法

　8.2　子空间中跨媒体距离的度量方式

　8.3　跨媒体检索中的相关反馈

　　8.3.1　算法描述

　　8.3.2　算法分析

　8.4　新数据的引入

　8.5　实验测试和结果分析

　　8.5.1　子空间维数的选取

　　8.5.2　跨媒体检索结果

　　8.5.3　相关反馈的实验结果

　　8.5.4　扩展实验

　8.6　本章小结

第九章　复杂数据关系的非线性分析

　9.1　相关概念

　　9.1.1　复杂数据关系

　　9.1.2　非线性分析

　9.2　非线性流形学习

　　9.2.1　流形与流形学习

　　9.2.2　几种常见的流形学习方法

　9.3　复杂数据关系的非线性流形建模

　　9.3.1　多特征观测空间

　　9.3.2　构造邻接图

　　9.3.3　计算测地线距离和子空间坐标

　9.4　短期修正和长期修正策略

　9.5　增量学习能力探讨

　　9.5.1　几何方法

　　9.5.2　交互方法

　9.6　实验测试和结果分析

　　9.6.1　多模态检索

　　9.6.2　图像和音频之间的跨媒体检索

　　9.6.3　新数据的引入

　9.7　本章小结

第十章　特征共生矩阵的隐性语义索引

　10.1　跨媒体的特征共生矩阵

　　10.1.1　理论基础——隐性语义索引

　　10.1.2　视觉和听觉特征的共生估计

　10.2　相似度传递和优化算法

　　10.2.1　形式化描述

　　10.2.2　算法分析

　10.3　主动学习策略

　　10.3.1　主动学习及其相关概念

　　10.3.2　步骤1候选集计算

　　10.3.3　步骤2条件概率计算

　　10.3.4　步骤3主动学习规则的使用

　10.4　实验测试和结果分析

　　10.4.1　矩阵秩的选取

　　10.4.2　主动学习策略对检索性能的影响

　　10.4.3　LsIActive和CCA-Passive两种线性方法的性能对比

　10.5　本章小结

第十一章　Web环境中的跨媒体相关性推理

　11.1　Web环境中的检索技术

　11.2　跨媒体关联图

　　11.2.1　预处理过程

　　11.2.2　链接分析

　　11.2.3　图模型的定义

　11.3　基于图模型的全局相关性推理

　11.4　图模型的更新策略

　11.5　本章小结

第十二章　海量多媒体资源的网格化存储

　12.1　海量多媒体资源的存储问题

　12.2　网格相关知识

　　12.2.1　定义和特征

　　12.2.2　体系结构

　　12.2.3　网格的类型

　　12.2.4　网格资源管理

　　12.2.5　相关应用项目

　12.3　仿真环境下的网格设计：以数字图书馆应用为例

　　12.3.1　系统构架

　　12.3.2　虚拟多媒体资源空间

　　12.3.3　检索算法设计

　　12.3.4　网格服务的发布和使用

　12.4　本章小结

附录

参考文献

致谢