网络信息内容审计技术针对网络流量中不良信息传播的问题，综合运用网络数据包获取、信息处理、不良流量阻断等技术实现对网络信息内容传播的有效监管。本书按照从整体到局部的思路，以从底层到高层的视角对内容审计所涉及的关键技术进行了研究与论述。最终针对目前研究中的不足，给出了需要进一步研究的热点内容及研究建议。

  网络信息内容审计是一门对网络中传输的信息内容进行分析的技术，是网络安全技术中不可或缺的重要组成部分，通过内容审计可实现网络信息内容的可控性。本书按照从整体到局部的思路，以从底层到高层的视角，详细分析了内容审计所涉及的主要技术的原理与实现，并探索了一些关键技术和共性问题。同时，对当前日益严重的手机短信内容安全相关问题进行了讨论。

本书是进行信息内容分析与识别方面的参考书，可作为从事网络信息内容安全、网络舆情分析与预警等研究领域科研人员的参考书，也可作为高等院校网络与信息安全专业大学生与研究生的参考教材。

第1章　绪论 1

 1.1　网络安全与网络信息内容安全 1

 1.2　网络信息内容审计研究概况 5

 1.3　网络信息内容审计功能 8

 参考文献 10

第2章　网络信息内容审计系统模型 14

 2.1　审计系统模型研究现状 14

 2.2　分布式可扩展网络信息 内容审计系统模型 20

2.2.1　系统体系结构 20

2.2.2　系统功能模块和关键技术 21

2.2.3　审计系统内部通信规程 22

 参考文献 24

第3章　内容审计数据包获取 26

 3.1　网络信息获取原理与方法 26

 3.2　基于BPF的高性能网络获取机制 31

3.2.1　BPF模型概述 32

3.2.2　数据包过滤方法 34

 3.3　Linux下数据包捕获瓶颈分析 36

3.3.1　Linux捕获数据包流程 36

3.3.2　捕获数据包瓶颈分析 37

 3.4　基于NAPI技术的数据包捕获方法 39

3.4.1　中断方式与轮询方式 39

3.4.2　NAPI技术 40

 3.5　基于内存映射技术的数据包捕获方法 42

3.5.1　Linux内存管理 42

3.5.2　内存映射技术 44

 3.6　并行数据包获取技术 46

3.6.1 单机数据包获取的不足 46

3.6.2　多代理并行数据包获取 47

3.6.3　并行过滤代理动态负载均衡算法 50

 参考文献 56

第4章　内容审计中的模式匹配算法 57

 4.1　概述 57

 4.2　内容审计中的模式匹配分析 58

4.2.1　待审计文本串特征分析 59

4.2.2　模式串特征分析 60

4.2.3　审计中匹配过程性能分析 60

 4.3　常用精确模式匹配算法 63

4.3.1　单模式精确匹配算法 63

4.3.2　多模式精确匹配算法 67

4.3.3　改进的多模式精确匹配算法 71

 4.4　常用相似模式匹配算法 74

4.4.1　单模式相似匹配算法 75

4.4.2　多模式相似匹配算法 78

 4.5　面向中/英文混合环境的多模式匹配算法 79

4.5.1　几种多模式匹配算法的性能分析 79

4.5.2　基于完全哈希Trie的多模式匹配算法 81

 4.6　审计系统中多模式相似匹配算法 91

4.6.1　几种多模式相似匹配算法性能分析 91

4.6.2　基于Episode距离的多模式相似匹配算法 92

 参考文献 95

第5章　网络信息内容审计中的文本分类 98

 5.1　文本分类概述 98

 5.2　文本分类的关键技术 101

5.2.1　文本预处理 102

5.2.2　文本特征向量 103

5.2.3　文本特征选取方法 105

5.2.4　相似文本特征表示 107

 5.3　文本分类方法 109

5.3.1　基于机器学习的分类方法 109

5.3.2　基于动态加权的文本分类算法 112

 5.4　文本片段分类方法 114

5.4.1　数据包报文分段对文本分类的影响 114

5.4.2　上下文相关的模糊KNN文本片段分类算法 115

 5.5　文本语义分析 118

5.5.1　基于潜在语义的分类算法 118

5.5.2　文本语义倾向性识别 121

 参考文献 123

第6章　电子邮件内容审计 126

 6.1　电子邮件的实现协议及信息编码 126

6.1.1　电子邮件相关协议分析 126

6.1.2　电子邮件信息编码 131

 6.2　电子邮件的报文重组 134

6.2.1　电子邮件重组 134

6.2.2　基于Libnids的电子邮件还原 135

 6.3　电子邮件内容的提取 137

6.3.1　电子邮件组成结构 137

6.3.2　电子邮件预处理技术 139

6.3.4　电子邮件的过滤 140

 6.4　现有电子邮件审计技术 141

6.4.1　基于网络监听方式的实现基础 141

6.4.2　全文重组的电子邮件审计 144

6.4.3　单独分组的电子邮件审计 145

6.4.4　基于选择性全文重组的电子邮件审计 146

 参考文献 150

第7章　网络不良多媒体信息内容审计 152

 7.1　概　述 152

7.1.1　不良多媒体信息识别现状 152

7.1.2　不良多媒体信息特征分析 154

 7.2　网络视频流发现与获取 156

7.2.1　网络视频流发现 157

7.2.2　网络视频流流量获取 162

 7.3　网络不良图像内容识别 164

7.3.1　肤色检测与纹理分析 164

7.3.2　不良图像特征提取 169

7.3.3　基于支持向量机的不良图像识别 172

 7.4　网络不良视频内容识别 175

7.4.1　视频关键帧提取 176

7.4.2　网络视频特征提取 178

 7.5　结合语音特征的视频识别 181

7.5.1　语音特征提取过程 181

7.5.2　基于隐马尔可夫模型的语音特征判别 185

7.5.3　基于双重特征的视频识别 188

 参考文献 189

第8章　手机短信息内容审计 194

 8.1　概述 194

 8.2　手机短信审计系统模块结构 196

 8.3　不良内容短信识别 200

8.3.1　短信内容的向量化描述 200

8.3.2　短信受限封闭测试效果最优化阈值选择方法 202

8.3.3　不良短信内容识别算法执行过程 203

 8.4　审计特征库动态更新 205

8.4.1　内容特征库的重要性与不良短信特征库的构建 205

8.4.2　短信内容特征库动态更新算法 206

8.4.2　审计结果保障方法 208

 8.5　短信热点话题识别 211

8.5.1　短信热点话题分析 211

8.5.2　短信热点话题的形式化描述 212

8.5.3　基于短信特征关联分析的热点话题发现算法 213

8.5.4　短信热点话题跟踪算法 218

 8.6　短信审计研究中的难点问题 219

 参考文献 220

第9章　手机短信通信网络演化模型 222

 9.1　复杂网络理论 222

9.1.1　复杂网络 222

9.1.2　复杂网络的拓扑特性 223

9.1.3　网络模型 227

 9.2　短信通信网络的结构特性分析 232

9.2.1　短信通信网络的构建 232

9.2.2　短信网络的连通性分析 232

9.2.3　短信通信网络的度分布 233

9.2.4　短信通信网络的聚类系数 234

 9.3　短信通信网络的演化模型 234

9.3.1　BA网络上的短信传播模型 235

9.3.2　局部优先连接模型 236

9.3.3　谣言短信网络传播模型 238

9.3.4　兼具内部演化和节点退出的演化模型 239

9.3.5　模型的比较及分析 242

 9.4　短信通信网络社区发现算法 244

9.4.1　典型的复杂网络社区发现算法 245

9.4.2　基于多维特征向量的社区发现算法 248

9.4.3　短信通信网络演化模型现存问题 254

 参考文献 255

第10章　审计系统的自身安全 257

 10.1　审计系统自身安全性分析 257

 10.2　DoS和DdoS 258

 10.3　NDoS攻击的自适应检测 263

10.3.1　NDoS攻击的表示 263

10.3.2　NDoS攻击的检测 264

 10.4　基于状态检测的NDoS攻击防御 266

 参考文献 269

第11章　网络信息内容审计的热点与难点 272

 11.1　流媒体内容审计 272

 11.2　动态信息流的特征分析 274

 11.3　关键词列表动态更新 275

 11.4　主动式不良内容传播信息检测 277

 11.5　不良信息传播状况的趋势预测 278

 11.6　热点话题发现与跟踪 279

 11.7　信息内容安全态势评估 280

参考文献 282