1.系统讲解优选的数据消冗/去重技术，开拓眼界，提升科技认知。
2.由存储系统数据消冗领域研究与应用落地国内的优选团队之一编写，内容丰富实用，知识点系统可靠。
3.介绍世界前沿的研究和技术成果：众多全球top级大厂采用，多项技术被全球多个开源大项目采纳。
4.剖析大规模存储系统的数据消冗技术面临的核心科学问题与挑战，给出解决方案。

近年来，云计算、物联网、区块链和边缘计算等多种新型应用产生了海量的、有价值的数据，而且呈现出持续增长的趋势。如何有效地存储和管理如此庞大数据是现代工业界和学术界共同关注的重点和难点问题。本书系统地介绍了数据消冗技术，该技术能够通过有效地检测和排除数据中的冗余部分，达到减轻存储系统的负担和降低成本的目标，从而应对海量数据增长带来的挑战。本书结合作者近十余年在与存储系统领域相关的国际学术会议和期刊上发表的前沿成果，一方面对单个数据消冗技术问题进行深入的理论剖析，另一方面针对多种常见应用场景的数据消冗需求提供丰富的系统级解决方案和技术思路。本书主要面向数据存储相关研究人员、咨询顾问和架构师等技术人员，也适合高等院校相关专业的本科生、研究生和对数据消冗相关领域感兴趣的读者阅读。

第1章绪论1
1.1数据增长与数据消冗1
1.2大规模存储系统冗余负载分析2
1.3数据消冗技术的应用与挑战4
1.4本章小结6
参考文献6
第2章从传统压缩到大规模数据消冗10
2.1传统压缩技术10
2.2数据去重技术13
2.3差量压缩技术16
2.4本章小结19
参考文献19
第3章数据消冗前沿技术概述23
3.1数据分块23
3.2计算加速28
3.3指纹索引29
3.4数据恢复32
3.5垃圾回收33
3.6安全性36
3.7可靠性38
3.8差量压缩39
3.9开源社区实践41
3.10本章小结43
参考文献43
第4章极速基于内容分块算法53
4.1技术背景53
4.1.1FSC算法54
4.1.2CDC算法55
4.2典型的CDC算法56
4.2.1基于拉宾指纹的CDC算法56
4.2.2非对称极值CDC算法57
4.3FastCDC算法的技术框架59
4.3.1基于齿轮哈希的CDC算法59
4.3.2分块判断优化61
4.3.3收敛分块策略62
4.3.4循环展开优化65
4.4性能分析66
4.4.1实验设置66
4.4.2分块判断优化评估67
4.4.3收敛分块策略评估69
4.4.4综合评估70
4.5本章小结73
参考文献73
第5章流水线化和并行化数据去重技术75
5.1数据去重技术面临的计算挑战75
5.1.1数据去重技术的计算瓶颈与研究背景75
5.1.2数据去重流程的独立性与依赖性78
5.2流水线化和并行化数据去重技术的设计与实现79
5.2.1设计原理80
5.2.2主要功能模块81
5.2.3数据去重子任务的流水线化82
5.2.4指纹计算的并行化83
5.2.5分块的并行化84
5.2.6并行化过程中的同步和异步问题87
5.3性能分析88
5.3.1实验设置88
5.3.2关键参数测试89
5.3.3整体性能测试93
5.3.4其他CDC算法的适配性测试94
5.4本章小结95
参考文献96
第6章高效的数据去重指纹索引技术99
6.1数据去重指纹索引的规模与挑战99
6.2基于局部性的数据去重指纹索引策略相关研究100
6.2.1备份数据流的局部性100
6.2.2典型相关系统介绍100
6.3基于相似性的数据去重指纹索引策略相关研究103
6.3.1备份数据流的相似性103
6.3.2典型相关系统介绍104
6.4基于局部性和相似性的数据去重指纹索引策略设计与实现106
6.4.1小文件与大文件的去重策略问题106
6.4.2局部性与相似性的互补设计108
6.4.3基于互补设计的指纹索引技术原理与理论剖析109
6.4.4基于互补设计的指纹索引技术设计与实现110
6.5性能分析117
6.5.1测试环境117
6.5.2相似性与局部性测试分析118
6.5.3与其他数据去重指纹索引算法性能比较121
6.6本章小结125
参考文献125
第7章面向相似去重的快速差量压缩技术128
7.1相似数据差量压缩的技术背景128
7.2快速差量压缩技术的设计原理130
7.3受数据去重启发的快速差量压缩技术131
7.3.1主要设计思路与模块介绍131
7.3.2Gear-CDC算法134
7.3.3基于重复数据相邻区域的贪心检测算法135
7.3.4差量编码与解码操作135
7.3.5差量编码的总体流程136
7.4性能分析137
7.4.1测试环境137
7.4.2Gear-CDC算法性能测试138
7.4.3应用案例一测试：数据去重后的相似数据差量压缩142
7.4.4应用案例二测试：文件更新后的差量压缩146
7.5本章小结147
参考文献148
第8章基于数据去重感知的相似数据检测和差量压缩技术150
8.1相似数据消冗技术概述150
8.1.1相似数据消冗技术的原理与发展趋势150
8.1.2基于超级特征值的相似数据检测技术分析152
8.1.3基于数据去重感知的相似数据检测技术的提出153
8.2基于数据去重感知的相似数据检测和差量压缩技术的设计与实现154
8.2.1设计原理与结构154
8.2.2基于数据去重感知的相似数据检测156
8.2.3基于超级特征值的相似数据检测157
8.2.4差量压缩与存储管理158
8.2.5整体流程159
8.3性能分析160
8.3.1测试环境160
8.3.2基于超级特征值的相似数据检测的验证学习161
8.3.3基于数据去重感知的相似数据检测和差量压缩性能165
8.3.4可扩展性测试167
8.3.5恢复性能测试169
8.4本章小结170
参考文献171
第9章受数据去重启发的轻量级差量同步技术174
9.1差量同步与数据去重技术174
9.1.1差量同步与数据去重技术简介174
9.1.2本章的主要内容183
9.2基于内容分块的差量同步算法184
9.2.1CDC算法回顾与选择184
9.2.2用CDC算法代替FSC算法189
9.2.3CDC算法中的弱指纹复用策略190
9.2.4改进CDC算法后的差量同步算法简述195
9.3面向差量同步的协议优化196
9.3.1强弱指纹比较过程分离196
9.3.2合并连续相同数据块198
9.3.3关于元数据规模200
9.3.4最终版本203
9.4性能分析204
9.4.1测试环境205
9.4.2整体性能测试206
9.4.3三种代表性差量同步技术对比208
9.4.4高带宽大文件场景下的性能对比212
9.5本章小结212
参考文献213
第10章面向人工智能模型的差量压缩技术217
10.1人工智能模型压缩技术现状217
10.1.1基于轻量化设计的模型压缩218
10.1.2基于剪枝技术的模型压缩221
10.1.3基于量化技术的模型压缩223
10.2基于局部敏感性的网络浮点参数量化压缩技术225
10.2.1网络浮点参数压缩的难点225
10.2.2神经网络浮点参数的分布226
10.2.3局部敏感量化方案设计228
10.2.4量化压缩后模型的版本相似性230
10.3利用版本间相似性的神经网络差量压缩方案233
10.3.1现有神经网络差量压缩方案的不足与改进思路233
10.3.2基于量化的神经网络差量压缩方案234
10.3.3基于误差反馈的神经网络量化训练更新算法235
10.3.4神经网络的量化及差量压缩方案237
10.3.5压缩时间复杂度分析241
10.4资源受限场景应用分析241
10.4.1场景一：减少人工智能模型快照的存储开销242
10.4.2场景二：减少人工智能模型传输的通信开销242
10.5性能分析245
10.5.1测试环境、数据集与对比方法245
10.5.2网络浮点参数量化比特数的选择245
10.5.3压缩后网络模型精度测试247
10.5.4网络模型压缩性能测试249
10.6本章小结253
参考文献254
第11章面向时序数据库的有损压缩技术260
11.1时序数据特性和有损浮点数压缩编码器260
11.1.1数据库浮点数压缩现状260
11.1.2有损浮点数压缩算法简介261
11.1.3时序数据库场景简介262
11.1.4有损浮点数压缩算法在时序数据库中的应用262
11.2典型的有损浮点数压缩算法263
11.3在线化设计与实现268
11.3.1特殊值编码器在线化方案268
11.3.2哈夫曼编码器在线化方案270
11.3.3无损编码器在线化方案271
11.3.4自适应算术编码方案272
11.3.5对比测试277
11.4预测器的改进280
11.4.1预测器方案介绍280
11.4.2对比测试282
11.5数据库中的性能测试283
11.5.1测试环境与方案284
11.5.2测试结果285
11.6本章小结287
参考文献287
第12章面向非易失性内存场景的数据消冗技术290
12.1NVM文件系统与数据消冗技术290
12.1.1NVM的发展及其结构与特性291
12.1.2NVM文件系统研究现状292
12.1.3面向NVM的数据消冗技术研究现状295
12.1.4本章的主要内容300
12.2NVM文件系统在数据消冗方面的性能与一致性挑战300
12.2.1面向NVM的高吞吐率数据消冗技术难点分析301
12.2.2面向NVM的数据消冗一致性技术难点分析304
12.3支持数据消冗的NVM文件系统设计与实现306
12.3.1轻量级的数据消冗框架设计306
12.3.2高效的冗余检测优化策略307
12.3.3NVM友好的去重元数据管理309
12.3.4高性能的NVM去重索引构建310
12.3.5轻量级一致性的设计与恢复312
12.4性能分析316
12.4.1测试环境316
12.4.2整体测试317
12.4.3高吞吐率设计的有效性测试324
12.4.4一致性设计的有效性测试327
12.4.5恢复时间测试329
12.4.6交织模式的影响330
12.5本章小结332
参考文献333
第13章面向图像存储的细粒度数据去重技术336
13.1图像去重的研究现状336
13.2图像去重的特性与挑战337
13.2.1图像场景的特性338
13.2.2图像去重的挑战339
13.3细粒度图像去重框架341
13.4基于特征位图的相似性检测器342
13.4.1相似性检测器的框架342
13.4.2生成二维特征343
13.4.3基于特征位图的指纹算法345
13.4.4基于特征位图的相似性检测器的优点348
13.5与图像编码兼容的差量压缩器349
13.5.1差量压缩器的框架349
13.5.2差量压缩器的细节350
13.5.3针对连续重复块的优化352
13.5.4与图像编码兼容的差量压缩器的优点353
13.6性能分析353
13.6.1系统原型的实现和具体配置354
13.6.2测试环境与数据集介绍354
13.6.3关键性能测试指标355
13.6.4针对相似性检测器的测试355
13.6.5针对差量压缩器的测试360
13.6.6与粗粒度图像去重技术对比361
13.7本章小结362
参考文献363
第14章总结与展望365
14.1面向存储系统的通用数据消冗技术365
14.2针对特定场景的专用数据消冗技术367
附录主要术语表369