1.系统讲解优选的数据消冗/去重技术,开拓眼界,提升科技认知。
2.由存储系统数据消冗领域研究与应用落地国内的优选团队之一编写,内容丰富实用,知识点系统可靠。
3.介绍世界前沿的研究和技术成果:众多全球top级大厂采用,多项技术被全球多个开源大项目采纳。
4.剖析大规模存储系统的数据消冗技术面临的核心科学问题与挑战,给出解决方案。
网站首页 软件下载 游戏下载 翻译软件 电子书下载 电影下载 电视剧下载 教程攻略
书名 | 大规模存储系统数据消冗 |
分类 | 教育考试-考试-计算机类 |
作者 | 夏文 等 |
出版社 | 人民邮电出版社 |
下载 | ![]() |
简介 | 编辑推荐 1.系统讲解优选的数据消冗/去重技术,开拓眼界,提升科技认知。 2.由存储系统数据消冗领域研究与应用落地国内的优选团队之一编写,内容丰富实用,知识点系统可靠。 3.介绍世界前沿的研究和技术成果:众多全球top级大厂采用,多项技术被全球多个开源大项目采纳。 4.剖析大规模存储系统的数据消冗技术面临的核心科学问题与挑战,给出解决方案。 内容推荐 近年来,云计算、物联网、区块链和边缘计算等多种新型应用产生了海量的、有价值的数据,而且呈现出持续增长的趋势。如何有效地存储和管理如此庞大数据是现代工业界和学术界共同关注的重点和难点问题。本书系统地介绍了数据消冗技术,该技术能够通过有效地检测和排除数据中的冗余部分,达到减轻存储系统的负担和降低成本的目标,从而应对海量数据增长带来的挑战。本书结合作者近十余年在与存储系统领域相关的国际学术会议和期刊上发表的前沿成果,一方面对单个数据消冗技术问题进行深入的理论剖析,另一方面针对多种常见应用场景的数据消冗需求提供丰富的系统级解决方案和技术思路。本书主要面向数据存储相关研究人员、咨询顾问和架构师等技术人员,也适合高等院校相关专业的本科生、研究生和对数据消冗相关领域感兴趣的读者阅读。 目录 第1章绪论1 1.1数据增长与数据消冗1 1.2大规模存储系统冗余负载分析2 1.3数据消冗技术的应用与挑战4 1.4本章小结6 参考文献6 第2章从传统压缩到大规模数据消冗10 2.1传统压缩技术10 2.2数据去重技术13 2.3差量压缩技术16 2.4本章小结19 参考文献19 第3章数据消冗前沿技术概述23 3.1数据分块23 3.2计算加速28 3.3指纹索引29 3.4数据恢复32 3.5垃圾回收33 3.6安全性36 3.7可靠性38 3.8差量压缩39 3.9开源社区实践41 3.10本章小结43 参考文献43 第4章极速基于内容分块算法53 4.1技术背景53 4.1.1FSC算法54 4.1.2CDC算法55 4.2典型的CDC算法56 4.2.1基于拉宾指纹的CDC算法56 4.2.2非对称极值CDC算法57 4.3FastCDC算法的技术框架59 4.3.1基于齿轮哈希的CDC算法59 4.3.2分块判断优化61 4.3.3收敛分块策略62 4.3.4循环展开优化65 4.4性能分析66 4.4.1实验设置66 4.4.2分块判断优化评估67 4.4.3收敛分块策略评估69 4.4.4综合评估70 4.5本章小结73 参考文献73 第5章流水线化和并行化数据去重技术75 5.1数据去重技术面临的计算挑战75 5.1.1数据去重技术的计算瓶颈与研究背景75 5.1.2数据去重流程的独立性与依赖性78 5.2流水线化和并行化数据去重技术的设计与实现79 5.2.1设计原理80 5.2.2主要功能模块81 5.2.3数据去重子任务的流水线化82 5.2.4指纹计算的并行化83 5.2.5分块的并行化84 5.2.6并行化过程中的同步和异步问题87 5.3性能分析88 5.3.1实验设置88 5.3.2关键参数测试89 5.3.3整体性能测试93 5.3.4其他CDC算法的适配性测试94 5.4本章小结95 参考文献96 第6章高效的数据去重指纹索引技术99 6.1数据去重指纹索引的规模与挑战99 6.2基于局部性的数据去重指纹索引策略相关研究100 6.2.1备份数据流的局部性100 6.2.2典型相关系统介绍100 6.3基于相似性的数据去重指纹索引策略相关研究103 6.3.1备份数据流的相似性103 6.3.2典型相关系统介绍104 6.4基于局部性和相似性的数据去重指纹索引策略设计与实现106 6.4.1小文件与大文件的去重策略问题106 6.4.2局部性与相似性的互补设计108 6.4.3基于互补设计的指纹索引技术原理与理论剖析109 6.4.4基于互补设计的指纹索引技术设计与实现110 6.5性能分析117 6.5.1测试环境117 6.5.2相似性与局部性测试分析118 6.5.3与其他数据去重指纹索引算法性能比较121 6.6本章小结125 参考文献125 第7章面向相似去重的快速差量压缩技术128 7.1相似数据差量压缩的技术背景128 7.2快速差量压缩技术的设计原理130 7.3受数据去重启发的快速差量压缩技术131 7.3.1主要设计思路与模块介绍131 7.3.2Gear-CDC算法134 7.3.3基于重复数据相邻区域的贪心检测算法135 7.3.4差量编码与解码操作135 7.3.5差量编码的总体流程136 7.4性能分析137 7.4.1测试环境137 7.4.2Gear-CDC算法性能测试138 7.4.3应用案例一测试:数据去重后的相似数据差量压缩142 7.4.4应用案例二测试:文件更新后的差量压缩146 7.5本章小结147 参考文献148 第8章基于数据去重感知的相似数据检测和差量压缩技术150 8.1相似数据消冗技术概述150 8.1.1相似数据消冗技术的原理与发展趋势150 8.1.2基于超级特征值的相似数据检测技术分析152 8.1.3基于数据去重感知的相似数据检测技术的提出153 8.2基于数据去重感知的相似数据检测和差量压缩技术的设计与实现154 8.2.1设计原理与结构154 8.2.2基于数据去重感知的相似数据检测156 8.2.3基于超级特征值的相似数据检测157 8.2.4差量压缩与存储管理158 8.2.5整体流程159 8.3性能分析160 8.3.1测试环境160 8.3.2基于超级特征值的相似数据检测的验证学习161 8.3.3基于数据去重感知的相似数据检测和差量压缩性能165 8.3.4可扩展性测试167 8.3.5恢复性能测试169 8.4本章小结170 参考文献171 第9章受数据去重启发的轻量级差量同步技术174 9.1差量同步与数据去重技术174 9.1.1差量同步与数据去重技术简介174 9.1.2本章的主要内容183 9.2基于内容分块的差量同步算法184 9.2.1CDC算法回顾与选择184 9.2.2用CDC算法代替FSC算法189 9.2.3CDC算法中的弱指纹复用策略190 9.2.4改进CDC算法后的差量同步算法简述195 9.3面向差量同步的协议优化196 9.3.1强弱指纹比较过程分离196 9.3.2合并连续相同数据块198 9.3.3关于元数据规模200 9.3.4最终版本203 9.4性能分析204 9.4.1测试环境205 9.4.2整体性能测试206 9.4.3三种代表性差量同步技术对比208 9.4.4高带宽大文件场景下的性能对比212 9.5本章小结212 参考文献213 第10章面向人工智能模型的差量压缩技术217 10.1人工智能模型压缩技术现状217 10.1.1基于轻量化设计的模型压缩218 10.1.2基于剪枝技术的模型压缩221 10.1.3基于量化技术的模型压缩223 10.2基于局部敏感性的网络浮点参数量化压缩技术225 10.2.1网络浮点参数压缩的难点225 10.2.2神经网络浮点参数的分布226 10.2.3局部敏感量化方案设计228 10.2.4量化压缩后模型的版本相似性230 10.3利用版本间相似性的神经网络差量压缩方案233 10.3.1现有神经网络差量压缩方案的不足与改进思路233 10.3.2基于量化的神经网络差量压缩方案234 10.3.3基于误差反馈的神经网络量化训练更新算法235 10.3.4神经网络的量化及差量压缩方案237 10.3.5压缩时间复杂度分析241 10.4资源受限场景应用分析241 10.4.1场景一:减少人工智能模型快照的存储开销242 10.4.2场景二:减少人工智能模型传输的通信开销242 10.5性能分析245 10.5.1测试环境、数据集与对比方法245 10.5.2网络浮点参数量化比特数的选择245 10.5.3压缩后网络模型精度测试247 10.5.4网络模型压缩性能测试249 10.6本章小结253 参考文献254 第11章面向时序数据库的有损压缩技术260 11.1时序数据特性和有损浮点数压缩编码器260 11.1.1数据库浮点数压缩现状260 11.1.2有损浮点数压缩算法简介261 11.1.3时序数据库场景简介262 11.1.4有损浮点数压缩算法在时序数据库中的应用262 11.2典型的有损浮点数压缩算法263 11.3在线化设计与实现268 11.3.1特殊值编码器在线化方案268 11.3.2哈夫曼编码器在线化方案270 11.3.3无损编码器在线化方案271 11.3.4自适应算术编码方案272 11.3.5对比测试277 11.4预测器的改进280 11.4.1预测器方案介绍280 11.4.2对比测试282 11.5数据库中的性能测试283 11.5.1测试环境与方案284 11.5.2测试结果285 11.6本章小结287 参考文献287 第12章面向非易失性内存场景的数据消冗技术290 12.1NVM文件系统与数据消冗技术290 12.1.1NVM的发展及其结构与特性291 12.1.2NVM文件系统研究现状292 12.1.3面向NVM的数据消冗技术研究现状295 12.1.4本章的主要内容300 12.2NVM文件系统在数据消冗方面的性能与一致性挑战300 12.2.1面向NVM的高吞吐率数据消冗技术难点分析301 12.2.2面向NVM的数据消冗一致性技术难点分析304 12.3支持数据消冗的NVM文件系统设计与实现306 12.3.1轻量级的数据消冗框架设计306 12.3.2高效的冗余检测优化策略307 12.3.3NVM友好的去重元数据管理309 12.3.4高性能的NVM去重索引构建310 12.3.5轻量级一致性的设计与恢复312 12.4性能分析316 12.4.1测试环境316 12.4.2整体测试317 12.4.3高吞吐率设计的有效性测试324 12.4.4一致性设计的有效性测试327 12.4.5恢复时间测试329 12.4.6交织模式的影响330 12.5本章小结332 参考文献333 第13章面向图像存储的细粒度数据去重技术336 13.1图像去重的研究现状336 13.2图像去重的特性与挑战337 13.2.1图像场景的特性338 13.2.2图像去重的挑战339 13.3细粒度图像去重框架341 13.4基于特征位图的相似性检测器342 13.4.1相似性检测器的框架342 13.4.2生成二维特征343 13.4.3基于特征位图的指纹算法345 13.4.4基于特征位图的相似性检测器的优点348 13.5与图像编码兼容的差量压缩器349 13.5.1差量压缩器的框架349 13.5.2差量压缩器的细节350 13.5.3针对连续重复块的优化352 13.5.4与图像编码兼容的差量压缩器的优点353 13.6性能分析353 13.6.1系统原型的实现和具体配置354 13.6.2测试环境与数据集介绍354 13.6.3关键性能测试指标355 13.6.4针对相似性检测器的测试355 13.6.5针对差量压缩器的测试360 13.6.6与粗粒度图像去重技术对比361 13.7本章小结362 参考文献363 第14章总结与展望365 14.1面向存储系统的通用数据消冗技术365 14.2针对特定场景的专用数据消冗技术367 附录主要术语表369 |
随便看 |
|
霍普软件下载网电子书栏目提供海量电子书在线免费阅读及下载。