编辑推荐 "从结绳记事中的“绳”到造纸术和活字印刷术,再到电子计算机,再到云计算,信息存储的技术风云变迁,无一不见证着数据的爆炸式增长。 对象存储作为云计算的数据存储基石,实现了计算逻辑的存储卸载,自身就可以提供数据的存储和访问服务。对象存储由于接入数据的广泛性和灵活性,允许各类数据都能流入,存储空间和对象数均呈现指数规律增长,所以自然而然地成为数据湖。 《对象存储实战指南》详解以下内容: 对象存储的历史由来:从块存储到文件存储,再到对象存储; 存储技术架构:存储区域网络架构、网络附加存储架构、对象存储架构,以及公共云对象存储服务实现架构; 对象存储的技术细节:协调和复制、命名和同步、容错和数据完整性、元数据索引设计、对象存储元数据; 对象存储的操作和使用:上手、迁移、安全与合规、保护及常用应用场景; 对象存储的未来展望:数据湖存储、混合云存储、移动网络5G存储、人工智能存储、存储新技术趋势。" 内容推荐 对象存储作为云计算的数据存储基石,实现了计算逻辑的存储卸载,自身就可以提供数据的存储和访问服务。本书权威详解了对象存储的历史由来(从块存储到文件存储,再到对象存储);存储技术架构(存储区域网络架构、网络附加存储架构、对象存储架构,以及公共云对象存储服务实现架构);对象存储的技术细节(协调和复制、命名和同步、容错和数据完整性、元数据索引设计);对象存储的操作和使用(快速上手、迁移数据到对象存储、安全与合规、数据保护、应用与实践);对象存储的未来展望(数据湖存储、混合云存储、移动网络5G存储、人工智能存储、存储新技术趋势)。本书适合云计算开发、使用和运维人员,或作为资深技术专家全面分析对象存储的参考书,还适合信息管理专业技术人员、IT经理人等专业人士、技术专家、高校学生,以及更多愿意了解和投入存储事业的人们参考阅读。 目录 第一篇 基础与原理 第1章 对象存储概述 2 1.1 什么是对象存储 2 1.1.1 存储发展历史 2 1.1.2 块存储 4 1.1.3 文件存储 5 1.1.4 对象存储 5 1.2 存储技术对比分析 6 1.3 存储技术架构 8 1.3.1 存储区域网络架构 8 1.3.2 网络附加存储架构 9 1.3.3 对象存储架构 10 1.4 公共云对象存储服务实现架构 11 1.4.1 基于分布式文件系统构建 11 1.4.2 基于本地键值存储构建 12 1.5 公共云对象存储服务的关键能力 12 1.5.1 安全性 13 1.5.2 高可靠 13 1.5.3 高可用 13 1.5.4 扩展性 14 1.5.5 性价比 14 1.6 小结 14 第2章 协调和复制 15 2.1 协调 15 2.1.1 协调技术发展史 15 2.1.2 两将军问题 20 2.1.3 拜占庭将军问题 21 2.1.4 原子广播 22 2.1.5 视图复制 23 2.1.6 PAXOS 24 2.1.7 RAFT 26 2.1.8 协调达成共识算法分析 27 2.1.9 对象存储服务的共识应用 29 2.2 复制 30 2.2.1 数据冗余技术 30 2.2.2 复制一致性 32 2.2.3 复制协议 35 2.2.4 存储领域的复制技术应用 37 2.3 小结 39 第3章 命名和同步 40 3.1 命名技术 40 3.1.1 命名方式 40 3.1.2 命名分类 47 3.1.3 对象存储命名应用 49 3.2 物理时钟同步 53 3.2.1 物理时钟同步技术 53 3.2.2 对象存储物理时钟同步应用 55 3.3 逻辑时钟 56 3.3.1 逻辑时钟技术 56 3.3.2 对象存储逻辑时钟应用 59 3.4 小结 60 第4章 容错和数据完整性 61 4.1 容错 62 4.1.1 典型故障场景 62 4.1.2 故障模式 66 4.1.3 故障检测和分析 67 4.1.4 故障容错效果 71 4.1.5 分布式提交技术 72 4.1.6 日志恢复技术 74 4.1.7 对象存储容错 75 4.2 数据完整性 76 4.2.1 数据损坏源头 77 4.2.2 数据损坏类型 77 4.2.3 数据损坏发生时刻 78 4.2.4 数据损坏检测方法 78 4.2.5 数据损坏检测算法 78 4.2.6 数据损坏修复技术 79 4.2.7 对象存储数据损坏 79 4.3 小结 80 第5章 元数据索引设计 82 5.1 对象存储元数据需求分析 83 5.1.1 业界NoSQL分析 86 5.1.2 采用NoSQL领域的键值存储技术 89 5.2 键值存储原理 89 5.2.1 基于B树的键值存储 89 5.2.2 基于LSM-Tree的键值存储 92 5.2.3 键值存储布局 94 5.3 分布式键值存储实现 95 5.3.1 基于单机键值存储构建分布式键值系统 95 5.3.2 基于分布式文件系统构建分布式键值系统 96 5.4 对象存储元数据 97 5.4.1 基于分布式数据库构建元数据 97 5.4.2 基于分布式键值存储构建元数据 97 5.5 小结 97 第二篇 操作和使用 第6章 快速上手 100 6.1 快速使用公共云对象存储服务 100 6.2 基本概念 100 6.2.1 用户的访问密钥 101 6.2.2 存储空间 103 6.2.3 对象或文件 103 6.2.4 地域 103 6.2.5 访问域名 104 6.3 开通对象存储服务 104 6.3.1 创建存储空间 105 6.3.2 上传对象 107 6.3.3 下载对象 109 6.3.4 查看对象 110 6.3.5 删除对象 110 6.3.6 删除存储空间 111 6.4 小结 112 第7章 迁移数据到对象存储 113 7.1 离线迁移设备 113 7.1.1 什么是离线迁移 113 7.1.2 迁移设备类型 114 7.1.3 迁移数据到更多云产品 115 7.1.4 迁移流程 115 7.1.5 注意事项 117 7.2 在线迁移服务 118 7.2.1 什么是在线迁移 118 7.2.2 同云对象存储OSS内的在线数据迁移 118 7.2.3 同云产品间的在线数据迁移 121 7.2.4 跨云的在线数据迁移 124 7.2.5 注意事项 125 7.3 迁移工具 126 7.3.1 ossimport工具 126 7.3.2 ossutil工具 127 7.3.3 镜像回源 128 7.4 小结 131 第8章 安全与合规 132 8.1 安全配置 132 8.1.1 账户认证 132 8.1.2 访问授权 137 8.1.3 数据加密 143 8.1.4 监控审计 145 8.1.5 沙箱防护 146 8.2 合规管理 146 8.2.1 清单 146 8.2.2 合规保留 148 8.3 小结 149 第9章 数据保护 150 9.1 存储稳定性 150 9.1.1 数据故障率和错误率 150 9.1.2 对象存储各存储类型的稳定性指标 154 9.2 同城冗余存储 155 9.3 跨地域复制 157 9.4 异地多活 158 9.5 版本控制 159 9.5.1 技术介绍 160 9.5.2 开启版本控制 162 9.5.3 暂停版本控制 165 9.5.4 删除标记 167 9.6 小结 168 第10章 应用与实践 169 10.1 场景优化功能 169 10.1.1 访问域名 169 10.1.2 传输加速 171 10.1.3 上传对象 173 10.1.4 下载对象 179 10.1.5 单连接限速 180 10.1.6 对象元信息 180 10.1.7 存储空间标签和对象标签 181 10.1.8 选取内容 182 10.2 生命周期管理 183 10.2.1 规则介绍 183 10.2.2 存储类型转换 185 10.2.3 解冻对象 186 10.3 静态网站托管 187 10.3.1 使用说明 187 10.3.2 静态网站托管绑定自定义域名 188 10.4 数据处理应用场景 189 10.4.1 场景介绍 190 10.4.2 原生图片处理 192 10.4.3 原生视频处理 202 10.4.4 集成数据处理 203 10.5 应用场景很好实践 207 10.5.1 随机化对象名前缀 207 10.5.2 网页上传数据 208 10.5.3 移动应用上传数据 211 10.5.4 基于对象存储的大数据分析 214 10.5.5 敏感数据保护场景 218 10.6 小结 220 第三篇 总结与展望 第11章 新场景、新趋势、新技术 222 11.1 数据湖存储 222 11.1.1 数据湖介绍 222 11.1.2 基于对象存储构建数据湖 223 11.1.3 数据湖架构 224 11.1.4 数据湖应用场景 227 11.1.5 数据湖应用实践 232 11.1.6 数据湖存储的关键特性 236 11.2 混合云存储 237 11.2.1 混合云介绍 237 11.2.2 混合云存储产品 239 11.2.3 混合云存储的关键特性 243 11.3 移动网络5G存储 243 11.3.1 移动网络5G介绍 243 11.3.2 中心存储 245 11.3.3 边存储 245 11.3.4 端访问 245 11.3.5 5G存储的关键特性 247 11.4 人工智能存储 247 11.4.1 人工智能介绍 247 11.4.2 人工智能存储架构 247 11.4.3 人工智能存储的关键特性 249 11.5 存储新技术趋势 250 11.5.1 新技术趋势 250 11.5.2 硬盘技术 250 11.5.3 固态硬盘新技术 251 11.5.4 内存新技术 252 11.5.5 新技术影响存储 252 11.6 小结 252 书评(媒体评论) "本书为阿里云内部核心技术人员所著,本书从分布式存储基础架构入手,结合技术原理和产品实践展开讨论,并从入门和使用维度深入介绍对象存储的应用实战。阿里云对象存储的实践验证和客户场景很好实践,具有重大的参考意义和示范效应。 舒继武 清华大学教授 中国计算机学会信息存储 技术专业委员会主任
“城市大脑”是阿里云数据智能的一个突破,对象存储通过高可靠、高性能支撑了海量图片和视频的存储,为数据智能技术提供7×24的服务保障,让城市变得更加聪明。2020年,新冠肺炎疫情期间钉钉增加了1亿用户,浙江省有130多万公务员通过钉钉办公,阿里自身每天1500万条信息在平台上流动,背后就有对象存储在疫情早期实现1周内10倍扩容的关键技术,通过其扩展性支撑了钉钉业务的业务波峰。在奥运会期间,对象存储以高可用、智能化的视频存储能力,保障精彩的体育内容能够快速向全球推送,让世界更便捷地享受数字技术浪潮。本书通过很好实践介绍如何更好地配置和使用对象存储,有助于读者了解对象存储并对数字时代创新有更加深入的认识。 张建锋(行癫) 阿里云智能总裁
阿里云的产品是基于飞天操作系统进行建设的,而飞天操作系统是由三大关键技术组成的,分别是代表计算的神龙架构、代表虚拟网络的洛神架构,以及代表存储的盘古架构。阿里的对象存储从早期的TFS系统演化至今,经受了大规模业务的考验,已经是世界上较为成熟的产品之一。本书介绍的对象存储基于盘古存储引擎实现,后者和存储产品相结合以进行研发演进。 蒋江伟(小邪) 阿里云高级研究员
存储的基本要求是数据不丢不错,随时可以访问。这些看似简单的要求在数据中心规模和互联网访问规模下给技术带来极大的挑战。本书结合阿里云十几年在分布式存储领域和对象存储领域的研发实践,理论结合实践地阐述了对象存储领域的关键技术,深入分析和总结了阿里云存储的实践和创新,希望能帮助读者更加深入地了解分布式存储的核心技术,更好地认识对象存储的技术挑战及其在阿里云实践过程中的经验和教训,更高效地用好云存储,更快更好地借助云计算进行业务创新。 吴结生 阿里云高级研究员 ????????????????? 我对本书的评价是两个字:严谨,本书兼具教科书的架构感和工具书的实用性。虽然对象存储不是云计算特有的,但是阿里云的对象存储是服务云计算的,是因云而生的新技术和产品。本书给大家展示的是数千PB数据下的大规模实践。特别希望本书成为一次成功的技术“布道”,将对象存储的知识以“大道至简”的结构化方式奉献给产业,为中国正在从事或者有志于投身云计算产业的朋友们架起一座通向未来的彩虹之桥。 陈绪(还剑) 阿里云技术战略总监" |