![]()
内容推荐 本书以广泛使用的Alluxio 2.8.0开源版本为基础编写,深入介绍Alluxio相关分布式统一大数据文件系统的技术原理与实践案例,主要内容包括系统入门与使用、内核组件设计实现原理,同时详细介绍了大型企业应用案例与实践,并附有Alluxio的开源社区开发者指南。 本书为Alluxio开源社区用户、高校大数据系统课程师生以及潜在企业用户提供了较为完整的技术指南和实用教程,既可作为大数据专业方向的专业教材,也可作为大数据从业者和研究者的重要专业资料。 作者简介 顾荣,南京大学计算机科学与技术系助理研究员,Alluxio项目管理委员会成员和源码维护者;于2016年获得南京大学计算机专业博士学位,主要研究领域为大数据处理技术与系统;在国际期刊、会议发表论文30余篇,包括IEEE TPDS、IEEE ICDE、IEEE IPDPS、JPDC、Parallel Computing、ICPP等;拥有多项发明专利;部分研究成果已在英特尔、百度、华泰证券、苏宁易购、华为、字节跳动等公司落地使用,或被主流开源大数据系统Apache Spark和Alluxio官方版本集成发布;担任多种学术期刊审稿人,以及江苏省计算机学会大数据专委会秘书长、中国计算机学会系统软件专委会委员。 目录 序 前言 第1章 Alluxio总体介绍与快速入门 1.1 Alluxio的发展背景与系统概览 1.1.1 Alluxio Master组件 1.1.2 Alluxio Worker组件 1.1.3 Alluxio Job Service组件 1.1.4 数据读写流程 1.2 Alluxio配置部署与程序运行 1.2.1 获取/编译Alluxio系统 1.2.2 单机模式安装部署 1.2.3 集群模式安装部署 1.2.4 Alluxio服务启停操作 第2章 Alluxio的核心功能服务 2.1 文件系统统一命名空间 2.1.1 统一命名空间概览 2.1.2 挂载底层存储系统 2.1.3 与底层存储系统元数据同步 2.1.4 使用示例 2.2 层级存储与数据缓存 2.2.1 存储结构概览 2.2.2 Alluxio层级存储 2.2.3 Alluxio的数据副本管理机制 2.2.4 使用示例 2.3 Alluxio与HDFS/POSIX接口存储系统的集成 2.3.1 HDFS底层存储连接器的基本原理 2.3.2 配置HDFS作为Alluxio的底层存储 2.3.3 配置CephFS作为Alluxio的底层存储 2.3.4 配置NFS作为Alluxio的底层存储 2.4 Alluxio与对象存储系统的集成 2.4.1 对象类型底层存储连接器的基本原理 2.4.2 配置AWS S3作为Alluxio的底层存储 2.4.3 配置阿里云OSS作为Alluxio的底层存储 2.4.4 配置Apache Ozone作为Alluxio的底层存储 2.4.5 配置Swift作为Alluxio的底层存储 …… 第3章 Alluxio的基本使用与运维操作 第4章 Alluxio元数据管理与主节点原理 第5章 Alluxio数据存储的核心特性与原理 第6章 Alluxio客户端与JobService的原理 第7章 Alluxio系统性能深度调优 第8章 Alluxio与云原生环境的集成 第9章 Alluxio在混合云场景中的应用 第10章 Alluxio在大数据分析场景中的应用 第11章 Alluxio在ETL场景中的应用 第12章 Alluxio在AI/ML场景中的应用 附录:如何贡献开源项目——以Alluxio为例 参考文献 |