Hadoop是目前比较流行的大数据框架之一，它使用简单的高级编程模型即可实现大型数据集的分布式存储和处理。
本书以Hadoop的概念、集群搭建、核心组件、实战案例等为主线，较为全面地介绍了Hadoop大数据存储及处理技术的相关知识。全书共10章，前9章主要讲解了Hadoop的基础知识，内容包括初识Hadoop、Hadoop的安装与配置、高可用与联邦、分布式文件系统HDFS、集群资源管理系统YARN、分布式计算框架MapReduce、Hadoop的I/O操作、Hadoop 3.x的新特性、Hadoop商业发行版等；第10章是Hadoop实战案例，以实际Hadoop框架的运用为导向引入了三个实战案例：Avro文件合并及多目录输出、网页域名分区统计及电商平台商品评价数据分析。
本书既可作为高校大数据相关技术类专业的教材和辅导书，也可作为大数据技术爱好者的自学用书。

第1章 初识Hadoop
1.1 Hadoop概述
1.1.1 Hadoop简介
1.1.2 Hadoop的背景
1.1.3 Hadoop的发展历程
1.1.4 Hadoop的特点
1.2 Hadoop核心组件
1.2.1 分布式文件系统HDFS
1.2.2 分布式计算框架MapReduce
1.2.3 集群资源管理器-YARN
1.3 Hadoop生态系统及相关技术简介
1.4 Hadoop的应用场景
本章小结
习题
第2章 Hadoop安装与配置
2.1 Hadoop的安装方式
2.2 伪分布式安装
2.2.1 安装前的准备工作
2.2.2 Hadoop安装与配置
2.2.3 启动与停止Hadoop
2.2.4 访问Hadoop
2.3 完全分布式安装
2.3.1 Hadoop集群规划
2.3.2 安装前的准备工作
2.3.3 Hadoop安装与配置
2.3.4 集群启动与监控
2.3.5 集群节点的添加与删除
本章小结
习题
第3章 高可用与联邦
3.1 高可用
3.2 为什么需要高可用
3.3 HDFS高可用
3.3.1 HDFS高可用运行流程
3.3.2 HDFS高可用环境搭建
3.4 YARN高可用
3.5 联邦
本章小结
习题
第4章 分布式文件系统HDFS
4.1 HDFS概述
4.1.1 HDFS简介
4.1.2 HDFS架构
4.2 HDFS的基本概念
4.2.1 命名空间与块存储服务
4.2.2 数据块
4.2.3 数据复制
4.2.4 心跳检测与副本恢复
4.3 HDFS的数据读写流程
4.3.1 数据写入流程
4.3.2 数据读取流程
4.4 HDFS元数据管理机制
4.4.1 元数据持久化机制
4.4.2 元数据合并机制
4.5 HDFS Shell命令
4.5.1 文件系统常用操作命令
4.5.2 常用管理命令dfsadmin
4.6 开发环境搭建
4.6.1 maven简介
4.6.2 基于Maven+Eclipse构建Hadoop开发调试环境
4.7 Java API应用
4.7.1 HDFS文件系统操作涉及的类
4.7.2 RPC的原理及应用
本章小结
习题
第5章 集群资源管理系统YARN
5.1 YARN产生背景
5.2 YARN在共享集群模式中的应用
5.3 YARN的设计思想
5.3.1 YARN的基本架构
5.3.2 ResourceManager HA
5.4 YARN的工作流程
5.5 YARN的资源调度器
5.5.1 调度选项
5.5.2 FIFO Scheduler
5.5.3 Capacity Scheduler
5.5.4 Fair Scheduler
本章小结
习题
第6章 分布式计算框架MapReduce
6.1 MapReduce概述
6.2 map和reduce的处理过程
6.2.1 处理过程概述
6.2.2 MapReduce入门案例
6.2.3 关于shuffle
6.2.4 YARN对MapReduce的资源调度
6.2.5 map的本地化
6.3 MapReduce进阶
6.3.1 Combiner
6.3.2 Partioner
6.3.3 MapReduce输入的处理类
6.3.4 MapReduce输出的处理类
6.4 案例
本章小结
习题
第7章 Hadoop的I/O操作
7.1 IO操作中的数据完整性检查
7.2 I/O操作中的数据压缩
7.2.1 压缩算法
7.2.2 压缩和解压缩
7.3 Hadoop I/O序列化接口
7.3.1 序列化
7.3.2 Hadoop序列化
7.4 自定义序列化类
7.5 基于文件的数据结构
7.5.1 SequenceFile
7.5.2 SequenceFileInputFormat
本章小结
习题
第8章 Hadoop 3.x新特性
8.1 Hadoop 3.x概述
8.2 Hadoop 3.x的改进
8.2.1 JDK升级
8.2.2 EC技术
8.2.3 YARN优化
8.2.4 支持多NameNode
8.2.5 DataNode内部负载均衡
8.2.6 端口号的改变
8.3 Hadoop 3.x其他新特性
8.3.1 shell脚本重写
8.3.2 GPU和FPGA支持
本章小结
习题
第9章 Hadoop商业发行版
9.1 Hadoop集群管理的挑战
9.2 CDH概述
9.3 Cloudera Manager概述
9.3.1 Cloudera Manager的架构
9.3.2 Cloudera Manager中的基本概念
9.4 Cloudera Manager及CDH离线安装部署
9.4.1 集群部署规划
9.4.2 安装前的准备工作
9.4.3 前置软件安装
9.4.4 Cloudera Manager安装与配置
9.4.5 CDH部署
9.4.6 Cloudera Manager搭建Hadoop集群
9.4.7 启用HDFS HA和YARN HA
9.5 Cloudera Manager的功能
9.5.1 Cloudera Manager的基本核心功能
9.5.2 Cloudera Manager的*级功能
9.6 Hadoop其他商业发行版介绍
9.6.1 HDP
9.6.2 MapR Hadoop
9.6.3 华为Hadoop
本章小结
习题
第10章 Hadoop实战案例
10.1 项目背景
10.2 Apache Avro
10.2.1 Apache Avro概述
10.2.2 Schema
10.2.3 Avro序列化与反序列化案例
10.3 案例一：Avro文件合并多目录输出
10.3.1 需求概述
10.3.2 数据描述
10.3.3 设计思路分析
10.3.4 功能实现
10.4 案例二：网页域名分区统计
10.4.1 需求概述
10.4.2 数据描述
10.4.3 设计思路分析