1.立德树人，深刻领会二十大精神
2.附有习题，以及实践性较强的实训，巩固所学知识
3.侧重应用能力的培养，对学生起到一个引导作用
4.配备了PPT课件、源代码、习题答案、微课等丰富的教学资源

本书共11章，从Hadoop概述开始，介绍Hadoop的安装、配置与管理，并对Hadoop的生态体系架构进行介绍，包括HDFS技术、YARN技术、MapReduce技术、Hadoop I/O操作、海量数据库技术HBase、ZooKeeper技术、分布式数据仓库技术Hive，以及Hadoop与RDBMS数据迁移工具Sqoop，最后对大数据实时处理技术进行介绍，旨在让读者了解当前其他的大数据处理技术。本书还包括丰富的实践操作，实现理论与实践的有机结合。
本书除介绍Hadoop的理论外，还介绍如何使用各组件，但因为只介绍基础的使用方法，没有涉及底层的高级内容，所以本书只起引导作用。本书旨在让读者了解Hadoop并能够使用Hadoop的基本功能，并不是学习Hadoop的完整手册。
本书适合作为高等院校和职业院校大数据、物联网、云计算及其他计算机相关专业的教材，也可供云计算与大数据技术相关专业的培训班使用。

目录
第  1章
Hadoop概述  1
1.1  Hadoop简介  1
1.2  Hadoop体系架构  3
1.2.1  Hadoop基础架构  3
1.2.2  Hadoop生态系统  3
1.3  Hadoop与分布式开发  5
1.4  Hadoop行业应用案例分析  6
1.4.1  Hadoop在门户网站中的应用  6
1.4.2  Hadoop在搜索引擎中的应用  7
1.4.3  Hadoop在电商平台中的应用  7
习题  8
第  2章
Hadoop的安装、配置与
管理  9
2.1  实验准备  9
2.2  配置一个单节点环境  10
2.2.1  运行一个虚拟环境CentOS  10
2.2.2  配置网络  11
2.2.3  创建新的用户组和用户  15
2.2.4  上传文件到CentOS并配置
Java和Hadoop环境  16
2.2.5  修改Hadoop 3.2配置文件  19
2.2.6  修改CentOS主机名  22
2.2.7  绑定hostname与IP地址  22
2.2.8  关闭防火墙  23
2.3  节点之间的免密码登录  23
2.3.1  什么是SSH  23
2.3.2  复制虚拟机节点  24
2.3.3  配置SSH免密码登录  25
2.4  Hadoop的启动和测试  27
2.4.1  格式化文件系统  27
2.4.2  启动HDFS  28
2.4.3  启动YARN  29
2.4.4  启动JobHistory Server  29
2.4.5  集群验证  30
2.4.6  需要了解的默认配置  31
2.5  动态管理节点  32
2.5.1  动态增加和删除DataNode  32
2.5.2  动态修改TaskTracker  33
习题  34
第3章
HDFS技术  36
3.1  HDFS的特点  36
3.2  HDFS架构  37
3.2.1  数据块  38
3.2.2  NameNode与DataNode  39
3.2.3  辅助NameNode  40
3.2.4  安全模式与负载均衡  42
3.2.5  垃圾回收  43
3.3  HDFS Shell命令  44
3.3.1  文件处理命令  44
3.3.2  交互式命令  49
3.4  HDFS中Java API的使用  53
3.4.1  上传文件  54
3.4.2  新建文件  55
3.4.3  查看文件详细信息  56
3.4.4  下载文件  57
3.5  RPC通信  58
3.5.1  反射机制  59
3.5.2  代理模式与动态代理  62
3.5.3  Hadoop RPC机制与源码
分析  64
习题  68
第4章
YARN技术  69
4.1  YARN概述  69
4.1.1  YARN产生背景——MRv1的
局限性  69
4.1.2  YARN的通信协议  70
4.2  YARN基本框架  71
4.3  YARN资源调度器  73
4.4  YARN的工作流程  74
4.5  YARN的实战案例  76
习题  79
第5章
MapReduce技术  80
5.1  什么是MapReduce  80
5.2  MapReduce编程模型  81
5.2.1  MapReduce模型简介  81
5.2.2  MapReduce模型分类  82
5.2.3  MapReduce编程实例
——WordCount  83
5.3  MapReduce数据流  84
5.3.1  分片并格式化原始数据
（InputFormat）  84
5.3.2  Map过程  86
5.3.3  Shuffle过程  86
5.3.4  Reduce过程  91
5.3.5  按指定格式写入文件
（OutputFormat）  92
5.4  MapReduce任务流程  92
5.5  MapReduce的Streaming和
Pipe  93
5.5.1  Hadoop Streaming  93
5.5.2  Hadoop Pipe  95
5.6  MapReduce性能调优  96
5.7  MapReduce实战  98
5.7.1  快速入门  98
5.7.2  简单使用Eclipse插件  110
习题  118
第6章
Hadoop  I/O操作  119
6.1  HDFS数据完整性  119
6.1.1  校验和  119
6.1.2  运行后台进程来检测数据块  120
6.2  基于文件的数据结构  121
6.2.1  SequenceFile的存储  121
6.2.2  MapFile的存储  125
6.2.3  SequenceFile转换为
MapFile  128
6.3  压缩  129
6.3.1  认识压缩  129
6.3.2  Codec  130
6.3.3  本地库  132
6.3.4  如何选择压缩格式  133
6.4  序列化  134
6.4.1  认识序列化  134
6.4.2  Writable接口  135
6.4.3  WritableComparable接口  136
6.4.4  Hadoop Writable基本类型  137
6.4.5  自定义Writable类型  142
习题  144
第7章
海量数据库技术HBase  145
7.1  初识HBase  145
7.2  HBase表视图  146
7.2.1  概念视图  146
7.2.2  物理视图  147
7.3  HBase物理存储模型  148
7.4  安装HBase  154
7.4.1  HBase单节点安装  154
7.4.2  HBase伪分布式安装  157
7.4.3  HBase完全分布式安装  158
7.5  HBase Shell  160
7.5.1  HBase Shell的命令  160
7.5.2  general操作  162
7.5.3  DDL操作  163
7.5.4  DML操作  165
7.6  HBase操作实践  167
习题  170
第8章
ZooKeeper技术  171
8.1  分布式协调技术及其实现者  171
8.2  ZooKeeper基本架构  172
8.3  ZooKeeper数据模型  173
8.3.1  Znode  173
8.3.2  ZooKeeper中的时间  174
8.3.3  Znode属性  175
8.3.4  watch触发器  176
8.4  ZooKeeper集群安装  177
8.5  ZooKeeper的主要Shell
操作  179
8.6  典型应用场景  180
8.6.1  数据发布与订阅  180
8.6.2  统一命名服务  182
8.6.3  分布式通知/协调  182
习题  183
第9章
分布式数据仓库技术Hive  184
9.1  Hive出现的原因  184
9.2  Hive服务的组成  185
9.3  Hive的安装  186
9.3.1  Hive基本安装  186
9.3.2  MySQL的安装  187
9.3.3  Hive的配置  188
9.4  Hive Shell  191
9.5  HQL的概念和使用  192
9.5.1  认识HQL  192
9.5.2  Hive管理数据方式  192
9.5.3  Hive表的DDL操作  194
9.5.4  Hive表的DML操作  203
9.6  使用Hive实现聊天数据分析
案例  207
习题  210
第  10章
Hadoop与RDBMS数据迁移
工具Sqoop  211
10.1  Sqoop简介及基本安装  211
10.2  Sqoop的配置  212
10.3  Sqoop的相关功能  213
10.3.1  Sqoop的工具命令  213
10.3.2  Sqoop与MySQL  214
10.3.3  sqoop-import操作  215
10.3.4  sqoop-import-all-tables
操作  220
10.3.5  sqoop-export操作  222
10.3.6  sqoop-list-databases和
sqoop-list-tables操作  224
10.4  Hive、Pig和Sqoop三者之间
的关系  224
10.5  基于Sqoop的MySQL和Hive
之间的数据迁移实操案例  225
习题  228
第  11章
大数据实时处理技术  229
11.1  Flink  229
11.1.1  Flink架构  230
11.1.2  Flink部署  231
11.1.3  Flink的运行架构  235
11.1.4  Flink流处理API  238
11.2  Spark  239
11.2.1  Apache Spark架构  239
11.2.2  Apache Spark的扩展
功能  241
11.3  Flink与Spark异同  243
习题  244