伴随Hadoop的成长，Hadoop不再是一个简单的数据分布式存储平台和工具，已经成长为一个完整的生态圈。本书采用Hadoop 3.2.2版本，系统讲解Hadoop生态系统主流的大数据分析技术。本书配套示例源码、PPT课件、教学大纲与编程环境。
本书共分11章。内容包括Hadoop概述与大数据环境准备、Hadoop伪分布式集群搭建、HDFS分布式存储实战、MapReduce实战、ZooKeeper与高可用集群实战、Hive数据仓库实战、HBase数据库实战、Flume数据采集实战、Kafka实战、影评大数据分析项目实战、旅游酒店评价大数据分析项目实战。
本书可作为Hadoop大数据技术初学者的入门书，也可作为Hadoop大数据分析工程师的指导手册，还可作为高等院校或者高职高专大数据专业的教材或教学参考书。

目 录
第1章 Hadoop概述与大数据环境准备\t
1.1 大数据定义\t
1.2 Hadoop生态介绍\t
1.2.1 Hadoop简介\t
1.2.2 Hadoop版本简介\t
1.2.3 Hadoop生态系统和组件介绍\t
1.3 Hadoop 3新特性\t
1.4 虚拟机安装\t
1.5 安装Linux操作系统\t
1.6 SSH工具与使用\t
1.7 Linux统一设置\t
1.8 小结\t
第2章 Hadoop伪分布式集群搭建\t
2.1 安装独立运行的Hadoop\t
2.2 Hadoop伪分布式环境准备\t
2.3 Hadoop伪分布式安装\t
2.4 HDFS操作命令\t
2.5 Java项目访问HDFS\t
2.5.1 创建Maven项目\t
2.5.2 HDFS操作示例\t
2.6 winutils\t
2.7 快速MapReduce程序示例\t
2.8 小结\t
第3章 HDFS分布式存储实战\t
3.1 HDFS的体系结构\t
3.2 NameNode的工作\t
3.2.1 查看镜像文件\t
3.2.2 查看日志文件\t
3.2.3 日志文件和镜像文件的操作过程\t
3.3 SecondaryNameNode\t
3.4 DataNode\t
3.5 HDFS的命令\t
3.6 远程过程调用\t
3.7 小结\t
第4章 MapReduce实战\t
4.1 MapReduce的运算过程\t
4.2 WordCount示例\t
4.3 自定义Writable\t
4.4 Partitioner分区编程\t
4.5 自定义排序\t
4.6 Combiner编程\t
4.7 默认Mapper和默认Reducer\t
4.8 倒排索引\t
4.9 Shuffle\t
4.10 小结\t
第5章 ZooKeeper与高可用集群实战\t
5.1 ZooKeeper简介\t
5.1.1 Zxid\t
5.1.2 版本号\t
5.2 单一节点安装ZooKeeper\t
5.3 基本客户端命令\t
5.4 Java代码操作ZooKeeper\t
5.5 ZooKeeper集群安装\t
5.6 znode节点类型\t
5.7 观察节点\t
5.8 配置Hadoop高可用集群\t
5.9 用Java代码操作集群\t
5.10 小结\t
第6章 Hive数据仓库实战\t
6.1 Hive3的安装配置\t
6.2 Hive的命令\t
6.3 Hive内部表\t
6.4 Hive外部表\t
6.5 Hive表分区\t
6.5.1 分区技术细节\t
6.5.2 分区示例\t
6.6 查询示例汇总\t
6.7 Hive函数\t
6.8 Hive自定义函数\t
6.9 Hive视图\t
6.10 hiveserver2\t
6.11 使用JDBC连接hiveserver2\t
6.12 小结\t
第7章 HBase数据库实战\t
7.1 HBase的特点\t
7.2 HBase安装\t
7.2.1 HBase的单节点安装\t
7.2.2 HBase的伪分布式安装\t
7.2.3 Java客户端代码\t
7.3 HBase集群安装\t
7.4 HBase Shell操作\t
7.4.1 数据模型定义\t
7.4.2 数据基本操作\t
7.5 协处理器\t
7.6 Phoenix\t
7.7 小结\t
第8章 Flume数据采集实战\t
8.1 Flume的安装与配置\t
8.2 快速示例\t
8.3 在ZooKeeper中保存Flume的配置文件\t
8.4 Flume的更多Source\t
8.4.1 Avro Source\t
8.4.2 Thrift Source和Thrift Sink\t
8.4.3 Exec Source\t
8.4.4 Spool Source\t
8.4.5 HDFS Sinks\t
8.5 小结\t
第9章 Kafka实战\t
9.1 Kafka的特点\t
9.2 Kafka术语\t
9.3 Kafka安装与部署\t
9.3.1 单机部署\t
9.3.2 集群部署\t
9.4 小结\t
第10章 影评大数据分析项目实战\t
10.1 项目介绍\t
10.2 项目需求分析\t
10.3 项目详细实现\t
10.3.1 搭建项目环境\t
10.3.2 编写爬虫类\t
10.3.3 编写分词类\t
10.3.4 第一个job的Map阶段实现\t
10.3.5 第一个job的Reducer阶段实现\t
10.3.6 第二个job的Map阶段实现\t
10.3.7 第二个job的自定义排序类阶段的实现\t
10.3.8 第二个job的自定义分区阶段实现\t
10.3.9 第二个job的Reduce阶段实现\t
10.3.10 Run程序主类实现\t
10.3.11 编写词云类\t
10.3.12 效果测试\t
第11章 旅游酒店评价大数据分析项目实战\t
11.1 项目介绍\t
11.2 项目需求分析\t
11.2.1 数据集需求\t
11.2.2 功能需求\t
11.3 项目详细实现\t
11.3.1 数据集上传到HDFS\t
11.3.2 Hadoop数据清洗\t
11.3.3 构建Hive数据仓库表\t
11.3.4 Sqoop数据导入与导出\t
11.3.5 数据可视化开发

前 言国家提出要加快 5G 网络和数据中心等
新型基础设施建设（简称新基建）的进度。其中，信息
化新型基础设施包含云计算、大数据、人工智能、区块
链、5G 等内容。大数据是指具有海量（volume）、多
模态（variety）、变化速度快（velocity）、蕴含价
值高（value）和真实性（veracity）“5V”特征的数
据，使得传统的数据存储、管理、分析技术已经无法满
足大数据的处理要求。大数据给传统的数据处理和数据
分析带来巨大的挑战，已引起学术界和工业界的高度关
注。Hadoop正是在这种背景下产生的一个大数据开源平
台。许多大型互联网公司，如谷歌、阿里巴巴、百度、
京东等互联网公司都急需掌握Hadoop大数据技术的人才
，而目前人才市场上大数据技术相关人才由于种种原因
存在供不应求的状况，本书在这个背景下创作而成。本
书内容本书是一本关于Hadoop 3.2.2大数据平台搭建
和数据分析、生态体系主要组件的应用和开发方面的实
战书籍，涉及的知识面比较广，涵盖了当前整个Hadoop
生态系统主流的大数据开发技术。本书从实践操作与开
发讲起，在基本操作已经掌握以后，再回过头来讲解理
论知识。所以，本书是先实践再理论，方便读者快速掌
握Hadoop大数据分析技术。全书共分11章，第1章讲解
Hadoop框架简介及新版本特性，并详细介绍大数据环境
的准备工作，包括Linux操作系统的安装、SSH工具使用
和配置等；第2章讲解Hadoop伪分布式的安装和开发体
验，使读者熟悉Hadoop大数据开发两大核心组件，即
HDFS和MapReduce；第3~9章讲解Hadoop生态系统各框
架HDFS、MapReduce、输入/输出、Hadoop集群配置、
ZooKeeper、HBase、Hive、Flume数据采集系统、
Kafka等，并通过实际案例加深对各个框架的理解与应
用。第10~11章分别通过影评大数据分析项目实战和旅
游酒店评价大数据分析项目实战，使读者了解完整的大
数据项目开发过程，并巩固所学的知识，使之掌握的内
容更加系统、全面。本书目的通过本书的学习，读者可
以对照书中的步骤成功搭建属于自己的Hadoop大数据集
群，并掌握基于Hadoop的大数据分析与开发技术，最终
能够独立完成Hadoop大数据分析与开发项目。本书适合
的读者本书可作为Hadoop框架初学者的入门书以及大数
据分析人员的参考手册，也可作为高校开设大数据平台
搭建或大数据开发课程的参考教材。学习本书要求读者
有一定的Java编程基础并了解Linux系统的基础知识。
本书每一个章节的实践操作内容都有详细清晰的步骤讲
解，即使读者没有任何大数据基础，也可以对照书中的
步骤成功搭建属于自己的大数据集群，本书是一本真正
提高读者动手能力、以实操为主的入门书籍。通过本书
的学习，结合每章配套的源代码，读者能够迅速理解与
掌握Hadoop大数据相关技术框架，并可以熟练使用
Hadoop集成环境进行大数据项目的开发。配套源码、
PPT课件等资源下载本书配套源码、PPT课件、教学大纲
与编程环境，需要用微信扫描下边二维码获取，可按扫
描后的页面提示填写你的邮箱，把下载链接转发到邮箱
中下载。如果下载有问题或阅读中发现问题，请联系
booksaga@163.com，邮件主题写“Hadoop大数据分析
技术”。
作 者2022年9月

本书系统讲解Hadoop生态圈各组件的核心知识、操作方法和分析技术，并通过两个综合实战项目——影评大数据分析、旅游酒店评价大数据分析，来贯穿Hadoop大数据分析的完整流程。