邓建萍，贵州轻工职业技术学院

单元1 Hadoop安装与配置1任务1.1 安装Linux虚拟环境11 Linux系统介绍22开源协议介绍7任务1.2 使用Linux基础操作命令161 Linux文件和目录管理162 Linux用户和用户组管理193 Linux Shell简介20任务1.3 安装Java281 Java简介282 Java与Hadoop的关系34任务1.4 安装Hadoop单节点和集群371 Hadoop简介372 Hadoop系统架构41小结46习题46单元2 分布式文件系统HDFS47任务2.1 理解HDFS的读写过程471 HDFS文件系统简介472 HDFS设计原则493 HDFS核心概念514 HDFS的HA方案53任务2.2 使用Java操作HDFS581 HDFS简介592 HDFS读数据流程593 HDFS写数据流程61小结69习题69单元3 分布式编程框架MapReduce70任务3.1 讲解WordCount实例701 MapReduce概述702 MapReduce计算架构73任务3.2 分析MapReduce实例应用831 MapReduce的Map过程832 MapReduce的Reduce过程85小结91习题92单元4 分布式服务框架Zookeeper95任务4.1 安装与配置Zookeeper931 Zookeeper概述942 Zookeeper工作流963 Zookeeper leader选举100任务4.2 调用Zookeeper的Java客户端API1031 Zookeeper分布式协调服务原理1032 Zookeeper znode剖析1053解读分布式锁110小结118习题118单元5数据仓库Hive119任务5.1 安装与配置Hive1191 Hive基础知识1202 Hive的工作1233 Hive的数据类型1244 Hive的数据模型1255 Hive的架构解析1266 HiveQL127任务5.2 调用Hive的Java API1331 Hive函数与自定义函数1342 Hive常用模式设计137小结146习题146单元6 分布式数据库HBase148任务6.1 安装与配置HBase1481 HBase概述1492 HBase基本原则和架构1523 HBase数据模型1544 HBase HDFS目录分析155任务6.2 使用HBase Shell1591 HBase Shell常用命令1592 HBase架构详情1623 HBase文件存储与读写166任务6.3 调用HBase的Java API1751 HBase Schema设计规则1752 HBase API基本访问命令179小结185习题186单元7 流式数据处理框架Storm190任务7.1 安装与配置Storm1881 Storm概述与架构1882 Storm、Flink、Spark流式数据处理框架比较1923 Storm基本概念与组件1954 Storm的扩展197任务7.2 使用Java开发Storm2031深入剖析Storm Nimbus和Supervisor 2032 Storm Worker、Executor和Task深入分析2053 Storm的应用开发和调试过程介绍206小结217习题217参考文献218

大数据平台搭建与配置管理”课程是大数据技术与应用专业的必修核心课程。本书重点培养读者深入认识和使用Hadoop平台，学习并掌握Hadoop大数据平台的搭建与配置管理，并利用Hadoop知识处理和解决实际问题的能力。主要内容为Hadoop安装与配置、分布式文件系统HDFS、分布式编程框架MapReduce、分布式服务框架Zookeeper、数据仓库Hive、分布式数据库HBase、流式数据处理框架Storm。本书具有较强的实用性和可操作性，通俗易懂，操作步骤描述详尽，并配有微课视频。本书适合作为高等职业院校大数据技术与应用、软件技术、云计算技术与应用等专业大数据相关课程的教材，也可作为从事大数据相关工作人员的参考用书，还可供有Java编程基础的读者参考学习