本书教学设计遵循教学规律，对真实项目进行了科学拆分与提炼。主要内容分为Hadoop大数据技术基础与Hadoop 大数据分析案例两部分，前者包括大数据的有关概念、Hadoop 概述、Hadoop集群的部署与管理、HDFS、MapReduce编程以及Hadoop生态的其他常用组件ZooKeeper、HBase 、Hive 、Sqoop 、Flume 、Storm 、Kafka 的工作原理、安装部署和使用方法，后者通过“基于云虚拟实训平台的学情分析系统”项目完整展示了大数据分析的过程。全书遵循“理论够用、实用，实践”的原则选择内容，编排合理，表述深入浅出，所有操作命令全部按序列出，并配有解释和运行截图，指导性、实用性强，能使读者快速、轻松地掌握Hadoop大数据平台运维和分析的基本技术。本书适合作为高等职业院校电子信息大类各专业学习Hadoop大数据技术的教材，也可作为培训学校的培训教材，还可作为大数据爱好者的自学用书。

胡大威：1990年7月参加工作，1996年到武汉职业技术学院计算机学院任教至今，2012年晋升为教授。主持完成了2项省级课题和1项中国电子教育学会课题，2项省级课题在研；公开发表独撰学术论文26篇，其中6篇在中文核心期刊上发表，9篇论文获得中国职业技术教育学会和中国高等职业技术教育研究会很好论文奖；主编了包括1本普通高等教育“十一五”重量规划教材（高职高专教育）在内的20本教材，总字数180万字。湖北省级精品课程负责人、湖北省品牌专业负责人。校学术委员会委员。指导学生参加2017年全国职业院校技能大赛高职组“大数据技术与应用”赛项获得一等奖，荣获“很好指导老师奖”。指导学生参加“蓝桥杯”全国软件专业人才设计与创业大赛多次获得总决赛一、二、三等奖，指导学生参加第七届全国信息技术应用水平大赛ITAT全国总决赛获全国特等奖。孙琳 ：不错工程师，CCF会员。双师型教师，省级教学团队“软件技术”专业教学团队主要成员，一直在教学科研一线工作。工作以来，积极参与科研与教研活动，主持省市级教科研课题5项，其中CCF职业教育科研重点课题1项；编写教材十余本，其中主编教材3本，副主编教材7本；以作者在各级刊物上公开发布论文8篇篇；指导学生参加蓝桥杯全国软件设计大赛获得了全国总决赛二、三等奖。？

单元 1  大数据概述 111  大数据的产生 1111  大数据产生的原因 1112  大数据的发展历程 212  大数据的概念 3121  大数据的定义 3122  大数据的特征 3123  大数据的构成 4124  大数据的意义 413  大数据的基本处理流程 514  大数据技术 6141  大数据的技术层面 6142  大数据的计算模式 7143  大数据的技术路线 7144  大数据技术的应用 715  大数据与云计算、物联网的关系 8151  云计算 8152  物联网 9153  大数据与云计算、物联网的关系 10 习题 10 单元 2  Hadoop概述1121  Hadoop简介 11211  Hadoop的起源及发展历史 11212  Hadoop的设计思想和特性 13213  Hadoop的体系结构 13214  Hadoop的生态系统 14215  Hadoop的发行版本 16216  Apache Hadoop的下载 1722  Hadoop系列实验前的准备工作 18221  计算机软硬件基本配置要求 18222  大数据实验软件包介绍 18223  检查实验机是否支持虚拟化 20224  检查在BIOS中是否已打开VT-x 功能 21习题 22单元 3  VＭware和CentOS的安装2３ 31  安装VMware Workstation 23311  VMware虚拟机简介 23312  安装VMware虚拟机 2432  创建虚拟机Master 2733  安装CentOS 3234  克隆虚拟机Slave3435  上传Hadoop实验软件包到Linux 系统中 36 36  常用的Linux操作系统命令和文本编辑器vi 39 361  Linux操作系统常用命令 39362  文本编辑器vi 41习题 43单元 4  Hadoop集群的部署与管理44 41  Hadoop的运行模式 44411  计算机集群 44412  Hadoop的运行模式 4642  配置Linux系统48421  说明 48422  配置时钟同步 49423  配置主机名 50424  配置网络环境 51425  关闭防火墙 55426  配置 hosts 列表 56427  安装JDK 58428  配置免密钥登录 6043  配置Hadoop 63431  解压Hadoop安装包 64432  在Master节点修改Hadoop配置文件 64 433  在Master节点上配置Hadoop的系统环境变量 71 434  将已经配置好的Hadoop复制到其他节点上 71 435  创建数据目录 7144  启动 Hadoop 集群 71441  格式化文件系统 71442  启动Hadoop集群 7245  测试Hadoop集群 7346  监控Hadoop集群 74461  监控HDFS 74462  监控Yarn 7747  停止Hadoop集群 7948  动态管理节点 79481  增加节点 80482  删除节点 8449  Hadoop的命令 86习题   87单元 5  Hadoop分布式文件系统 HDFS88 51  HDFS概述 88511  HDFS简介 88512  HDFS的体系结构 89513  HDFS的概念 90514  HDFS的存储原理 93515  HDFS文件的读写过程 94516  HDFS高可用性 9552  用命令方式实现HDFS常用操作96521  HDFS的基本命令 96522  HDFS文件系统的操作 10253  安装与配置Eclipse集成开发环境 104 531  Eclipse开发环境介绍104532  Eclipse的安装和配置10554  编程实现HDFS常用操作112541  HDFS Java API 简介 112542  HDFS Java API 的一般用法 113543  HDFS Java API 的编程实践 113习题 116单元 6  MapReduce11861  MapReduce概述 118611  MapReduce的设计思想119612  MapReduce的体系结构119613  MapReduce的工作过程120614  MapReduce的工作过程示例—— 词频统计 123 62  YARN 概述126621  YARN 的设计思想 126622  YARN 的体系结构 126623  YARN 的工作流程 12863  在集群中运行MapReduce任务 129631  Hadoop官方示例包中的测试程序 129 632  提交MapReduce任务给集群运行129 64  在Eclipse中配置MapReduce环境 132 65  编写MapReduce词频统计程序 134651  MapReduce编程步骤134652  编写MapReduce词频统计程序134653  打包提交代码运行 136习题 137单元 7  分布式协调服务器ZooKeeper14071  ZooKeeper概述 140711  ZooKeeper简介140712  ZooKeeper的体系结构141713  ZooKeeper的数据模型143 714  ZooKeeper的工作原理144 72  ZooKeeper集群安装部署 145 721  在Master节点上安装ZooKeeper 145 722  配置ZooKeeper属性文件146 723  将Master节点上的ZooKeeper 安装文件复制到Slave节点和Slave2节点上 147 724  启动 ZooKeeper 集群147 725  测试ZooKeeper集群148 73  ZooKeeper的简单操作 149 731  使用zkServersh 脚本进行的操作 149 732  ZooKeeper的常用Shell命令 151 习题 151 单元 8  分布式数据库HBase15281  HBase概述 152 811  HBase简介 152 812  HBase的数据模型 153 813  HBase的物理存储 156 814  HBase的体系结构 157 815  HBase的工作原理 159 82  HBase集群的安装部署 160 821  在Master节点上安装HBase160 822  在Master节点上配置HBase161 823  将HBase安装文件复制到Slave 和Slave2节点上 162 824  启动HBase 163 825  验证HBase 163 826  停止HBase 164 83  常用的HBase Shell命令164 习题   170 单元 9  数据仓库Hive17191  Hive概述 171 911  数据仓库简介 171 912  Hive简介172 913  Hive的体系结构173 914  Hive的工作原理174 915  Hive的数据类型与存储格式174 916  Hive的数据模型176 92  Hive的安装部署 176 921  安装Hive 177 922  安装配置 MySQL 177 923  配置Hive182 924  启动Hive安装183 93  Hive Shell操作 183 94  Hive数据导入的实例 186 习题   190 单元 10  Sqoop的安装和使用191101  Sqoop概述 191 1011 Sqoop简介 191 1012  Sqoop的工作原理 192 102  Sqoop的安装、配置和运行 194 1021  安装Sqoop 194 1022  配置MySQL连接器 195 1023  配置环境变量 195 1024  启动并验证 Sqoop 196 103  Sqoop的应用 198 1031  从MySQL数据库导入数据到HDFS中 198 1032  从Hive或HDFS中导出数据到MySQL数据库 202 1033  脚本打包 203 习题 204 单元 11  Flume205111   Flume概述 205 1111   Flume简介 205 1112   Flume的工作原理 206 112   Flume的安装配置 210 1121   下载安装包并解压 210 1122   配置环境变量 211 1123   配置flume-envsh 文件 2111124   验证flume 211113   Flume的常用操作命令 212114   Flume的应用 2131141   Flume的配置和运行 2131142   Flume的简单实例 215习题 216单元 12  流计算框架Storm217121  Storm概述 2171211  Storm简介 2171212  Storm的工作原理 2181213  Storm的数据模型 220122  Storm集群的搭建 2211221  在Master节点上安装Storm 2211222  将Storm安装文件复制到Slave、Slave2、Slave3节点 222 1223  启动Storm集群 2231224  测试Storm集群 223123  向Storm集群提交任务 224习题 225单元 13  Kafka226131  Kafka概述 2261311  Kafka简介2261312  Kafka的体系结构2271313  Kafka的工作原理2281314  Kafka使用场景229132  安装配置和使用Kafka 2291321  安装Kafka2291322  配置Kafka2301323  启动并使用Kafka230习题 233单元 14  基于云虚拟实训平台的学情分析系统234141  项目简介 2341411  唯众云虚拟实训平台介绍 2351412  学情分析系统需求分析 2351413  学情分析系统数据库设计 240142  获取云虚拟平台日志内容 2431421  使用爬虫获取数据 2431422  将抓取的数据上传到HDFS 2531423  使用MapReduce对数据进行清洗256 143  创建封装数据的javaBean 2581431  LoginLogBeanjava （登录日志） 258 1432  OperationLogBeanjava （操作日志信息） 260 144  数据清洗 2641441  数据标记与封装（LoginLogParsejava） 264 1442  数据标记与封装（OperationLogParsejava）265 1443  数据清洗与输出——登录日志（LoginLogProcessjava） 265 1444  数据清洗与输出——操作日志（OperationLogProcessjava） 267 145  对结果进行分析及可视化 2681451  ECharts介绍 2681452  对清洗后的数据分析 2691453  使用ECharts展示 273参考文献 308