本书从Hadoop的原理和使用出发，在重点介绍Hadoop生态系统的重要组件HDFS、MapReduce、YARN、Hive和Spark的同时，注重大数据分析能力的全面提高。
本书共分13章，主要内容包括Hadoop简介、HDFS文件系统、YARN资源管理、MapReduce计算框架、Hive简介、Hive数据定义、Hive数据操作、Hive数据查询、Spark简介、Spark大数据处理、Spark机器学习流程、Spark有监督学习模型和Spark无监督学习模型。
本书内容丰富、体系新颖、结构合理、文字精练，适合作为普通高等院校信息类专业Hadoop大数据分析课程的教材，也可以作为数据科学行业相关从业人员的自学教材。

高永彬：博士、讲师，就职于上海工程技术大学，博士毕业于韩国全北国立大学，在模式识别、机器学习领域积累了大量的研究与实战经验。特别地，在基于深度学习技术的人脸识别以及车型检测技术进行了深入地研究，发表了近30篇期刊/会议论文，取得了丰厚的研究成果，发表在包括Information Sciences, Pattern Recognition Letters等高水平期刊中，其中SCI收录5篇，EI收录4篇。钱亮宏，男，毕业于上海交通大学电子信息与电气工程学院，1989年8月出生，拥有10年R语言使用经验，一直奋战在数据分析与挖掘领域的线，作为金融和互联网行业资深数据挖掘专家。方志军，男，教授，现任上海工程技术大学电子电气工程学院院长，1971年9月出生，主要从事人工智能、机器视觉、大数据分析等方面的研究，主讲课程包括数字图像处理、机器视觉、计算机导论、大数据导论和程序设计等。

部分 Hadoop核心基础章 Hadoop简介 21.1 Hadoop产生背景 21.2 Hadoop简要历史 31.3 Hadoop生态系统组件 31.4 Hadoop版本和商用支持 51.5 Hadoop的基础环境配置 61.6 Hadoop的安装 71.7 Hadoop的配置 111.8 Hadoop的运行 14小结 19习题 19第2章 HDFS文件系统 202.1 HDFS简介 202.2 HDFS架构 202.3 HDFS文件块 212.4 HDFS常用操作 22小结 24习题 24第3章 YARN资源管理 253.1 YARN架构 253.2 YARN调度策略 263.3 YARN常用操作 28小结 30习题 31第4章 MapReduce计算框架 324.1 MapReduce原理 324.2 MapReduce作业数据流 334.3 Hadoop流处理 354.4 MapReduce程序实现词频 统计 354.5 MapReduce程序的Reducer 数量 404.6 MapReduce程序的Combiner 414.7 MapReduce程序实现数据 连接 43小结 49习题 49第2部分 Hive数据仓库第5章 Hive简介 525.1 Hive概述 525.2 Hive的安装 535.3 Hive的运行 56小结 59习题 59第6章 Hive数据定义 606.1 数据库操作 606.2 数据表基本操作 626.3 存储格式和行格式 656.4 数据类型 676.5 外部表 706.6 分区表 72小结 74习题 74第7章 Hive数据操作 757.1 数据导入 757.2 数据插入 787.3 数据导出 82小结 84习题 84第8章 Hive数据查询 858.1 基本查询 858.2 数据聚合 878.3 数据连接 90小结 92习题 93第3部分 Spark数据分析第9章 Spark简介 969.1 Spark概述 969.2 Spark原理 979.3 Spark的安装 989.4 Spark运行方式 999.5 Spark运行位置 1019.6 Spark运行参数 104小结 104习题 1040章 Spark大数据处理 10510.1 数据框的创建 10510.2 数据框的选择 10710.3 数据框的运算和聚合 11010.4 数据框的增加、删除 和修改 11410.5 数据框的连接 11610.6 数据框的变形 119小结 120习题 1201章 Spark机器学习流程 12111.1 数据探索 12211.2 数据划分 12311.3 数据填充 12411.4 类别变量处理 12511.5 特征选择 12811.6 建模与调优 13111.7 测试与评估 133小结 135习题 1352章 Spark有监督学习模型 13612.1 线性回归模型 14012.2 逻辑回归模型 14212.3 决策树模型 14512.4 随机森林模型 15212.5 神经网络 15812.6 协同过滤 163小结 166习题 1663章 Spark无监督学习模型 16713.1 k均值聚类模型 16813.2 主成分分析模型 17213.3 关联分析模型 173小结 176习题 176