本书以项目驱动的方式详细讲解大数据生态体系架构各方面的知识。主要涉及ETL的数据采集与清洗、离线数据仓库的构建和实时数据仓库的构建。
本书分为三个模块：模块一介绍大数据离线数据处理与分析，包含项目一和项目二，知识点覆盖HDFS、Hive、Sqoop、MapReduce、Spark Core和Flink DataSet；模块二介绍大数据实时数据处理与分析，包含项目三和项目四，知识点覆盖Kafka、Flume、Spark Streaming和Spark SQL；模块三介绍大数据处理与分析的扩展知识，包含项目五和项目六，项目五为基于大数据分析处理实现的推荐系统，项目六为大数据ETL数据采集的CDC技术。
本书可作为高等院校大数据与相关专业学生的教材，也可作为具有一定的Java编程基础的读者阅读，如平台架构师、开发人员和运维管理人员。

项目准备 搭建实验环境
任务一 安装Linux操作系统
任务二 配置Linux环境
任务三 部署Hadoop环境
任务四 部署Spark环境
任务五 部署Flink环境
任务六 安装MySQL数据库
任务七 安装Hive
任务八 安装ZooKeeper和Kafk
任务九 部署Storm环境
项目一 企业人力资源员工数据的离线分析
任务一 企业人力资源及员工数据的获取
[职业能力目标]
[任务描述与要求]
[知识储备]
一、关系型数据库MySQL
二、大数据ETL采集引擎Sqoop
三、HDFS分布式文件系统
[任务计划与决策]
一、企业人力资源原始数据观察
二、企业人力资源原始数据采集
[任务实施]
一、将企业人力资源员工的原始数据导入MySQL数据库
二、安装并使用Sqoop完成数据的采集
[任务检查与评价]
[任务小结]
[任务拓展]
任务二 清洗企业人力资源员工数据
[职业能力目标]
[任务描述与要求]
[知识储备]
一、大数据离线计算引擎MapReduce
二、大数据离线计算引擎Spark Core
三、大数据离线计算引擎Flink DataSet
[任务计划与决策]
[任务实施]
[任务检查与评价]
[任务小结]
[任务拓展]
任务三 企业人力资源员工数据的分析与处理
[职业能力目标]
[任务描述与要求]
[知识储备]
一、大数据分析引擎Hive
二、Hive的数据模型
[任务计划与决策]
[任务实施]
[任务检查与评价]
[任务小结]
[任务拓展]
项目二 电商平台商品销售数据的离线分析
项目三 网站用户访问实时Hot IP分析
项目四 实时分析用户信息访问数据
项目五 基于大数据平台的推荐系统
项目六 基于CDC（获取数据变更）的实时数据采集
参考文献