本书为“十三五”职业教育国家规划教材，也是云计算技术应用专业校企合作教材。
本书基于“实际任务导向型课程模式”进行构建，以“就业岗位推荐”系统为项目原型，以项目导向、任务驱动为主线，遵循大数据分析的流程，基于Python语言和Hadoop大数据平台，完成Hadoop平台搭建、就业岗位网络数据及日志数据采集与存储、就业岗位数据预处理、就业岗位推荐和就业岗位数据分析与可视化等完整的大数据应用案例，以培养能力为主旨，加强学生的基本实践能力与操作技能训练，体现职业教育人才培养中的“工匠精神”要求。
本书可作为高等职业院校云计算技术应用、大数据技术、软件技术和智能交通等专业的大数据分析等相关课程的教材，也可作为从事云计算应用、大数据分析的“数据分析师、数据架构师”岗位人员的工作参考和培训用书。

项目1 认识大数据并完成环境搭建
学习目标
项目描述
任务1.1 认识大数据并完成CentOS操作系统安装
任务描述
任务目标
知识准备
任务实施
任务1.2 Hadoop环境搭建
任务描述
任务目标
知识准备
任务实施
任务1.3 Spark环境搭建
任务描述
任务目标
知识准备
任务实施
项目小结
课后习题
项目2 就业岗位数据采集与存储
学习目标
项目描述
任务2.1 认识数据采集技术并搭建Scrapy框架
任务描述
任务目标
知识准备
任务实施
任务2.2 使用网络爬虫采集招聘岗位数据
任务描述
任务目标
知识准备
任务实施
任务2.3 上传采集数据到HDFS
任务描述
任务目标
知识准备
任务实施
项目小结
课后习题
项目3 基于Flume的日志数据采集实践
学习目标
项目描述
任务3.1 Flume的安装和配置
任务描述
任务目标
知识准备
任务实施
任务3.2 Flume采集数据上传到集群
任务描述
任务目标
知识准备
任务实施
项目小结
课后习题
项目4 使用MapReduce进行数据预处理与数据分析
学习目标
项目描述
任务4.1 使用MapReduce清洗与规格化数据
任务描述
任务目标
知识准备
任务实施
任务4.2 使用MapReduce进行数据处理与分析
任务描述
任务目标
知识准备
任务实施
项目小结
课后习题
项目5 使用Spark进行数据分析
学习目标
项目描述
任务5.1 使用Spark进行就业岗位推荐
任务描述
任务目标
知识准备
任务实施
任务5.2 通过协同过滤实现岗位聚类
任务描述
任务目标
知识准备
任务实施
项目小结
课后习题
项目6 就业岗位数据可视化
学习目标
项目描述
任务6.1 使用ECharts进行数据可视化
任务描述
任务目标
知识准备
任务实施
任务6.2 使用Flask、ECharts进行数据可视化
任务描述
任务目标
知识准备
任务实施
项目小结
课后习题
参考文献