1.结合大数据一线企业浪潮集团在数据采集行业的行业经验与案例总结。做到了真正的产教融合。
2.以项目为模块组织教材内容，打破了原有教材体系的章节框架局限。采用明确项目任务、制定项目计划、实施计划、检查与评价的形式，改变了传统的授课模式与内容。
3.深度契合高等职业学校大数据技术与应用近期新专业教学标准。

本书按照大数据分析流程，以电商产品数据为例，由浅入深地讲解大数据分析的核心开发技术，以及大数据分析工具及其组件的作用和使用方法。本书内容系统、全面，可帮助读者快速掌握大数据分析技术。本书介绍了大数据分析的概念、应用场景、分析指标、分析工具、分析组件、分布式存储、分布式处理、数据离线分析、数据实时分析、数据挖掘，以及数据迁移等知识，并通过实际的操作案例，详细、直观地介绍了大数据分析的实现过程。
本书可作为高等职业院校大数据技术等专业的教材，也可作为大数据分析技术人员的参考书。

项目1
初识电商产品数据的处理与
分析  1
项目导言  1
项目导图  1
知识目标  1
技能目标  2
素养目标  2
任务1-1  电商产品数据背景及数据
分析概述  2
任务描述  2
素质拓展  2
任务技能  2
技能点1  电商产品数据背景  2
技能点2  大数据分析概念  4
技能点3  大数据分析应用场景  5
技能点4  大数据分析指标  9
任务1-2  电商产品数据处理与分析
项目准备  12
任务描述  12
素质拓展  12
任务技能  12
技能点1  大数据分析工具简介  12
技能点2  大数据分析组件  15
技能点3  大数据分析流程  19
技能点4  大数据分析企业级应用  20
任务实施  22
项目小结  26
课后习题  26
自我评价  27
项目2
电商产品数据分布式存储  28
项目导言  28
项目导图  28
知识目标  28
技能目标  29
素养目标  29
任务2-1  使用HDFS Shell管理
电商产品数据  29
任务描述  29
素质拓展  29
任务技能  29
技能点1  什么是HDFS  29
技能点2  HDFS存储架构  30
技能点3  HDFS文件存取机制  32
技能点4  HDFS Shell基础命令  36
技能点5  HDFS Shell管理命令  38
任务实施  40
任务2-2  使用HDFS库管理电商
产品数据  44
任务描述  44
素质拓展  44
任务技能  44
技能点1  HDFS库简介  44
技能点2  HDFS库方法  44
任务实施  48
项目小结  51
课后习题  51
自我评价  52
项目3
电商产品数据分布式处理  53
项目导言  53
项目导图  53
知识目标  53
技能目标  53
素养目标  54
任务3-1  使用正则表达式匹配电商
产品数据  54
任务描述  54
素质拓展  54
任务技能  54
技能点1  MapReduce简介  54
技能点2  YARN简介  56
技能点3  正则表达式  59
任务实施  61
任务3-2  使用Hadoop Streaming
处理电商产品数据  64
任务描述  64
素质拓展  64
任务技能  64
技能点1  Hadoop Streaming简介  64
技能点2  Hadoop Streaming的使用
方法  64
任务实施  65
项目小结  71
课后习题  71
自我评价  72
项目4
电商产品数据离线分析  73
项目导言  73
项目导图  73
知识目标  73
技能目标  74
素养目标  74
任务4-1  使用Hive创建电商产品
数据库  74
任务描述  74
素质拓展  74
任务技能  74
技能点1  Hive数据库操作  74
技能点2  Hive表操作  76
技能点3  Hive数据操作  78
任务实施  80
任务4-2  使用Hive对电商产品数据
进行统计  84
任务描述  84
素质拓展  84
任务技能  84
技能点1  算术运算  84
技能点2  数据查询  85
任务实施  88
任务4-3  使用Spark创建基于电商
产品数据的分布式数据
容器  95
任务描述  95
素质拓展  95
任务技能  95
技能点1  Spark SQL简介  95
技能点2  DataFrame简介  97
技能点3  DataFrame创建  98
任务实施  102
任务4-4  使用Spark SQL完成电商
产品数据分析  103
任务描述  103
素质拓展  103
任务技能  104
技能点1  数据查看  104
技能点2  数据过滤  105
技能点3  数据处理  105
技能点4  数据存储  107
任务实施  108
项目小结  111
课后习题  111
自我评价  112
项目5
电商产品数据实时分析  113
项目导言  113
项目导图  113
知识目标  113
技能目标  113
素养目标  114
任务5-1  创建数据流  114
任务描述  114
素质拓展  114
任务技能  114
技能点1  流式计算简介  114
技能点2  Spark Streaming简介  116
技能点3  DStream简介  117
技能点4  DStream的创建  118
任务实施  120
任务5-2  使用Spark Streaming
对电商产品数据进行实时
数据分析  122
任务描述  122
素质拓展  122
任务技能  122
技能点1  DStream转换操作  122
技能点2  DStream窗口操作  124
技能点3  DStream输出操作  125
技能点4  Spark Streaming启动与
停止  126
任务实施  127
项目小结  134
课后习题  134
自我评价  135
项目6
电商产品数据挖掘  136
项目导言  136
项目导图  136
知识目标  136
技能目标  137
素养目标  137
任务6-1  处理电商产品数据  137
任务描述  137
素质拓展  137
任务技能  137
技能点1  Spark MLlib概述  137
技能点2  Spark MLlib数据类型  138
技能点3  特征提取与数据处理  140
任务实施  144
任务6-2  使用Spark MLlib对电商
产品定价  151
任务描述  151
素质拓展  152
任务技能  152
技能点1  分类算法  152
技能点2  回归算法  154
技能点3  推荐算法  156
技能点4  算法评估  157
任务实施  159
项目小结  162
课后习题  162
自我评价  163
项目7
电商产品数据迁移  164
项目导言  164
项目导图  164
知识目标  164
技能目标  164
素养目标  165
任务7-1  根据电商产品数据统计结果
创建数据表并查看  165
任务描述  165
素质拓展  165
任务技能  165
技能点1  Sqoop架构  165
技能点2  Sqoop连接器  167
技能点3  Sqoop配置数据库密码
方式  167
技能点4  列出所有数据库  168
技能点5  列出数据库中的所有表  169
任务实施  169
任务7-2  使用Sqoop将Hive中
电商产品数据统计结果
导出  172
任务描述  172
素质拓展  172
任务技能  173
技能点1  Sqoop数据导入与
导出  173
技能点2  其他常用命令  176
任务实施  178
项目小结  183
课后习题  183
自我评价  184