本书是国家职业教育大数据技术专业教学资源库配套教材。
本书主要介绍Spark分布式计算框架的应用，重点是流式模块Spark Streaming在实际项目中的应用，并通过一个实战项目来辅助读者学习实时数据处理场景。全书共分为6章，主要内容包括绪论、Scala语言应用、Spark Streaming、Spark SQL、数据整合和Spark优化。
本书配有微课视频、授课用PPT、教学设计、课程标准、案例源码等丰富的数字化学习资源。与本书配套的数字课程“实时数据处理技术”在“智慧职教”平台（www.icve.com.cn）上线，学习者可以登录平台进行在线学习及资源下载，授课教师可以调用本课程构建符合自身教学特色的SPOC课程，详见“智慧职教”服务指南。教师也可发邮件至编辑邮箱1548103297@qq.com获取相关资源。
本书内容翔实、理实一体，既可作为高职高专院校大数据技术专业的数据处理课程教材，也可作为从事大数据相关工作的技术人员的入门参考书。

第1章 绪论
1.1 实时数据处理
1.1.1 大数据中的实时业务场景
1.1.2 大数据实时数据处理解决方案
1.1.3 大数据实时数据处理技术框架
1.2 Spark实时数据处理
1.2.1 Spark技术简介
1.2.2 Spark技术的发展历程
1.2.3 Spark技术模块
1.2.4 Spark技术流式处理模块Spark Streaming
1.3 本章小结
第2章 Scala语言应用
2.1 从一个项目开始
2.2 需求分析
2.3 Scala安装及使用
2.3.1 Scala语言简介
2.3.2 Scala的安装与环境配置
2.3.3 Scala开发工具的安装与配置
2.4 Scala语言基础
2.4.1 数据类型
2.4.2 常量与变量的定义
2.4.3 流程控制
2.5 Scala方法与函数
2.5.1 递归方法
2.5.2 有默认值方法
2.5.3 可变长参数方法
2.5.4 匿名函数
2.5.5 嵌套方法
2.5.6 偏应用表达式
2.5.7 高阶函数
2.5.8 Scala函数案例
2.6 Scala集合
2.6.1 数组
2.6.2 list
2.6.3 set
2.6.4 map
2.6.5 mple
2.6.6 Scala集合案例
2.7 本章小结
第3章 Spark Streaming
3.1 Spark Streaming初始化
3.1.1 Spark Streaming简介
3.1.2 Spark Streaming的特点
3.1.3 Spark Streaming读取数据原理
3.2 Spark Streaming处理数据案例
3.2.1 启动Linux Socket服务
3.2.2 生产数据
3.2.3 Spark Streaming读取Socket数据
3.2.4 注意事项
3.3 Spark Streaming算子简介
3.4 Transformations类算子
3.4.1 updateStateByKey算子案例
3.4.2 transform算子案例
3.4.3 reduceByKeyAndWindow算子案例
3.5 Outputoperator类算子
3.5.1 Spark Streaming监控目录数据案例
3.5.2 print算子案例
3.5.3 saVeAsTextFile算子案例
3.6 本章小结
第4章 Spark SQL
4.1 Spark SQL概述
4.1.1 Spark SQL演变过程
4.1.2 Spark SQL数据类型
4.2 Spark SQL数据源
4.2.1 JSON数据源及案例
4.2.2 DataSet数据源及案例
4.2.3 RDD数据源及案例
4.2.4 Parquet数据源及案例
4.2.5 MySQL数据源及案例
4.3 Spark on Hive西己置
4.3.1 Hive on Spark
4.3.2 Spark on Hive
4.3.3 安装和配置Hive
4.3.4 Spark on Hive配置
4.3.5 Spark Shell验证
4.3.6 Spark on Hive速度测试案例
4.3.7 Spark on Hive案例分析
4.4 本章小结
第5章 数据整合
5.1 Flume与Kafka的整合使用
5.1.1 Flume日志采集系统
5.1.2 Flume采集数据案例
5.1.3 Kafka分布式消息系统
5.1.4 Flume与Kama整合配置
5.2 Spark Streaming与Kafka整合
5.2.1 Spark与Kafka版本
5.2.2 Spark Streaming与Kafka整合
5.2.3 参数设置
5.2.4 管理消费者offset方式
5.3 项目实战
5.3.1 Flume配置文件
5.3.2 创建MySQL数据库表
5.3.3 编写业务核心代码
5.3.4 任务提交
5.3.5 查看结果
5.4 本章小结
第6章 Spark优化
6.1 资源调优
6.1.1 资源调优简介
6.1.2 资源调优方式
6.1.3 资源调优案例
6.2 增加并行度
6.2.1 增加并行度简介
6.2.2 增加并行度方式
6.2.3 增加并行度案例
6.3 代码调优
6.3.1 代码调优简介
6.3.2 代码调优方式
6.3.3 代码调优案例
6.4 数据倾斜的处理
6.4.1 数据倾斜简介
6.4.2 处理数据倾斜的方式
6.4.3 数据倾斜案例
6.5 本章小结
参考文献