模块1 大数据入门
第1讲 大数据简介
1.1 什么是大数据
1.1.1 大数据的优势
1.1.2 挖掘各种大数据源
1.2 数据管理的历史——大数据的演化
1.3 大数据的结构化
1.4 大数据要素
1.4.1 数据量
1.4.2 速度
1.4.3 多样性
1.5 大数据在商务环境中的应用
1.6 大数据行业中的职业机会
1.6.1 职业机会
1.6.2 所需技能
1.6.3 大数据的未来
练习
备忘单
第2讲 大数据在商业上的应用
2.1 社交网络数据的重要性
2.2 金融欺诈和大数据
2.3 保险业的欺诈检测
2.4 在零售业中应用大数据
练习
备忘单
第3讲 处理大数据的技术
3.1 大数据的分布式和并行计算
3.1.1 并行计算技术
3.1.2 虚拟化及其对大数据的重要性
3.2 Hadoop简介
3.3 云计算和大数据
3.3.1 大数据计算的特性
3.3.2 云部署模型
3.3.3 云交付模型
3.3.4 大数据云
3.3.5 大数据云市场中的供应商
3.3.6 使用云服务所存在的问题
3.4 大数据内存计算技术
练习
备忘单
第4讲 了解Hadoop生态系统
4.1 Hadoop生态系统
4.2 用HDFS存储数据
4.2.1 HDFS架构
4.2.2 HDFS的一些特殊功能
4.3 利用Hadoop MapReduce处理数据
4.3.1 MapReduce是如何工作的
4.3.2 MapReduce的优点和缺点
4.3.3 利用Hadoop YARN管理资源和应用
4.4 利用HBase存储数据
4.5 使用Hive查询大型数据库
4.6 与Hadoop生态系统的交互
4.6.1 Pig和Pig Latin
4.6.2 Sqoop
4.6.3 Zookeeper
4.6.4 Flume
4.6.5 Oozie
练习
备忘单
第5讲 MapReduce基础
5.1 MapReduce的起源
5.2 MapReduce是如何工作的
5.3 MapReduce作业的优化技术
5.3.1 硬件/网络拓扑
5.3.2 同步
5.3.3 文件系统
5.4 MapReduce的应用
5.5 HBase在大数据处理中的角色
5.6 利用Hive挖掘大数据
练习
备忘单
模块2 管理大数据生态系统
第1讲 大数据技术基础
1.1 探索大数据栈
1.2 冗余物理基础设施层
1.2.1 物理冗余网络
1.2.2 管理硬件:存储和服务器
1.2.3 基础设施的操作
1.3 安全基础设施层
1.4 接口层以及与应用程序和互联网的双向反馈
1.5 可操作数据库层
1.6 组织数据服务层及工具
1.7 分析数据仓库层
1.8 分析层
1.9 大数据应用层
1.10 虚拟化和大数据
1.11 虚拟化方法
1.11.1 服务器虚拟化
1.11.2 应用程序虚拟化
1.11.3 网络虚拟化
1.11.4 处理器和内存虚拟化
1.11.5 数据和存储虚拟化
1.11.6 用管理程序进行虚拟化管理
1.11.7 抽象与虚拟化
1.11.8 实施虚拟化来处理大数据
练习
备忘单
第2讲 大数据管理系统——数据库和数据仓库
2.1 RDBMS和大数据环境
2.2 非关系型数据库
2.2.1 键值数据库
2.2.2 文档数据库
2.2.3 列式数据库
2.2.4 图数据库
2.2.5 空间数据库
2.3 混合持久化
2.4 将大数据与传统数据仓库相集成
2.4.1 优化数据仓库
2.4.2 大数据结构与数据仓库的区别
2.5 大数据分析和数据仓库
2.6 改变大数据时代的部署模式
2.6.1 设备模型
2.6.2 云模型
练习
备忘单
第3讲 分析与大数据
3.1 使用大数据以获取结果
3.1.1 基本分析
3.1.2 高级分析
3.1.3 可操作性分析
3.1.4 货币化分析
3.2 是什么构成了大数据
3.2.1 构成大数据的数据
3.2.2 大数据分析算法
3.2.3 大数据基础设施支持
3.3 探索非结构化数据
3.4 理解文本分析
3.4.1 分析和提取技术
3.4.2 理解提取的信息
3.4.3 分类法
3.4.4 将结果与结构化数据放在一起
3.5 建立新的模式和方法以支持大数据
3.5.1 大数据分析的特征
3.5.2 大数据分析的应用
3.5.3 大数据分析框架的特性
练习
备忘单
第4讲 整合数据、实时数据和实施大数据
4.1 大数据分析的各个阶段
4.1.1 探索阶段
4.1.2 编纂阶段
4.1.3 整合和合并阶段
4.2 大数据集成的基础
4.2.1 传统ETL
4.2.2 ELT——提取、加载和转换
4.2.3 优先处理大数据质量
4.2.4 数据性能分析工具
4.2.5 将Hadoop用作ETL
4.3 流数据和复杂的