本书系统介绍了大数据基础知识和相关技术，全书分为大数据概述篇、大数据存储与管理篇、大数据采集与预处理篇、大数据分析与挖掘篇、大数据平台Hadoop实践与案例分析篇。全书共15章，主要内容包括大数据基本概念、大数据存储与管理概念及技术、大数据采集及预处理技术、大数据计算模式、大数据分布式并行处理框架Hadoop、大数据分布式文件系统HDFS、大数据分布式数据库系统HBASE、大数据Hadoop平台操作实践及具体大数据预测应用案例分析。

宋旭东，男，博士，大连交通大学软件学院教授，计算机科学与技术、软件工程专业硕士生导师，美国伍斯特理工学院国家公派访问学者，辽宁省高校很好青年骨干教师，教育部学位与研究生教育评估评审专家，教育部科研基金和科技奖励评审专家。主要从事：大数据、人工智能、数据挖掘与决策支持系统等方面的研究工作，具有深厚的理论基础及较为丰富的科研经验。发表科研学术论文80多篇，出版教材9部，主持及参加过30多项科研项目。

目录
篇大数据基础
章大数据基本概念
1.1大数据时代
1.1.1大数据有多大
1.1.2大数据的产生
1.1.3大数据的发展历程
1.1.4大数据对科学研究的影响
1.1.5大数据对思维模式的影响
1.2大数据的定义与特征
1.2.1大数据的定义
1.2.2大数据的数据特征
1.3大数据的应用
1.3.1大数据在科研领域的应用
1.3.2大数据在交通领域的应用
1.3.3大数据在通信领域的应用
1.3.4大数据在医疗领域的应用
1.3.5大数据在金融领域的应用
1.3.6大数据在制造领域的应用
1.3.7大数据在体育领域的应用
1.3.8大数据在个性化生活领域的应用
1.3.9大数据在安全领域的应用
1.4大数据框架体系
1.4.1大数据基础设施层
1.4.2大数据采集层
1.4.3大数据存储层
1.4.4大数据处理层
1.4.5大数据交互展示层
1.4.6大数据应用层
1.5大数据关键技术
1.5.1数据采集与预处理技术
1.5.2数据存储与管理技术
1.5.3数据分析与挖掘技术
1.5.4数据可视化技术
1.5.5数据安全和隐私保护技术
1.6大数据支撑技术
1.6.1云计算
1.6.2物联网
1.6.3机器学习
习题



第2章大数据平台Hadoop基础
2.1大数据平台Hadoop概述
2.1.1Hadoop简介
2.1.2Hadoop项目起源
2.1.3Hadoop发展历程
2.1.4Hadoop特性
2.1.5Hadoop主要用途
2.2大数据平台Hadoop原理
2.2.1分布式计算原理
2.2.2MapReduce原理
2.2.3Yarn原理
2.3大数据平台Hadoop组件
2.3.1HDFS组件
2.3.2MapReduce组件
2.3.3ZooKeeper组件
2.3.4Yarn组件
2.3.5HBase组件
2.3.6Hive组件
2.3.7Spark组件
2.3.8Mahout组件
2.3.9Flume组件
2.3.10Sqoop组件
2.3.11Kafka组件
2.3.12Pig组件
2.3.13Ambari组件
2.3.14Tez组件
2.3.15Common组件
习题
第二篇大数据存储与管理
第3章大数据存储与管理基本概念
3.1大数据的数据类型
3.1.1结构化数据
3.1.2半结构化数据
3.1.3非结构化数据
3.2数据管理技术的发展
3.2.1文件系统阶段
3.2.2数据库系统阶段
3.2.3数据仓库阶段
3.2.4分布式系统阶段
3.3分布式系统基础理论
3.3.1CAP理论
3.3.2BASE思想
3.4NoSQL数据库
3.4.1NoSQL数据库的兴起
3.4.2NoSQL数据库与关系数据库的比较
3.4.3NoSQL数据库的四大类型
3.5大数据存储与管理技术
3.5.1分布式存储技术
3.5.2虚拟化技术
3.5.3云存储技术
习题
第4章大数据分布式文件系统
4.1HDFS概述
4.1.1HDFS简介
4.1.2HDFS设计特点
4.2HDFS工作原理
4.2.1HDFS体系结构
4.2.2HDFS工作组件
4.3HDFS工作流程
4.3.1读数据的过程
4.3.2写数据的过程
4.4HDFS基本操作
4.4.1HDFS文件操作
4.4.2HDFS管理命令
4.5HDFS编程接口
4.5.1HDFS常用Java API
4.5.2HDFS API编程实例
习题
第5章大数据分布式数据库系统HBase
5.1HBase概述
5.1.1HBase简介
5.1.2HBase特性
5.1.3HBase与传统关系数据库对比
5.1.4HBase应用场景
5.2HBase数据模型
5.2.1HBase数据模型术语
5.2.2HBase数据逻辑模型
5.2.3HBase数据物理模型
5.3HBase工作原理
5.3.1HBase体系结构
5.3.2HBase工作组件
5.4HBase操作命令
5.4.1HBase表操作
5.4.2HBase数据操作
5.5HBase编程接口
5.5.1HBase常用Java API
5.5.2HBase API编程实例
习题
第6章大数据分布式数据仓库系统Hive
6.1Hive概述
6.1.1Hive特性
6.1.2Hive工作原理
6.1.3Hive执行流程
6.2Hive数据类型及数据模型
6.2.1Hive数据类型
6.2.2Hive数据模型
6.3Hive SQL查询语法
6.3.1DDL语句
6.3.2DML语句
6.3.3DQL语句
6.3.4Hive实例操作
6.4Hive访问接口
6.4.1Hive CLI访问接口
6.4.2JDBC访问接口
习题
第三篇大数据采集与预处理
第7章大数据采集与预处理技术
7.1数据抽取、转换、加载技术
7.1.1ETL概述
7.1.2数据抽取
7.1.3数据转换
7.1.4数据加载
7.1.5ETL工具
7.2数据爬虫技术
7.2.1爬虫流程
7.2.2爬虫分类
7.2.3大数据爬虫技术
7.3数据预处理技术
7.3.1数据清理
7.3.2数据集成
7.3.3数据变换
7.3.4数据归约
习题
第8章大数据采集工具
8.1Sqoop关系型大数据采集系统
8.1.1Sqoop简介
8.1.2Sqoop工作原理
8.2Flume日志大数据采集系统
8.2.1Flume简介
8.2.2Flume工作原理
8.3Nutch分布式大数据爬虫系统
8.3.1Nutch简介
8.3.2Nutch工作原理
习题
第四篇大数据分析与挖掘
第9章大数据计算模式
9.1大数据批处理
9.1.1大数据批处理概述
9.1.2大数据批处理常用组件
9.2大数据查询分析计算
9.2.1大数据查询分析计算概述
9.2.2大数据查询分析计算组件
9.3大数据流计算
9.3.1大数据流计算概述
9.3.2大数据流计算组件
9.4大数据迭代计算
9.4.1大数据迭代计算概述
9.4.2迭代计算组件
9.5大数据图计算
9.5.1大数据图计算概述
9.5.2图计算组件
习题
0章大数据MapReduce计算模型
10.1MapReduce概述
10.1.1MapReduce简介
10.1.2MapReduce由来
10.1.3MapReduce主要功能
10.1.4MapReduce技术特征
10.2MapReduce模型框架
10.2.1MapReduce设计思想
10.2.2MapReduce模型架构
10.3MapReduce数据处理过程
10.3.1MapReduce运行原理
10.3.2MapReduce数据输入输出流程
10.4MapReduce程序执行过程
10.4.1作业提交
10.4.2作业初始化
10.4.3作业分配
10.4.4任务执行
10.4.5过程和状态更新
10.4.6作业完成
10.5MapReduce编程接口
10.5.1数据读入
10.5.2Mapper类和Reduce类
10.5.3数据处理
10.5.4数据输出
10.6MapReduce实例分析
10.6.1WordCount MapReduce设计
10.6.2WordCount编程实现
习题
1章大数据Spark计算模型
11.1Spark概述
11.1.1Spark的产生
11.1.2Spark的相关概念及其组件
11.1.3Spark的特性
11.2Spark工作原理
11.2.1RDD原理
11.2.2Spark工作流程
11.2.3Spark集群架构及运行模式
11.2.4Spark Streaming工作原理
11.3Spark访问接口
11.3.1Spark访问接口概述
11.3.2SparkContext 访问接口
11.3.3RDD 访问接口
11.4Spark实例分析
11.4.1Spark Shell Wordcount编程实现
11.4.2Scala Wordcount编程实现
11.4.3Java Wordcount编程实现
习题
2章大数据MapReduce基础算法
12.1关系代数运算
12.1.1关系代数运算规则
12.1.2关系代数运算的MapReduce设计与实现
12.2矩阵乘法
12.2.1矩阵乘法原理
12.2.2矩阵乘法MapReduce设计
12.2.3矩阵乘法MapReduce实现
习题
3章大数据挖掘算法
13.1大数据关联分析算法
13.1.1Apriori算法简介
13.1.2Apriori算法MapReduce设计
13.1.3Apriori算法MapReduce实现
13.2大数据kNN分类算法
13.2.1kNN分类算法简介
13.2.2KNN算法MapReduce设计
13.2.3KNN算法MapReduce实现
13.3大数据kMeans聚类算法
13.3.1kMeans聚类算法简介
13.3.2基于MapReduce的kMeans算法的设计
13.3.3基于MapReduce的kMeans算法的实现
习题
第五篇大数据平台Hadoop实践与应用案例
4章Hadoop大数据平台实践
14.1Hadoop的安装与配置
14.1.1安装Hadoop的准备工作
14.1.2Linux虚拟机的安装
14.1.3安装和配置JDK
14.1.4下载安装Hadoop
14.1.5SSH免密登录
14.1.6虚拟机克隆
14.1.7Hadoop运行
14.1.8查看集群状态
14.2Hadoop平台基本操作
14.2.1Hadoop启动与关闭命令
14.2.2Hadoop文件操作
14.2.3Hadoop程序运行命令
14.3Hadoop平台程序开发过程
14.3.1开发环境配置
14.3.2程序开发流程
习题
5章开敞式码头系泊作业缆力预测应用案例
15.1开敞式码头系泊作业缆力预测背景描述
15.1.1开敞式码头系泊作业缆力背景描述
15.1.2开敞式码头系泊作业缆力预测背景
15.2大数据系泊缆力相似性查询预测方法
15.2.1模糊相似性查询基本方法
15.2.2系泊缆力相似性查询预测模型
15.3相似性查询预测方法MapReduce设计
15.3.1相似性查询预测方法Map设计
15.3.2相似性查询预测方法Reduce设计
15.4相似性查询预测方法MapReduce实现
15.4.1系泊缆力预测结果展示
15.4.2系泊缆力预测结果分析
6章曙光XData大数据平台及应用案例
16.1曙光XData大数据平台简介
16.1.1曙光XData大数据平台概述
16.1.2曙光XData大数据平台特点及应用
16.2曙光大数据平台架构及关键技术
16.2.1曙光XData大数据平台架构
16.2.2曙光XData大数据平台关键技术
16.3曙光XData大数据平台组件
16.3.1曙光XData大数据集成与数据治理组件
16.3.2曙光XData大数据存储与数据计算组件
16.3.3曙光XData大数据分析与数据智能组件
16.3.4曙光XData大数据可视化分析组件
16.3.5曙光XData大数据安全管控与管理运维组件
16.4曙光XData大数据平台操作实践
16.4.1曙光XData大数据平台安装与配置概述
16.4.2曙光XData大数据平台基本操作
16.5基于曙光XData大数据平台的智能交通应用案例
16.5.1曙光XData智能交通应用项目背景
16.5.2曙光XData智能交通应用方案设计
16.5.3曙光XData智能交通功能实现及应用效果
参考文献