本书对大数据知识体系进行总结性的概括与讲解。全书内容包括大数据概述、大数据与云计算、从产业结构来探索大数据技术、大数据的硬件架构——集群、大数据开发与计算技术、大数据存储技术、大数据分析、大数据与人工智能。
本书既讲述了大数据的基础知识，也阐述了大数据与其他技术的关系。读者通过学习本书能快速地明晰大数据的核心技术和发展趋势，更深入地认识和掌握大数据的应用价值，更好地将大数据技术应用到各行业领域。
本书既可以作为高校"大数据导论"通识课程的教材，也可作为普通读者了解大数据及其相关技术的参考书。

安俊秀，毕业于西安交通大学计算机科学与技术专业，获工学硕士学位。

章大数据概述1
1．1什么是大数据1
1．1．1大数据的来源1
1．1．2大数据的定义5
1．1．3从信息技术（IT）转向数据技术（DT）5
1．2大数据的数据特征及对科学研究的影响7
1．2．1大数据的数据特征7
1．2．2大数据对科学研究的影响8
1．3大数据的数据类型11
1．4大数据的价值及相关技术13
1．4．1大数据的可用性及衍生价值13
1．4．2大数据存储及处理技术14
1．5大数据的发展趋势15
习题16
第2章大数据与云计算17
2．1云计算概述17
2．1．1云计算的提出17
2．1．2云计算的定义18
2．1．3云计算的概念模型19
2．1．4云计算的特点20
2．2云计算的主要部署模式21
2．2．1公有云22
2．2．2私有云22
2．2．3混合云23
2．3云计算的主要服务模式24
2．3．1基础设施即服务（IaaS）24
2．3．2平台即服务（PaaS）26
2．3．3软件即服务（SaaS）26
2．3．43种服务模式之间的关系27
2．4云计算与大数据体系架构的关系28
2．4．1云计算基础设施——Google平台28
2．4．2大数据基础设施——Hadoop平台29
2．5物联网、大数据和云计算之间的关系30
2．5．1认识物联网31
2．5．2边缘计算31
2．5．3雾计算33
2．5．4大数据和云计算之间的关系33
习题34
第3章从产业结构来探索大数据技术35
3．1大数据产业结构概述35
3．2大数据的解决方案37
3．2．1大数据的产生、采集与处理方式37
3．2．2大数据处理的基本流程及相应技术40
3．3大数据采集技术43
3．3．1大数据采集概述43
3．3．2日志采集系统——Flume44
3．3．3消息采集系统——Kafka46
3．3．4Scrapy网络爬虫框架47
3．4大数据预处理技术50
3．4．1数据预处理50
3．4．2数据清洗51
3．4．3数据集成53
3．4．4数据归约54
3．5大数据可视化技术56
3．5．1数据可视化的概念56
3．5．2数据可视化的分类57
3．5．3数据可视化工具61
3．5．4大数据可视化技术的发展方向63
习题64
第4章大数据的硬件架构——集群65
4．1集群的来源65
4．1．1并行计算机的发展65
4．1．2通过计算机食物链理解集群68
4．2集群的产生促进了大数据技术的发展70
4．3集群系统的概念及分类72
4．3．1集群的基本概念72
4．3．2集群系统的分类73
4．4集群的结构模型75
4．5集群文件系统76
习题79
第5章大数据开发与计算技术80
5．1Hadoop——分布式大数据系统80
5．1．1Hadoop概述80
5．1．2Hadoop架构81
5．1．3Hadoop生态系统87
5．2Spark——大规模数据实时处理系统89
5．2．1Spark概述89
5．2．2弹性分布式数据集94
5．2．3Spark扩展功能96
5．3Storm——基于拓扑的流数据实时计算系统99
5．3．1Storm概述99
5．3．2Storm的组成结构101
5．3．3Storm-Yarn概述102
5．4Hadoop、Spark与Storm的比较103
5．5大数据开发技术与Web应用开发技术的比较105
5．5．1Web应用开发技术简介105
5．5．2大数据开发技术简介109
5．5．3大数据开发技术与Web应用开发技术的应用环境110
习题112
第6章大数据存储技术113
6．1数据存储概述113
6．2分布式文件系统115
6．2．1分布式文件系统的设计思路116
6．2．2最早的分布式文件系统118
6．2．3大数据环境下分布式文件系统的优化思路119
6．3结构化大数据的存储——Hive120
6．3．1Hive简介120
6．3．2Hive架构121
6．3．3Hive数据模型与存储122
6．4半结构化大数据的存储——HBase124
6．4．1HBase简介124
6．4．2HBase数据模型125
6．4．3存储架构127
6．5云存储技术134
6．5．1云存储的概念及特性134
6．5．2云存储系统的结构模型136
6．5．3云存储的应用138
习题139
第7章大数据分析141
7．1大数据分析与数据分析的关系141
7．1．1对数据分析师的要求142
7．1．2对大数据分析师的要求142
7．2大数据分析的重要性及认识数据143
7．2．1大数据分析的重要性143
7．2．2认识数据145
7．3统计数据分析147
7．4基于机器学习的数据分析151
7．4．1机器学习简介151
7．4．2机器学习的主要用途153
7．4．3有监督学习、无监督学习和强化学习154
7．5经典的机器学习算法157
7．5．1分类算法原理157
7．5．2决策树分类算法157
7．5．3K-均值聚类算法158
7．5．4Apriori关联规则算法159
7．5．5朴素贝叶斯分类算法159
7．6基于图的数据分析161
7．7基于自然语言的数据分析162
习题163
第8章大数据与人工智能164
8．1人工智能的概念及分类164
8．2人工智能的发展史168
8．3限制人工智能发展的因素170
8．4大数据与人工智能的关系172
8．5人工智能核心技术概述173
8．5．1深度学习174
8．5．2卷积神经网络175
8．5．3图像处理176
8．6人工智能技术应用177
习题179
参考文献180