本书的编写目的是向读者介绍大数据分析的基本概念和相应的技术应用。全书共10章，具体内容包括大数据、爬虫与大数据、Scrapy爬虫、数据库连接与查询、数据可视化基础与应用、大数据存储与清洗、数据格式与编码技术、数据抽取与采集、pandas数据分析与清洗，以及数据分析与清洗综合实训。本书将理论与实践操作相结合，通过大量的案例帮助读者快速掌握和应用大数据分析相关技术，通过对书中重要的、核心的知识点的练习，达到熟练应用的效果。
本书可作为大数据专业、软件技术专业、信息管理专业、计算机网络专业的教材，也可作为大数据爱好者的参考书。

章 大数据
1.1 大数据概述
1.1.1 大数据介绍
1.1.2 大数据的特征
1.1.3 大数据技术应用与基础
1.2 大数据的意义
1.2.1 大数据的国家战略意义
1.2.2 大数据的企业意义
1.2.3 我国大数据市场的预测
1.3 大数据的产业链分析
1.3.1 技术分析
1.3.2 运营分析
1.4 本章小结
1.5 实训
习题
第2章 爬虫与大数据
2.1 爬虫概述
2.1.1 爬虫介绍
2.1.2 爬虫的地位与作用
2.2 Python介绍
2.2.1 Python开发环境搭建
2.2.2 编写Python程序
2.2.3 Python数据类型
2.3 爬虫相关知识
2.3.1 了解网页结构
2.3.2 Python与爬虫
2.3.3 基础爬虫框架
2.4 利用爬虫抓取网页内容
2.4.1 观察与分析页面
2.4.2 抓取过程分析
2.4.3 获取页面内容
2.5 本章小结
2.6 实训
习题
第3章 Scrapy爬虫
3.1 Scrapy爬虫概述
3.2 Scrapy原理
3.2.1 Scrapy框架的架构
3.2.2 Request对象和Response对象
3.2.3 Select对象
3.2.4 Spider开发流程
3.3 Scrapy的开发与实现
3.3.1 Scrapy爬虫开发流程
3.3.2 创建Scrapy项目并查看结构
3.3.3 编写代码并运行爬虫
3.4 本章小结
3.5 实训
习题
第4章 数据库连接与查询
4.1 数据库
4.1.1 数据库概述
4.1.2 关系数据库设计
4.2 MySQL数据库
4.2.1 MySQL数据库概述
4.2.2 MySQL数据库下载、安装与运行
4.2.3 MySQL数据库命令行入门
4.3 使用Python操作MySQL数据库
4.3.1 pymysql安装与使用
4.3.2 Python连接MySQL数据库
4.4 本章小结
4.5 实训
习题
第5章 数据可视化基础与应用
5.1 数据可视化
5.1.1 数据可视化概述
5.1.2 数据可视化工具
5.1.3 数据可视化图表
5.2 matplotlib可视化基础
5.2.1 numpy库
5.2.2 matplotlib认识与安装
5.2.3 matplotlib测试
5.2.4 matplotlib.pyplot库
5.3 matplotlib可视化绘图
5.3.1 绘制线性图形
5.3.2 绘制柱状图形
5.3.3 绘制直方图
5.3.4 绘制散点图
5.3.5 绘制极坐标图
5.3.6 绘制饼图
5.4 pyecharts可视化应用
5.5 本章小结
5.6 实训
习题
第6章 大数据存储与清洗
6.1 大数据存储
6.2 数据清洗
6.2.1 数据清洗概述
6.2.2 数据清洗的原理
6.2.3 数据清洗的流程
6.2.4 数据清洗的工具
6.3 数据标准化
6.3.1 数据标准化的概念
6.3.2 数据标准化的方法
6.3.3 数据标准化的实例
6.4 本章小结
6.5 实训
习题
第7章 数据格式与编码技术
7.1 文件格式
7.2 数据类型与编码
7.2.1 数据类型概述
7.2.2 字符编码
7.2.3 数据转换
7.3 Kettle数据清洗与转换工具的使用
7.3.1 Kettle概述
7.3.2 Kettle的安装与使用
7.4 CSV格式的数据转换
7.4.1 CSV格式概述
7.4.2 CSV与JSON文件的转换
7.5 本章小结
7.6 实训
习题
第8章 数据抽取与采集
8.1 数据抽取
8.2 文本抽取与实现
8.2.1 文本文件抽取
8.2.2 CSV文件抽取
8.2.3 JSON文件抽取
8.3 网页数据抽取与实现
8.3.1 网页数据抽取
8.3.2 Excel抽取网页数据
8.3.3 Kettle抽取网页数据
8.4 数据采集与实现
8.5 本章小结
8.6 实训
习题
第9章 pandas数据分析与清洗
9.1 认识pandas
9.2 pandas语法与使用
9.3 pandas读取与清洗数据
9.3.1 数据准备
9.3.2 从CSV中读取数据
9.3.3 pandas数据清洗
9.4 pandas数据可视化
9.4.1 pandas绘图概述
9.4.2 pandas绘图方法
9.5 本章小结
9.6 实训
习题
0章 数据分析与清洗综合实训
10.1 数据清洗实训
10.1.1 使用Kettle对生成的随机数实现字段选择
10.1.2 使用Kettle连接不同的数据表
10.1.3 使用Kettle过滤数据表
10.1.4 使用Kettle连接MySQL数据库，并输出查询结果
10.2 数据分析实训
10.3 本章小结
习题