本书站在初学者的角度，从原理到实践，循序渐进地讲述了使用Python开发网络爬虫的核心技术。全书从逻辑上可分为基础篇、实战篇和爬虫框架篇三部分。基础篇主要介绍了编写网络爬虫所需的基础知识，分别是网站分析、数据抓取、数据清洗和数据入库。网站分析讲述如何使用Chrome和Fiddler抓包工具对网络做全面分析；数据抓取介绍了Python爬虫模块Urllib和Requests的基础知识；数据清洗主要介绍字符串操作、正则和Beautiful Soup的使用；数据入库分别讲述了MySQL和MongoDB的操作，通过ORM框架SQLAlchemy实现数据持久化，实现企业级开发。实战篇深入讲解了分布式爬虫、爬虫软件开发与应用、12306抢票程序和微博爬取，所举示例均来自于开发实践，可帮助读者快速提升技能，开发实际项目。框架篇主要讲述Scrapy的基础知识，并通过爬取QQ音乐为实例，让读者深层次了解Scrapy的使用。本书内容丰富，注重实战，适用于从零开始学习网络爬虫的初学者，或者是已经有一些网络爬虫编写经验，但希望更加全面、深入理解Python爬虫的开发人员。

黄永祥，信息管理与信息系统专业学士，曾从事过系统开发和自动化开发，精通B/S和C/S自动化测试技术，多年网络爬虫开发经验，对反爬虫机制有独到的见解，精通Flask、Django等Web框架并有丰富的网站开发经验。曾就职于广州易点科技有限公司，担任Python开发工程师，目前就职于广东数据集成有限公司。热爱分享和新技术的探索，在CSDN上发表多篇Python技术文章。

章理解网络爬虫1
1.1爬虫的定义1
1.2爬虫的类型2
1.3爬虫的原理3
1.4爬虫的搜索策略5
1.5反爬虫技术及解决方案6
1.6本章小结8
第2章爬虫开发基础9
2.1HTTP与HTTPS9
2.2请求头11
2.3Cookies13
2.4HTML14
2.5JavaScript16
2.6JSON18
2.7Ajax19
2.8本章小结20
第3章Chrome分析网站21
3.1Chrome开发工具21
3.2Elements标签22
3.3Network标签23
3.4分析QQ音乐27
3.5本章小结29
第4章Fiddler抓包工具30
4.1Fiddler介绍30
4.2Fiddler安装配置31
4.3Fiddler抓取手机应用33
4.4Toolbar工具栏36
4.5WebSession列表37
4.6View选项视图40
4.7Quickexec命令行41
4.8本章小结42
5章Urllib数据抓取43
5.1Urllib简介43
5.2发送请求44
5.3复杂的请求46
5.4代理IP47
5.5使用Cookies48
5.6证书验证50
5.7数据处理51
5.8本章小结52
6章Requests数据抓取54
6.1Requests简介及安装54
6.2请求方式55
6.3复杂的请求方式57
6.4下载与上传60
6.5本章小结63
7章验证码识别64
7.1验证码类型64
7.2OCR技术66
7.3三方平台69
7.4本章小结72
8章数据清洗74
8.1字符串操作74
8.2正则表达式78
8.3BeautifulSoup介绍及安装84
8.4BeautifulSoup的使用86
8.5本章小结90
9章文档数据存储92
9.1CSV数据写入和读取92
9.2Excel数据写入和读取94
9.3Word数据写入和读取99
9.4本章小结101
壹0章ORM框架104
10.1SQLAlchemy介绍104
10.2安装SQLAlchemy105
10.3连接数据库106
10.4创建数据表108
10.5添加数据111
10.6更新数据112
10.7查询数据114
10.8本章小结116
壹1章MongoDB数据库操作118
11.1MongoDB介绍118
11.2安装及使用120
11.2.1MongoDB120
11.2.2MongoDB可视化工具121
11.2.3PyMongo123
11.3连接数据库123
11.4添加文档125
11.5更新文档126
11.6查询文档127
11.7本章小结130
壹2章项目实战：爬取商品信息131
12.1分析说明131
12.2功能实现134
12.3数据存储136
12.4本章小结138
壹3章项目实战：分布式爬虫——QQ音乐139
13.1分析说明139
13.2歌曲下载140
13.3歌手和歌曲信息145
13.4分类歌手列表148
13.5全站歌手列表150
13.6数据存储152
13.7分布式概念154
13.7.1GIL是什么154
13.7.2为什么会有GIL154
13.8并发库concurrent.futures155
13.9分布式爬虫157
13.10本章小结159
壹4章项目实战：爬虫软件——商品信息161
14.1分析说明161
14.2GUI库介绍162
14.3PyQt5安装及环境搭建162
14.4软件界面开发165
14.5MVC——视图169
14.6MVC——控制器171
14.7MVC——模型172
14.8扩展思路173
14.9本章小结174
壹5章项目实战：12306抢票176
15.1分析说明176
15.2验证码验证177
15.3用户登录与验证181
15.4查询车次187
15.5预订车票193
15.6提交订单196
15.7生成订单204
15.8本章小结209
壹6章项目实战：玩转微博219
16.1分析说明219
16.2用户登录220
16.3用户登录（带验证码）232
16.4关键字搜索热门微博240
16.5发布微博247
16.6关注用户253
16.7点赞和转发评论257
16.8本章小结263
壹7章Scrapy爬虫框架265
17.1爬虫框架265
17.2Scrapy的运行机制267
17.3安装Scrapy268
17.4爬虫开发快速入门270
17.5Spiders介绍277
17.6Spider的编写278
17.7Items的编写282
17.8ItemPipeline的编写284
17.9Selectors的编写288
17.10文件下载291
17.11本章小结296
壹8章项目实战：Scrapy爬取QQ音乐298
18.1分析说明298
18.2创建项目299
18.3编写setting300
18.4编写Items301
18.5编写ItemPipelines302
18.6编写Spider305
18.7本章小结310