本书采用通俗易懂的语言、丰富多彩的实例，详细介绍了使用Python语言进行网络数据爬取的知识，主要内容包括Python语法、正则表达式、BeautifulSoup技术、Selenium技术、Scrapy框架、数据库存储等，同时详细介绍了爬取网站和博客内容、电影数据信息、招聘信息、在线百科知识、微博内容、农产品信息等实例。书中所有知识点都结合经典实例进行介绍，涉及的实例都给出了详细的分析流程，程序代码都给出了具体的注释，同时采用图文结合的形式讲解，让读者能更加轻松地领会Python网络数据爬虫的精髓，并快速提高自己的开发能力。本书即可作为Python开发入门者的自学用书，也可作为高等院校数据爬取、数据分析、数据挖掘、大数据等相关专业的教学参考书或实验指导书，还可供Python开发人员查阅、参考。

杨秀璋，毕业于北京理工大学软件学院，长期从事Web数据挖掘、Python数据分析、网络数据爬取工作及研究。他现任教于贵州财经大学信息学院，主讲“数据挖掘与分析”“大数据技术及应用”课程，并从事大数据分析、数据挖掘、知识图谱等领域的项目研究与开发；有多年的Python编程、数据分析及知识图谱研究经验，实战经验较为丰富。此外，他还积极分享编程知识和开源代码编写经验，先后在CSDN、博客园、阿里云栖社区撰写博客，仅在CSDN就分享了300多篇原创文章，开设了11个专栏，累计阅读量超过250万人次。

第1章网络数据爬取概述1
1.1网络爬虫1
1.2相关技术3
1.2.1HTTP3
1.2.2HTML3
1.2.3Python5
1.3本章小结5
参考文献5
第2章Python知识初学6
2.1Python简介6
2.2基础语法11
2.2.1缩进与注释11
2.2.2变量与常量12
2.2.3输入与输出14
2.2.4赋值与表达式16
2.3数据类型16
2.3.1数字类型16
2.3.2字符串类型17
2.3.3列表类型17
2.3.4元组类型19
2.3.5字典类型19
2.4条件语句19
2.4.1单分支20
2.4.2二分支20
2.4.3多分支21
2.5循环语句22
2.5.1while循环22
2.5.2for循环24
2.5.3break和continue语句24
2.6函数25
2.6.1自定义函数26
2.6.2常见内部库函数27
2.6.3第三方库函数29
2.7字符串操作30
2.8文件操作32
2.8.1打开文件32
2.8.2读/写文件32
2.8.3关闭文件33
2.8.4循环遍历文件34
2.9面向对象34
2.10本章小结36
参考文献36
第3章正则表达式爬虫之牛刀小试37
3.1正则表达式37
3.2Python网络数据爬取的常用模块39
3.2.1urllib模块39
3.2.2urlparse模块42
3.2.3requests模块44
3.3正则表达式爬取网络数据的常见方法45
3.3.1爬取标签间的内容45
3.3.2爬取标签中的参数49
3.3.3字符串处理及替换50
3.4个人博客爬取实例52
3.4.1分析过程52
3.4.2代码实现57
3.5本章小结59
参考文献59
第4章BeautifulSoup技术60
4.1安装BeautifulSoup60
4.1.1Python2.7安装BeautifulSoup60
4.1.2pip安装扩展库63
4.2快速开始BeautifulSoup解析67
4.2.1BeautifulSoup解析HTML68
4.2.2简单获取网页标签信息71
4.2.3定位标签并获取内容72
4.3深入了解BeautifulSoup73
4.3.1BeautifulSoup对象74
4.3.2遍历文档树79
4.3.3搜索文档树82
4.4BeautifulSoup简单爬取个人博客网站84
4.5本章小结87
参考文献87
第5章BeautifulSoup爬取电影信息88
5.1分析网页DOM树结构88
5.1.1分析网页结构及简单爬取88
5.1.2定位节点及网页翻页分析91
5.2爬取豆瓣电影信息94
5.3链接跳转分析及详情页面爬取98
5.4本章小结104
参考文献104
第6章Python数据库知识105
6.1MySQL数据库105
6.1.1MySQL的安装与配置105
6.1.2SQL基础语句详解112
6.2Python操作MySQL数据库119
6.2.1安装MySQL扩展库119
6.2.2程序接口DB-API121
6.2.3Python调用MySQLdb扩展库122
6.3Python操作SQLite3数__________据库126
6.4本章小结129
参考文献129
第7章基于数据库存储的BeautifulSoup招聘爬虫130
7.1知识图谱和智联招聘130
7.2BeautifulSoup爬取招聘信息132
7.2.1分析网页超链接及跳转处理132
7.2.2DOM树节点分析及网页爬取135
7.3NavicatforMySQL工具操作数据库137
7.3.1连接数据库137
7.3.2创建数据库139
7.3.3创建表141
7.3.4数据库增删改查操作143
7.4MySQL数据库存储招聘信息146
7.4.1MySQL操作数据库146
7.4.2代码实现148
7.5本章小结153
参考文献153
第8章Selenium技术154
8.1初识Selenium154
8.1.1安装Selenium155
8.1.2安装浏览器驱动156
8.1.3PhantomJS158
8.2快速开始Selenium解析159
8.3定位元素162
8.3.1通过id属性定位元素163
8.3.2通过name属性定位元素165
8.3.3通过XPath路径定位元素166
8.3.4通过起链接文本定位元素168
8.3.5通过标签名定位元素169
8.3.6通过类属性名定位元素170
8.3.7通过CSS选择器定位元素170
8.4常用方法和属性170
8.4.1操作元素的方法170
8.4.2WebElement常用属性174
8.5键盘和鼠标自动化操作175
8.5.1键盘操作175
8.5.2鼠标操作177
8.6导航控制178
8.6.1下拉菜单交互操作178
8.6.2Window和Frame间对话框的移动179
8.7本章小结180
参考文献180
第9章Selenium爬取在线百科知识181
9.1三大在线百科181
9.1.1维基百科181
9.1.2百度百科183
9.1.3互动百科184
9.2Selenium爬取维基百科185
9.2.1网页分析185
9.2.2代码实现190
9.3Selenium爬取百度百科190
9.3.1网页分析190
9.3.2代码实现195
9.4Selenium爬取互动百科198
9.4.1网页分析198
9.4.2代码实现200
9.5本章小结202
参考文献203
第10章基于数据库存储的Selenium博客爬虫204
10.1博客网站204
10.2Selenium爬取博客信息206
10.2.1Forbidden错误206
10.2.2分析博客网站翻页方法208
10.2.3DOM树节点分析及网页爬取210
10.3MySQL数据库存储博客信息212
10.3.1NavicatforMySQL创建表213
10.3.2Python操作MySQL数据库214
10.3.3代码实现216
10.4本章小结222
第11章基于登录分析的Selenium微博爬虫223
11.1登录验证223
11.2初识微博爬虫226
11.2.1微博226
11.2.2登录入口227
11.2.3微博自动登录229
11.3爬取微博热门信息232
11.3.1搜索所需的微博主题232
11.3.2爬取微博内容235
11.4本章小结242
参考文献242
第12章基于图片抓取的Selenium爬虫243
12.1图片爬虫框架243
12.2图片网站分析245
12.2.1图片爬取方法245
12.2.2全景网爬取分析246
12.3代码实现250
12.4本章小结254
第13章Scrapy技术爬取网络数据255
13.1安装Scrapy255
13.2快速了解Scrapy256
13.2.1Scrapy基础知识257
13.2.2Scrapy组成详解及简单示例259
13.3Scrapy爬取贵州农产品数据集270
13.4本章小结285
参考文献285
套书后记286
致谢288