本书介绍了如何利用Python 3开发网络爬虫。本书为第2版，相比于第1版，为每个知识点的实战项目配备了针对性的练习平台，避免了案例过期的问题。另外，主要增加了异步爬虫、JavaScript逆向、App逆向、页面智能解析、深度学习识别验证码、Kubernetes运维及部署等知识点，同时也对各个爬虫知识点涉及的请求、存储、解析、测试等工具进行了丰富和更新。
本书适合Python程序员阅读。

崔庆才，北京航空航天大学硕士，静觅博客博主，爬虫博文访问量已过百万，喜欢钻研，热爱生活，乐于分享。

第1章 爬虫基础
1.1 HTTP基本原理
1.2 Web网页基础
1.3 爬虫的基本原理
1.4 Session和Cookie
1.5 代理的基本原理
1.6 多线程和多进程的基本原理
第2章 基本库的使用
2.1 urllib的使用
2.2 requests的使用
2.3 正则表达式
2.4 httpx的使用
2.5 基础爬虫案例实战
第3章 网页数据的解析提取
3.1 XPath的使用
3.2 Beautiful Soup的使用
3.3 pyquery的使用
3.4 parsel的使用
第4章 数据的存储
4.1 TXT文本文件存储
4.2 JSON文件存储
4.3 CSV文件存储
4.4 MySQL存储
4.5 MongoDB文档存储
4.6 Redis缓存存储
4.7 Elasticsearch搜索引擎存储
4.8 RabbitMQ的使用
第5章 Ajax数据爬取
5.1 什么是Ajax
5.2 Ajax分析方法
5.3 Ajax分析与爬取实战
第6章 异步爬虫
6.1 协程的基本原理
6.2 aiohttp的使用
6.3 aiohttp异步爬取实战
第7章 JavaScript动态渲染页面爬取
7.1 Selenium的使用
7.2 Splash的使用
7.3 Pyppeteer的使用
7.4 Playwright的使用
7.5 Selenium爬取实战
7.6 Pyppeteer爬取实战
7.7 CSS位置偏移反爬案例分析与爬取实战
7.8 字体反爬案例分析与爬取实战
第8章 验证码的识别
8.1 使用OCR技术识别图形验证码
8.2 使用OpenCV识别滑动验证码的缺口
8.3 使用深度学习识别图形验证码
8.4 使用深度学习识别滑动验证码的缺口
8.5 使用打码平台识别验证码
8.6 手机验证码的自动化处理
第9章 代理的使用
9.1 代理的设置
9.2 代理池的维护
9.3 付费代理的使用
9.4 ADSL拨号代理的搭建方法
9.5 代理反爬案例爬取实战
第10章 模拟登录
10.1 模拟登录的基本原理
10.2 基于Session和Cookie的模拟登录爬取实战
10.3 基于JWT的模拟登录爬取实战
10.4 大规模账号池的搭建
第11章 JavaScript逆向爬虫
11.1 网站加密和混淆技术简介
11.2 浏览器调试常用技巧
11.3 JavaScript Hook的使用
11.4 无限debugger的原理与绕过
11.5 使用Python模拟执行JavaScript
11.6 使用Node.js模拟执行JavaScript
11.7 浏览器环境下JavaScript的模拟执行
11.8 AST技术简介
11.9 使用AST技术还原混淆代码
11.10 特殊混淆案例的还原
11.11 WebAssembly案例分析和爬取实战
11.12 JavaScript逆向技巧总结
11.13 JavaScript逆向爬取实战
第12章 App数据的爬取
12.1 Charles抓包工具的使用
12.2 mitmproxy抓包工具的使用
12.3 mitmdump实时抓包处理
12.4 Appium的使用
12.5 基于Appium的App爬取实战
12.6 Airtest的使用
12.7 基于Airtest的App爬取实战
12.8 手机群控爬取实战
12.9 云手机的使用
第13章 Android逆向
13.1 jadx的使用
13.2 JEB的使用
13.3 Xposed框架的使用
13.4 基于Xposed的爬取实战案例
13.5 Frida的使用
13.6 SSL Pining问题的解决方案
13.7 Android脱壳技术简介与实战
13.8 利用IDA Pro静态分析和动态调试so文件
13.9 基于Frida-RPC模拟执行so文件
13.10 基于AndServer-RPC模拟执行so文件
13.11 基于unidbg模拟执行so文件
第14章 页面智能解析
14.1 页面智能解析简介
14.2 详情页智能解析算法简介
14.3 详情页智能解析算法的实现
14.4 列表页智能解析算法简介
14.5 列表页智能解析算法的实现
14.6 如何智能分辨列表页和详情页
第15章 Scrapy框架的使用
15.1 Scrapy框架介绍
15.2 Scrapy入门
15.3 Selector的使用
15.4 Spider的使用
15.5 Downloader Middleware的使用
15.6 Spider Middleware的使用
15.7 Item Pipeline的使用
15.8 Extension的使用
15.9 Scrapy对接Selenium
15.10 Scrapy对接Splash
15.11 Scrapy对接Pyppeteer
15.12 Scrapy规则化爬虫
15.13 Scrapy实战
第16章 分布式爬虫
16.1 分布式爬虫理念
16.2 Scrapy-Redis原理和源码解析
16.3 基于Scrapy-Redis的分布式爬虫实现
16.4 基于Bloom Filter进行大规模去重
16.5 基于RabbitMQ的分布式爬虫
第17章 爬虫的管理和部署
17.1 Scrapyd和ScrapydAPI的使用
17.2 Scrapyd-Client的使用
17.3 Gerapy爬虫管理框架的使用
17.4 将Scrapy项目打包成Docker镜像
17.5 Docker Compose的使用
17.6 Kubernetes的使用
17.7 用Kubernetes部署和管理Scrapy爬虫
17.8 Scrapy分布式爬虫的数据统计方案
17.9 基于Prometheus和Grafana的分布式爬虫监控方案
附录 爬虫与法律