张涛，毕业于中国科学技术大学，获硕士学位。目前在科大讯飞公司从事人工智能教育培训与研究工作。加入科大讯飞公司之前，曾经在知名的日资企业任研发经理，负责日本大型证券系统的设计与开发。有7年大学课程改革与教学经验，主要研究方向为Python网络爬虫、数据分析和机器学习。

前言篇 基础篇章 Python基础21.1 Python简介21.1.1 Python简史21.1.2 搭建Python环境31.1.3 安装PyCharm集成开发环境61.2 Python基本语法71.2.1 基本数据类型和运算71.2.2 运算符和表达式81.2.3 条件判断语句91.2.4 循环语句101.2.5 字符串121.3 Python内置数据结构141.3.1 列表151.3.2 字典161.3.3 元组171.3.4 遍历对象集合171.4 Python模块化设计181.4.1 函数181.4.2 迭代器（iterator）201.4.3 生成器（Generator）201.4.4 类和对象221.4.5 文件与异常231.5 本章小结25第2章 网络爬虫基础262.1 HTTP基本原理262.1.1 URL介绍272.1.2 HTTP和HTTPS协议272.1.3 HTTP请求（Request）272.1.4 HTTP响应（Response）302.2 网页基础322.2.1 HTML文档332.2.2 网页的结构332.2.3 节点树及节点之间的关系342.3 使用XPath提取网页信息362.3.1 XPath介绍362.3.2 XPath常用路径表达式362.3.3 XPath带谓语的路径表达式392.4 本章小结40第3章 Scrapy框架介绍413.1 网络爬虫原理413.1.1 爬虫执行的流程413.2 Scrapy框架结构及执行流程423.2.1 Scrapy框架结构423.2.2 Scrapy执行流程443.3 Scrapy安装443.3.1 使用pip安装Scrapy443.3.2 常见安装错误453.3.3 验证安装463.4 个网络爬虫463.4.1 需求分析463.4.2 创建项目473.4.3 分析页面483.4.4 实现Spider爬虫功能493.4.5 运行爬虫503.4.6 常见问题513.5 本章小结52第4章 Scrapy网络爬虫基础534.1 使用Spider提取数据534.1.1 Spider组件介绍534.1.2 重写start_requests()方法554.1.3 Request对象574.1.4 使用选择器提取数据584.1.5 Response对象与XPath594.1.6 Response对象与CSS614.1.7 进一步了解Response对象624.1.8 多页数据的爬取634.2 使用Item封装数据644.2.1 定义Item和Field654.2.2 使用ItemLoader填充容器664.3 使用Pipeline处理数据694.3.1 Item Pipeline介绍704.3.2 编写自己的Item Pipeline704.3.3 启用Item Pipeline714.3.4 多个Item Pipeline714.3.5 保存为其他类型文件724.4 项目案例：爬取链家网二手房信息754.4.1 项目需求754.4.2 技术分析764.4.3 代码实现及解析774.5 本章小结85第2篇 进阶篇第5章 数据库存储885.1 MySQL数据库885.1.1 关系型数据库概述885.1.2 下载和安装MySQL数据库885.1.3 数据库管理工具Navicat925.1.4 Python访问MySQL数据库945.1.5 项目案例975.2 MongoDB数据库1005.2.1 NoSQL概述1005.2.2 MongoDB介绍1005.2.3 MongoDB的下载和安装1015.2.4 Python访问MongoDB数据库1025.2.5 项目案例1085.3 Redis数据库1115.3.1 Redis的下载和安装1115.3.2 Python访问Redis1135.3.3 项目案例1185.4 本章小结121第6章 JavaScript与AJAX数据爬取1226.1 JavaScript简介1226.2 项目案例：爬取QQ音乐榜单歌曲1226.2.1 项目需求1226.2.2 技术分析1236.2.3 代码实现及解析1266.2.4 更常见的动态网页1286.3 AJAX简介1296.4 项目案例：爬取豆瓣电影信息1306.4.1 项目需求1306.4.2 技术分析1306.4.3 代码实现及解析1336.5 本章小结135第7章 动态渲染页面的爬取1367.1 Selenium实现动态页面爬取1367.1.1 Selenium安装1367.1.2 Selenium简单实现1377.1.3 Selenium语法1387.2 项目案例：爬取今日头条热点新闻1457.2.1 项目需求1457.2.2 技术分析1457.2.3 代码实现及解析1477.3 Splash实现动态页面爬取1517.3.1 Splash介绍1517.3.2 Splash环境搭建1527.3.3 Splash模块介绍1567.4 项目案例：爬取一号店中的iPhone手机信息1627.4.1 项目需求1627.4.2 技术分析1637.4.3 代码实现及解析1657.5 本章小结168第8章 模拟登录1698.1 模拟登录解析1698.1.1 登录过程解析1698.1.2 模拟登录的实现1718.2 验证码识别1748.2.1 使用OCR识别验证码1748.2.2 处理复杂验证码1768.2.3 五花八门的验证码1778.3 Cookie自动登录1778.3.1 Cookie介绍1788.3.2 获取Cookie的库—browsercookie1798.4 项目案例：爬取起点中文网某用户的书架信息1808.4.1 项目需求1808.4.2 技术分析1808.4.3 代码实现及解析1828.5 本章小结184第9章 突破反爬虫技术1859.1 反爬虫技术及突破措施1859.2 伪装成不同的浏览器1879.2.1 UserAgentMiddleware中间件介绍1879.2.2 实现伪装成随机浏览器1889.2.3 更简单的方法1919.3 使用HTTP代理服务器1929.3.1 HTTP代理服务器1929.3.2 获取免费代理1939.3.3 实现随机代理1999.4 本章小结2020章 文件和图片下载20310.1 文件下载20310.1.1 FilesPipeline执行流程20310.2 项目案例：爬取seaborn案例源文件20410.2.1 项目需求20

本书从零开始，循序渐进地介绍了目前*流行的网络爬虫框架Scrapy。本书共13章。其中~4章为基础篇，介绍了Python基础、网络爬虫基础、Scrapy框架及基本的爬虫功能。第5~10章为进阶篇，介绍了如何将爬虫数据存储于MySQL、MongoDB和Redis数据库中；如何实现异步的Ajax数据的爬取；如何使用Selenium和Splash实现动态网站的爬取；如何实现模拟登录功能；如何突破反爬虫技术，以及如何实现文件和图片的下载。1~13章为不错篇，介绍了使用Scrapy-Redis实现分布式爬虫；使用Scrapyd和Docker部署分布式爬虫；使用Gerapy管理分布式爬虫，并实现了一个抢票软件的综合项目。本书适合爬虫初学者、爬虫爱好者及高校相关学生，也适合数据爬虫工程师作为参考读物，同时也适合各大院校和培训机构作为教材使用。