在大数据的时代背景下，使用网络爬虫是获取数据的一种重要手段，它可以减少我们生活中不必要的工作量。但是，千万不能乱用，因为涉及数据安全法，建议大家了解相关资料，合理规划爬虫。
本书介绍爬虫相关的常用工具及类库，基于Web、App的采集及项目的部署，不使用框架的普通爬虫脚本及使用两种爬虫框架的项目级爬虫。在实际工作中，feapder、scrapy这两个爬虫框架比较热门，企业使用得也比较多。掌握了爬虫框架，会让我们的开发工作事半功倍。本书主要包含requests、HTML、lxml、MySQL、JSON、JavaScript、Redis、jadx、pycharm、feappder、scrapy等内容，具体包含7个爬虫案例：基于requests+xpath采集网站文本数据、使用feapder爬虫框架爬取房屋租售数据、使用分布式爬虫采集金融数据、使用批次分布式爬虫采集天气数据、使用scrapy爬虫爬取电影数据、App爬虫的实践、企业项目部署与应用。
本书入门门槛低，为便于上手操作，从所需技术和基础理论出发，再到每个步骤都经过验证，帮助读者创建开发环境。本书既可以作为高等院校大数据及其相关专业学生的教材，又可以作为对数据类工作感兴趣、有一定Python基础的人员的参考书。

项目一 基于requests+xpath采集网站文本数据
任务一 开发环境的准备和搭建
职业能力目标
任务描述与要求
知识储备
一、Python和PyCharm程序编辑器
二、原生类库requests
三、原生类库lxml
四、原生类库pymysql
任务计划与决策
任务实施
任务检查与评价
任务小结
任务拓展
任务二 爬虫程序实践
职业能力目标
任务描述与要求
知识储备
一、认识HTML
二、网页代码结构
三、通过浏览器查看网页源代码
任务计划与决策
任务实施
任务检查与评价
任务小结
任务拓展
项目二 使用feapder爬虫框架爬取房屋租售数据
任务一 开发环境的准备和搭建
职业能力目标
任务描述与要求
知识储备
任务计划与决策
任务实施
任务检查与评价
任务小结
任务拓展
任务二 爬虫程序实践
职业能力目标
任务描述与要求
知识储备
任务计划与决策
任务实施
任务检查与评价
任务小结
任务拓展
项目三 使用分布式爬虫采集金融数据
任务一 开发环境的准备和搭建
职业能力目标
任务描述与要求
知识储备
一、redis
二、Another Redis Desktop Manager
任务计划与决策
任务实施
任务检查与评价
任务小结
任务拓展
任务二 Spider爬虫程序实践
职业能力目标
任务描述与要求
知识储备
一、分布式爬虫Spider
二、Spider进阶
三、Spider的方法
任务计划与决策
任务实施
任务检查与评价
任务小结
任务拓展
项目四 使用批次分布式爬虫采集天气数据
任务一 学习feapder架构设计
职业能力目标
任务描述与要求
知识储备
任务计划与决策
任务实施
任务检查与评价
任务小结
任务拓展
任务二 爬虫程序实践
职业能力目标
任务描述与要求
知识储备
任务计划与决策
任务实施
任务检查与评价
任务小结
任务拓展
项目五 使用Scrapy爬虫爬取电影数据
任务一 开发环境的准备和搭建
职业能力目标
任务描述与要求
知识储备
一、Scrapy
二、JavaScript
任务计划与决策
任务实施
任务检查与评价
任务小结
任务拓展
任务二 爬虫程序实践
职业能力目标
任务描述与要求
知识储备
一、JSON简介
二、JSON使用场景
三、在Python中使用JSON
任务计划与决策
任务实施
任务检查与评价
任务小结
任务拓展
项目六 App爬虫的实践
任务一 开发环境的准备和搭建
职业能力目标
任务描述与要求
知识储备
一、Charles
二、Jadx
任务计划与决策
任务实施
任务检查与评价
任务小结
任务拓展
任务二 爬虫程序实践
职业能力目标
任务描述与要求
知识储备
任务计划与决策
任务实施
任务检查与评价
任务小结
任务拓展
项目七 企业项目部署与应用
任务一 开发环境的准备和搭建
职业能力目标
任务描述与要求
知识储备
一、Linux系统
二、Docker简介
三、FEAPLAT简介
任务计划与决策
任务实施
任务检查与评价
任务小结
任务拓展
任务二 爬虫管理和部署
职业能力目标
任务描述与要求
知识储备
一、使用说明
二、项目运行
三、示例演示
任务计划与决策
任务实施
任务检查与评价
任务小结
任务拓展