![]()
内容推荐 \t本书围绕Python网络爬虫技术及相关框架,主要参照1+X数据采集职业技能等级要求,以学习情境方式介绍了基于静态网页的爬虫技术及相关框架,如Requests、BeautifulSoup4、XPath、CSV和PyMySQL;基于动态网页的爬虫技术及框架,如Scrapy、Selenium、JSON、PhantomJS和Pillow;基于App应用的爬虫技术与应用软件,如Fiddler;反爬虫策略,如用Headers模拟浏览器,用Cookies记录身份信息;通过结合Scrapy和Redis提高网络爬虫的效率、安全性及数据一致性。 本书理论分析相对较少,偏重动手实践,适用于应用型本科、高职高专院校大数据技术、人工智能技术应用专业学生和希望快速进入大数据、人工智能领域的读者。
目录 导言 单元1 爬取静态网页 学习情境1.1 使用Requests+BeautifulSoup4+CSV爬取天气预报数据 学习情境描述 学习目标 任务书 获取信息 工作计划 进行决策 知识准备 相关案例 工作实施 评价反馈 拓展思考 学习情境1.2 使用Mechanize+BeautifulSoup4+CSV爬取百度搜索结果数据 学习情境描述 学习目标 任务书 获取信息 工作计划 进行决策 知识准备 相关案例 工作实施 评价反馈 拓展思考 学习情境1.3 使用Scrapy+XPath+PyMySQL爬取汽车销售分页数据 学习情境描述 学习目标 任务书 获取信息 工作计划 进行决策 知识准备 相关案例 工作实施 评价反馈 拓展思考 单元2 爬取动态网页 学习情境2.1 使用Scrapy+JSON+PyMySQL爬取百度图片数据 学习情境描述 学习目标 任务书 获取信息 工作计划 进行决策 知识准备 相关案例 工作实施 评价反馈 拓展思考 学习情境2.2 使用Selenium+PhantomJS爬取漫画数据 学习情境描述 学习目标 任务书 获取信息 工作计划 进行决策 知识准备 相关案例 工作实施 评价反馈 拓展思考 单元3 爬取App数据 学习情境3.1 使用Fiddler+Requests爬取新闻类App接口数据 学习情境描述 学习目标 任务书 获取信息 工作计划 进行决策 知识准备 相关案例 工作实施 评价反馈 拓展思考 单元4 反爬虫策略及解决办法 学习情境4.1 常见反爬虫策略及解决办法 学习情境描述 学习目标 教学引导 知识准备 拓展思考 学习情境4.2 处理输入式验证码校验 学习情境描述 学习目标 任务书 获取信息 进行决策 知识准备 相关案例 工作实施 评价反馈 拓展思考 单元5 爬虫优化策略 学习情境 Scrapy+Redis分布式爬取电影数据 学习情境描述 学习目标 任务书 获取信息 工作计划 进行决策 知识准备 相关案例 工作实施 评价反馈 拓展思考 附录A 《Python网络爬虫》1+X对照表 |