内容推荐 本书主要介绍如何使用Python语言进行网络爬虫程序的开发,从Python语言的基本特性入手,详细介绍Python网络爬虫开发的多个方面,涉及HTTP、HTML、正则表达式、JavaScript、自然语言处理、数据处理与科学计算等不同领域的内容。全书共12章,包括基础篇、进阶篇、提高篇和实战篇4个部分。基础篇包括第1、2、3章,分别为Python基础及网络爬虫、静态网页抓取、数据存储。进阶篇包括第4、5、6章,分别为JavaScript与动态内容、模拟登录与验证码、爬虫数据的分析与处理。提高篇包括第7、8、9章,分别为爬虫的灵活性和多样性、Selenium模拟浏览器与网站测试、爬虫框架Scrapy与反爬虫。实战篇提供了3个实战项目供读者学习参考。本书内容覆盖网络数据抓取与爬虫编程中的主要知识和前沿技术。同时,本书在重视理论基础的前提下,从实用性和丰富度出发,结合实例演示爬虫程序编写的核心流程,将理论与实践结合,力求提高读者的网络爬虫实操技能。 本书可作为高等院校数据科学、统计学、计算机科学、软件工程等相关专业课程的教材,也可作为Python语言初学者、网络爬虫技术爱好者的参考书。 目录 基础篇 第1章 Python基础及网络爬虫 1.1 了解Python语言 1.1.1 Python是什么 1.1.2 Python的应用现状 1.2 配置安装Python开发环境 1.2.1 在Windows上安装 1.2.2 在Ubuntu和macOS上安装 1.2.3 IDE的使用:以PyCharm为例 1.2.4 Jupyter Notebook简介 1.3 Python基础知识 1.3.1 “Hello, World!”与数据类型 1.3.2 逻辑语句 1.3.3 Python中的函数与类 1.3.4 更深入了解Python 1.4 互联网、HTTP与HTML 1.4.1 互联网与HTTP 1.4.2 HTML 1.5 Hello Spider 1.5.1 编写第一个爬虫程序 1.5.2 对爬虫的思考 1.6 分析网站 1.6.1 robots.txt与Sitemap简介 1.6.2 网站技术分析 1.6.3 网站所有者信息分析 1.6.4 使用开发者工具检查目标网页 章节实训:Python环境的配置与爬虫的运行 思考与练习 第2章 静态网页抓取 2.1 从抓取开始 2.2 正则表达式 2.2.1 什么是正则表达式 2.2.2 正则表达式的简单使用 2.3 BeautifulSoup爬虫 2.3.1 安装BeautifulSoup 2.3.2 BeautifulSoup的基本用法 2.4 XPath与lxml 2.4.1 XPath 2.4.2 lxml与XPath的使用 2.5 遍历页面 2.5.1 抓取下一个页面 2.5.2 完成爬虫 2.6 使用API 2.6.1 API简介 2.6.2 API使用示例 章节实训:哔哩哔哩直播间信息抓取练习 思考与练习 …… 进阶篇 提高篇 实战篇 参考文献 |