介绍 |
1.2.1完善了多方面的功能,易用,稳定。 注意:1.2 版本的数据收集器不能兼容以前版本的配置脚本。 具有很强的灵活性,胜任各种不同结构的网站的处理。 有任何使用中的问题请联系: 讨论群: 601169305 QQ: 2146651351 微信: AIChangeLife 使用方法: 1.先分析网站的网页结构,来配置抓取策略(有全面的流程说明,如不懂参考视频教程)。 2.运行脚本,执行数据处理工作。 3. Scrapy开发辅助支持,包括生成Scrapy代码段,将Scrapy Xpath路径直接输入Scrapy脚本。 4.HTTP请求日志 数据输出的方式包括: 1. 通过CSV文件输出 EXCEL等编辑软件 大部分数据库软件支持从CSV文件导入 2. 通过程序内置数据库(SQLITE)输出 SQLITEBrowser支持SQLITE数据库SQL语句查询: http://sqlitebrowser.org/ https://github.com/sqlitebrowser/sqlitebrowser/releases/download/v3.10.0/DB.Browser.for.SQLite-3.10.0-win32.exe 支持广泛,有很多选择 3.通过MYSQL数据库输出(通过官方的MYSQL安装包下载后,直接安装就可以),数据使用 UTF-8的方式来保存。 |