网站首页 软件下载 游戏下载 翻译软件 电子书下载 电影下载 电视剧下载 教程攻略 音乐专区
霍普软件下载网-旗舰软件下载站，将绿色免费商业版破解软件、共享软件、游戏、电影、电视剧一网打尽!
| 软件 | 钻月高性能网页爬虫文章采集器 v6.0 |
| 分类 | 软件下载 |
| 语言 | 简体中文 |
| 大小 | 5.03 MB |
| 版本 | |
| 下载 |
|
| 介绍 |
钻月高性能网页爬虫文章采集器为网页通用采集爬虫，无需要配置模板，即可采集全球任何一个网站的全站精华文章。本软件全名为钻月高性能网页爬虫文章采集器，属于网页蜘蛛爬虫类程序，用于从指定网站采集海量精华文章，将直接丢弃其中的垃圾网页信息，仅保存具备阅读价值和浏览价值的精华文章，自动执行HTM-TXT转换，并抽取标题、正文图片、正文等信息。 钻月高性能网页爬虫文章采集器软件特点如下： 1、软件功能： (1)本软件采用北大天网MD5指纹排重算法，对于相似相同的网页信息，直接丢弃，不再重复采集。 (2)采集信息含义：［［HT］］表示网页标题《TITLE》，［［HA］］表示文章标题《H1》，［［HC］］表示本文章中出现频率TOP10的前10个权重关键字，［［UR］］表示网页中的正文图片链接，［［TXT］］之后为正文。 (3)蜘蛛性能：本软件开启300个线程来保证采集效率。通过采集100万精华文章来执行压力测试，以普通网民的联网计算机为参考标准，单台计算机可以在一天内遍历200万网页、采集20万精华文章，100万精华文章仅需5天就可采集完毕。 (4)正式版与免费版的区别在于：正式版允许将采集的精华文章数据自动保存为ACCESS数据库，免费版不能保存数据到数据库。购买正式版请联系QQ(970093569)。 2、操作步骤： (1)使用前，必须确保你的计算机可以连通网络，且防火墙不要拦截本软件。 (2)运行SETUP.EXE和setup2.exe，以安装操作系统system32支持库14. 我喜欢你，来自左肩，靠近心脏。。 (3)运行spider.exe，输入网址入口，先点"人工添加"按钮，再点"启动"按钮，将开始执行采集。 3、使用注意： (1)抓取深度：填写0表示不限制抓取深度；填写3表示抓到第3层。 (2)通用蜘蛛模式与分类蜘蛛模式的区别：假定网址入口为“http://youxi.baidu.com/”，若选择通用蜘蛛模式，将遍历“baidu.com”里面的每一个网页；若选择分类蜘蛛模式，则只遍历“youxi.baidu.com”里面的每一个网页。 (3)按钮“从MDB导入”：网址入口从TASK.MDB中批量导入。 (4)本软件采集的原则是不越站，例如给的入口是“http://youxi.baidu.com/”，就只在百度站点内部抓取。 (5)本软件采集过程中，偶尔会弹出一个或数个“错误对话框”，请不予理会，倘若关闭“错误对话框”，采集软件就会挂掉。如果软件挂掉，之前已采集的信息，不会丢失。当再次启动软件执行采集，对于以前已采集的信息不会重新采集，可实现良好的增量采集。 (6)使用者如何选择采集题材：例如你若想采集 “股票类”文章，只需把那些“股票类”站点作为网址入口即可。 |
| 截图 | |
| 随便看 |
|
免责声明
本网站所展示的内容均来源于互联网，本站自身不存储、不制作、不上传任何内容，仅对网络上已公开的信息进行整理与展示。
本站不对所转载内容的真实性、完整性和合法性负责，所有内容仅供学习与参考使用。
若您认为本站展示的内容可能存在侵权或违规情形，请您提供相关权属证明与联系方式，我们将在收到有效通知后第一时间予以删除或屏蔽。
本网站对因使用或依赖本站信息所造成的任何直接或间接损失概不承担责任。联系邮箱：101bt@pm.me