稀酷客

 找回密码
 加入稀酷客

只需一步,快速开始

关注微信
免费下载

CatGate一个基于浏览器插件的数据抓取工具

[推广链接]
立即下载
by : lanyi10000 | QQ | 发表于 2017-7-7 09:15:49 | 查看: 81|回复: 0
CatGate一个基于浏览器插件的数据抓取工具 酷软福利

CatGate 是一个基于浏览器插件的数据抓取工具。做成浏览器插件无需模拟登入,能最真实的模仿用户行为和特征。
① CatGate 会访问这个URL,这个URL应该返回一个Json格式的数组,每一个元素一个字符串(即网址)。点 ② 按钮即可载入数据,并可按 ③ 进行查看,会自动排重。

⑤ CatGate 抓取到数据后,会直接 POST 给这个URL,key 为 content , 通过 $_REQUEST['content'] 即可获取抓取内容。

⑥ 默认一秒抓取一次,如果抓取失败太多,可以增加秒数。

④ 这是一个高级用法,就是 ① 这个 URL 可以不停的新增 URL,CatGate 会自动每隔一秒(可设置)去抓取并合并进来。

https://github.com/easychen/catgate

打赏列表

~~~还没有人打赏~~~
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 加入稀酷客  

本版积分规则

点击这里给我发消息 |Archiver|手机版|小黑屋|ckook ( 冀ICP备14004526号-1 )

GMT+8, 2017-7-23 18:54 , Processed in 1.187522 second(s), 42 queries .

Powered by Discuz! X3

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表