最近做的一个爬虫,功能比较全面
发布于 10个月前 作者 dlutwuwei 733 次浏览

https://github.com/dlutwuwei/CrawlerX 在github上找过一些爬虫,都不带深度遍历,总缺少一些东西,现在做了一个,对请求并发做了控制,可以设置并发数,对不同URL做不同处理,可以设置中文(GBK)的解码,有需要的人看看,有什么需要改进的,欢迎提意见。

回到顶部