我开发了一个云爬虫开发框架，可以在云上编写和运行爬虫，求种子用户来拍砖 - CNode技术社区

我觉得对于开发者来说，能脚本化编写爬虫是一件挺开心的事情(￣▽￣)"。所以我们团队开发了一个专门让开发者用简单的几行 javascript 就能在云上编写和运行复杂爬虫的系统，叫神箭手云爬虫开发平台： http://www.shenjianshou.cn 。只要有些代码基础，稍微参考下开发者的文档，文档地址：http://doc.shenjianshou.cn/ 就能很快的写出爬虫来了。这里也有些网站的爬虫源码可供参考，https://github.com/ShenJianShou/crawler_samples 欢迎同行们来试用拍砖，尽情给俺们提意见。有想法的可以加群讨论： 342953471

flamingtop 1楼•14 天前

支持一下。提供国外节点吗？有翻墙采集需求。

alsotang 2楼•14 天前

看着有点意思

haichongsihao 3楼•14 天前

star

sanwenshi 4楼•13 天前

@flamingtop 可以，需要翻墙的也能采集

sanwenshi 5楼•13 天前

@alsotang 多谢支持，有兴趣的话可以加群讨论~

winglight 6楼•13 天前

进了群问了问题没人理啊。。。

sanwenshi 7楼•13 天前

@winglight 一般技术都会回答的，你问的是什么问题？

flamingtop 8楼•13 天前

winglight 9楼•13 天前

我就是问：是否支持dicuz论坛的抓取？

sanwenshi 10楼•12 天前

@winglight 当然支持了，而且抓取的结果可以直接发布到DZ论坛，主流CMS系统都支持的。

MirrorWang 11楼•12 天前

mark From Noder

cobrano1 12楼•12 天前

需要登陆的页面也可以抓取么？ https 的呢？

sanwenshi 13楼•12 天前

@cobrano1 也可以的，你想爬哪个网站的

santosvalen 14楼•11 天前

正想找找相关资料，node爬虫必将崛起

kenshinhu 15楼•11 天前

不错的样子咯

13241491189 16楼•11 天前

公司已经在玩Node爬虫了　资料正好可以参考参考

liuxufei 17楼•11 天前

不错，玩玩看

sanwenshi 18楼•11 天前

@santosvalen 多谢支持~

sanwenshi 19楼•11 天前

@13241491189 有兴趣的话欢迎加群交流哦~

13241491189 20楼•11 天前

Qquanwei 21楼•10 天前

再开个ftp服务造福大众~

sanwenshi 22楼•7 天前

@Qquanwei 哈哈，可以考虑哦

DevinXian 23楼•7 天前

@Qquanwei 我是网警，小伙子，一起喝杯茶吧～

enmoon 24楼•7 天前

挺好的，网站访问好慢

broven 25楼•6 天前

不错,正有这个需求

sanwenshi 26楼•6 天前

@enmoon 现在好些了嘛

sanwenshi 27楼•6 天前

@broven 欢迎来写爬虫哦

sanwenshi 28楼•5 天前

多谢大家的支持欢迎对爬虫有兴趣的，没兴趣的都过来交流~

sanwenshi 29楼•3 天前

最近有活动，写爬虫写的好，还有现金奖励哦有兴趣参加的看看这个 http://my.oschina.net/datafactory12/blog/684769?fromerr=VHMtXaAJ

o6875461 30楼•3 天前

看起来不错哇～

hillwah 31楼•3 天前

不错哦，有个python的pyspider也挺好

sanwenshi 32楼•2 天前

@o6875461 多谢支持，欢迎过来写爬虫~

回到顶部