需要一款可以在等到Javascript执行完后再提取页面数据得"爬虫"工具?
发布于 6 个月前 作者 sigoden 389 次浏览 来自 问答

我需要一款爬虫提取一批网页的数据,但网页中有一些内容是Ajax加载的(在Lynx下不显示),像request之类的库根本无法获取数据,所以想请教在脚本执行完之后的才获取页面得方案。 PhantomJS也许可以但太重,而且是命令行工具不是库,感觉直接嵌入系统不太合适。如果没有其它方案的话,也只能试试了。

回到顶部