问题一:今天在用node爬一个网页,但是只能爬到最初的几张图片,后面的图片都是未加载的空白图片。 如何获取通过ajax加载的资源数据呢?
问题二:从网页上爬取的图片url在自己的项目上无法正常显示,猜测是网站有反盗链。。。如何破之~?
4 回复
获取需要通过 ajax加载的数据的话,那必须要用到:http://phantomjs.org/ 了,这就是一个无界面的浏览器,可以看一下它的API,还有一个能用的是它的进一步封装版:http://casperjs.org/。