爬虫,想用到 phantomjs模块 求大神指点
想要爬取 网易新闻但是网上的很多教程只爬取了一部分,怎么样用phantomjs 来模拟点击加载更多按钮和 这些选项按钮呢
7 回复
# ++==^ 粗体^==++ # 来自VueCnodeMD
如果是link的话就是访问新的网页进行抓取,如果是按钮加载更多 你也可以看🌰 里面有我之前写的笔记
var result = await page.evaluate(function() {
//...找到按钮模拟点击。
var element = document.getElementByid('...')
element.click()
return ...
})
不需要模拟点击直接请求不同的链接就好了 如果是点击按钮使用ajax渲染的话就直接抓ajax链接
@without-yy 嗯嗯 这种方法我懂,但是当处理大量数据的时候不能一个个再抓取ajax链接了不是
@Sunshine168 谢谢大神,我看了一点你的文章,写的很棒,还没有完全懂,准备好好研究一下
这种站点也需要phantomjs???
@yyrdl 拿这个练手,想用一下这种方法