爬取腾讯新闻失败
这个图片是腾讯新闻,地址 http://news.qq.com/photon/bigpic.htm 在用下面的代码爬取的时候 ul 和 li 标签怎么获取不到呢?为什么$(#mod-big-list).html() 是空呢?
app.get('/', function (req, res, next) {
superagent.get('http://news.qq.com/photon/bigpic.htm')
.end(function (err, sres) {
if (err) {
return next(err);
}
var $ = cheerio.load(sres.text);
var items = $(#mod-big-list).html();
res.send(items);
});
});
5 回复
应该是动态加载的吧。
来自酷炫的 CNodeMD
@axetroy 嗯嗯可能是,请问 动态加载的有什么方法可以爬取到么?
@NanShanJi 我是想爬取动态加载的HTML内容,请问有什么方法么?
@JustforNode 可以使用这个库puppeteer,模拟真实的用户访问。管他是不是动态加载的