exports.index = function(req, res){ var Crawler = require(“crawler”).Crawler;
var c = new Crawler({ "maxConnections":10, "debug":true, "forceUTF8":true, // This will be called for each crawled page "callback":function(error,result,$) {
// $ is a jQuery instance scoped to the server-side DOM of the page
var te=$("#top .gengxin table tr:first").html();
console.log(te);
res.render('index',{title:te});
}
}); c.queue(“http://psv.tgbus.com”); };
后台输出: GET http://psv.tgbus.com … Got http://psv.tgbus.com (107044 bytes)… forceUTF8 true Detected charset windows-1252 (95% confidence)
5 回复
@anuxs 谢谢大神。。 搞了一天了。啥request,bufferHelper,needle,iconv,spider在编码问题上 都是没用的。最后才看见了fetch…解决了各种编码问题 通用性极强… 虽然是老帖子,但是确实解决了问题 btw,编码问题在http://stackoverflow.com完全不知道搜索啥关键字 英文太差了
回到顶部