请教GBK和UTF8之间的URL编码转换问题
发布于 2年前 作者 wheato 8956 次浏览

用了node-iconv库,把UTF-8转换成GBK,然后在encodeURI();但是发现没有真正的转成功。

测试代码

var title = new Iconv('UTF-8', 'GBK').convert('数学').toString();
console.log(encodeURI(title) == '%CA%FD%D1%A7');

请问各位有什么方法,或者是哪个库可以这样转吗?

14 回复

其实我是在写一个爬虫,去抓一个GBK的页面,需要用POST方法去提交参数,如果参数带中文就无法返回正确的结果,英文可以返回。

nodejs里UTF8转GBK,好像是无解的。我试过node-iconv和iconv-lite,都不行,可能是与nodejs有关,因为nodejs本身就不支持gbk,要转成utf8的话还是可以的。

其实是没有问题的,我请求的网页返回的内容也是GBK,用node-iconv可以转成utf-8正确现实。 前面的那个请求参数的问题我也解决了,方案是不是用querystring.stringify.因为这样会把参数中的中文按照utf-8的格式encode。我是将包含中文的参数先用GBK的encode进行编码,然后自己把参数拼接成字符串,这样就不会被转码,从而可以提供正确的请求参数。

@.@靠,恨啊,处理这种编码问题。

JS中的字符串本身就是以字符来存储,而非字节,所以没有所谓的gbk或utf8;而encodeURI本身就会把字串以utf8编码进行url编码;想要以gbk形式转换,就应该以Buffer来按字节处理。应该这样写:

var titleBuffer = new Iconv('UTF-8', 'GBK').convert('数学');  // 不要toString,直接以字节数组形式存于buffer

然后再自己写一个urlEncode方法,遍历titleBuffer,将url保留字符或非法字符转成url编码。如果不知道怎么写,建议参考ECMA-262文档。

@wheato 能贴一下代码吗?我参考一下。

嗯嗯。是滴。我就是后面自己进行url编码的。

@asdf33

var reqBook = http.request(options, function(res) {
        res.setEncoding('binary');
        res.on('data', function (chunk) {
            html += chunk;
        });
        res.on('end',function(){
            html = new Iconv('GBK','UTF-8').convert(new Buffer(html,'binary')).toString();
var ICVL  = require('iconv-lite');

function encodeURIComponent_GBK(str)
{
  if(str==null || typeof(str)=='undefined' || str=='') 
    return '';
  
  var a = str.toString().split('');
  
  for(var i=0; i<a.length; i++) {
    var ai = a[i];
    if( (ai>='0' && ai<='9') || (ai>='A' && ai<='Z') || (ai>='a' && ai<='z') || ai==='.' || ai==='-' || ai==='_') continue;
    var b = ICVL.encode(ai, 'gbk');
    var e = ['']; // 注意先放个空字符串,最保证前面有一个%
    for(var j = 0; j<b.length; j++) 
      e.push( b.toString('hex', j, j+1).toUpperCase() );
    a[i] = e.join('%');
  }
  return a.join('');
}

wow,原来iconv-lite里还提供encode(ai, ‘gbk’),这方法可行。

想请问下楼主,我也在弄一个爬虫,你爬回来的html用什么 库 或者 组件 来解析dom? 想找个省力的工具,免得我自己去匹配,要累死人的。

@rainman 谢谢。春节前我已经找到这个库了。很棒。

用fetch库,功能等同request,有自动转码功能,其实后台自动调用了iconv-lite。 转码不成功100%的原因是对buffer的处理错误。

回到顶部