node.js抓取gbk网站的页面

小渣渣

我们码农网就是gbk的网页编码，如果直接抓取会出现乱码的现象，

因为node.js默认是utf-8格式，也就是抓取之后，会当作utf-8来处理，导致乱码。

需要转码一下！！



代码：

1. var http = require('http');
   
2. var iconv = require('iconv-lite');    //解决编码转换模块
   
3. var BufferHelper = require('bufferhelper')
   
4. 
   
5. // Utility function that downloads a URL and invokes
   
6. // callback with the data.
   
7. function download(url, callback) {
   
8.   http.get(url, function(res) {
   
9.     var bufferHelper = new BufferHelper();
   
10.     res.on('data', function (chunk) {
    
11.       bufferHelper.concat(chunk);
    
12.     });
    
13.     res.on("end", function() {
    
14.         //注意，此编码必须与抓取页面的编码一致，否则会出现乱码，也可以动态去识别
    
15.         var result = iconv.decode(bufferHelper.toBuffer(),'GBK');
    
16.         callback(result);
    
17.     });
    
18.   }).on("error", function() {
    
19.     callback(null);
    
20.   });
    
21. }
    
22. 
    
23. function Init(url)
    
24. {
    
25.     download(url, function(data)
    
26.     {
    
27.         console.log(data);
    
28.     })
    
29. }
    
30. 
    
31. Init("http://www.itsvse.com");
    

复制代码

注意：需要引用iconv-lite和bufferhelper的包

npm install iconv-lite -g
npm install bufferhelper -g