node.js自动判断网页编码和带cookie访问

小渣渣

discuz保持登陆状态的cookie（session）
http://www.itsvse.com/thread-3171-1-1.html
(出处: 码农网)

这个是效果！！！！！下面是源码

1. var http = require('http');
   
2. var iconv = require('iconv-lite');    //解决编码转换模块
   
3. var BufferHelper = require('bufferhelper')
   
4. 
   
5. //http请求，自动判断网页编码
   
6. function HttpGet(options,callback)
   
7. {
   
8.     http.get(options,function(res){
   
9.         var bufferHelper = new BufferHelper();
   
10.         var contentType=res.headers['content-type'];
    
11.         var format=null;
    
12.         if(contentType!=undefined)
    
13.         {
    
14.             if(contentType.indexOf("gbk") != -1){
    
15.                 format="gbk";
    
16.             }
    
17.             if(contentType.indexOf("utf-8") != -1){
    
18.                 format="utf-8";
    
19.             }
    
20.             if(contentType.indexOf("gb2312") != -1){
    
21.                 format="gb2312";
    
22.             }
    
23.         }
    
24.         res.on("data", function(chunk) {
    
25.             //注意，此编码必须与抓取页面的编码一致，否则会出现乱码，也可以动态去识别
    
26.             var result = iconv.decode(chunk, format==null?'utf-8':format);
    
27.             callback(result);
    
28.         });
    
29.     }).on("error", function() {
    
30.         callback(null);
    
31.     });
    
32. }
    
33. 
    
34. // Utility function that downloads a URL and invokes
    
35. // callback with the data.
    
36. function download(url, callback) {
    
37.   http.get(url, function(res) {
    
38.     var bufferHelper = new BufferHelper();
    
39.     res.on('data', function (chunk) {
    
40.       bufferHelper.concat(chunk);
    
41.     });
    
42.     res.on("end", function() {
    
43.         //注意，此编码必须与抓取页面的编码一致，否则会出现乱码，也可以动态去识别
    
44.         var result = iconv.decode(bufferHelper.toBuffer(),'GBK');
    
45.         callback(result);
    
46.     });
    
47.   }).on("error", function() {
    
48.     callback(null);
    
49.   });
    
50. }
    
51. 
    
52. 
    
53. //Init("http://www.itsvse.com");
    
54. HttpGet({
    
55.     host: 'www.itsvse.com',
    
56.     port: 80,
    
57.     path: '/home.php?mod=spacecp&ac=profile&op=base',
    
58.     headers:{
    
59.         "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36",
    
60.         "cookie":"ifvP_2132_saltkey=xxx; ifvP_2132_auth=xxx"
    
61.     }
    
62. },function(data){
    
63.     console.log(data);
    
64. })
    
65. console.log("success");
    

复制代码