ASP.NET网络爬虫

小小灰帽

网络上很多爬虫都是用python写的，前段时间，也写了个aps.net的简单爬虫，可以爬取你想要爬的数据。现在很多网站都做了反爬的机制，这让爬虫抓取数据难度变得很大。大多数网站的反爬方式大概有几种：有加验证码的，记录IP地址，黑名单等，还有一些更高级的反爬手段。
这个爬虫也有做了一些应对反爬的措施，绕过验证码，使用代理等，下面贴上部分代码，和大家一起探讨学习，不对的地方请大家指正！
这个爬虫主要是针对某个网站进行爬取。

输入网址后，可以根据网址将数据爬取回来，再通过XPath将数据进行筛选清洗，获得自己想要的数据

1. private void ReceivedData(IAsyncResult ar)
   
2.         {
   
3.             RequestState rs = (RequestState)ar.AsyncState;//获取参数
   
4.             HttpWebRequest req = rs.Req;
   
5.             Stream resStream = rs.ResStream;
   
6.             string url = rs.Url;
   
7.             int depth = rs.Depth;
   
8.             string html = null;
   
9.             int index = rs.Index;
   
10.             int read = 0;
    
11. 
    
12.             try
    
13.             {
    
14.                 read = resStream.EndRead(ar);//获得数据读取结果
    
15.                 if (_stop)//判断是否中止下载
    
16.                 {
    
17.                     rs.ResStream.Close();
    
18.                     req.Abort();
    
19.                     return;
    
20.                 }
    
21.                 if (read > 0)
    
22.                 {
    
23.                     HttpWebResponse res = (HttpWebResponse)req.GetResponse();
    
24. 
    
25.                     if (res.LastModified < DateTime.Now.AddDays(-7))
    
26.                     {
    
27.                         return;//判断页面修改时间是否在当前时间的上一个月内，不是的话不下载当前页面
    
28.                     }
    
29.                     if (res.CharacterSet == "ISO-8859-1")
    
30.                         _encoding = Encoding.GetEncoding("GB2312");
    
31.                     else
    
32.                         _encoding = Encoding.GetEncoding(res.CharacterSet);
    
33.                     StreamReader reader = new StreamReader(res.GetResponseStream());
    
34.                  
    
35.                     string str = reader.ReadToEnd();//读取所有字符
    
36.                
    
37.                     rs.Html.Append(str);// 添加到之前的末尾
    
38.                                        
    
39.                     var result = resStream.BeginRead(rs.Data, 0, rs.BufferSize,
    
40.                         new AsyncCallback(ReceivedData), rs);//再次异步请求读取数据
    
41.                     return;
    
42.                 }
    
43.                 html = rs.Html.ToString();
    
44. 
    
45.                 HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();
    
46.                 doc.LoadHtml(html);
    
47.                 HtmlNode rootnode = doc.DocumentNode;    //XPath路径表达式，这里表示选取所有span节点中的font最后一个子节点，其中span节点的class属性值为num
    
48.                 //根据网页的内容设置XPath路径表达式
    
49.                 string xpathstring = "//*[@id='wrap']/div[8]/div[1]/div[2]/ul/li[2]/div/div[2]/h3/a";
    
50.                 HtmlNodeCollection aa = rootnode.SelectNodes(xpathstring);    //所有找到的节点都是一个集合              
    
51. 
    
52.                 if (aa != null)
    
53.                 {
    
54.                     string innertext = aa[0].InnerText;
    
55.                 }

复制代码

要绕过反爬，可以用代理IP去访问，可以在网上先下载或者抓取一份高匿IP，然后随机切换代理IP去抓取

1. //验证ip:端口是否能访问目标网站
   
2.         public static string Check(string strip, int port)
   
3.         {
   
4.             WebProxy proxyObject = new WebProxy(strip, port);//str为IP地址 port为端口号
   
5.             HttpWebRequest Req = (HttpWebRequest)WebRequest.Create("http://news.sina.com.cn/");
   
6.             string ip = "http://" + strip + ":" + port + "/";
   
7.             proxyObject.Address = new Uri(ip);
   
8.             Req.Proxy = proxyObject; //设置代理
   
9. 
   
10.             HttpWebResponse Resp = (HttpWebResponse)Req.GetResponse();
    
11.             string str = "";
    
12.             string OkStr = "";
    
13.             Encoding code = Encoding.GetEncoding("UTF-8");
    
14.             using (StreamReader sr = new StreamReader(Resp.GetResponseStream(), code))
    
15.             {
    
16.                 string IPpoxy = "";
    
17.                 if (sr != null)
    
18.                 {
    
19.                     try
    
20.                     {
    
21.                         str = sr.ReadToEnd();
    
22.                         //StringSub.substr(str, "<h2>", "</h2>", 0);
    
23.                         //str = str.Substring(str.IndexOf(start) + start.Length);
    
24.                         //OkStr = str.Substring(0, str.IndexOf(last));
    
25.                         //MessageBox.Show("验证成功！显示IP为" + OkStr);
    
26.                         if (str != "")
    
27.                         {
    
28.                             IPpoxy = strip + ":" + port;
    
29.                         }
    
30.                         else
    
31.                         {
    
32.                             IPpoxy = "";
    
33.                         }
    
34.                     }
    
35.                     catch
    
36.                     {
    
37.                         //MessageBox.Show("文件读取失败！");
    
38.                         return "";
    
39.                     }
    
40.                     finally
    
41.                     {
    
42.                         sr.Close();
    
43.                     }
    
44.                 }
    
45.                 return IPpoxy;
    
46.             }
    
47.         }

复制代码

上面这段代码是先判断切换的IP是否能访问
具体代码看源码吧，把源码提供出来！

源码下载

游客，如果您要查看本帖隐藏内容请回复

小小灰帽

小渣渣 发表于 2017-11-6 18:44
帮你整理了一下帖子内容

谢谢，刚想删除一条重复的呢！辛苦了！

18479403

我想知道你写的那个存储过程是什么样的，老哥。

小渣渣

帮你整理了一下帖子内容   

lightweight

谢谢分享，来看看

dotnet_charlay

看看源码先

do827261756

ASP.NET网络爬虫

小猴子哦

学习学习

zherp

ASP.NET网络爬虫 不错的思路!

cd37ycs

ASP.NET网络爬虫

调皮酉

感谢分享，学习一下。