c#抓取并导出网页里面所有超链接方法

小渣渣

1. public class app
   
2.     {
   
3.         // 获取指定网页的HTML代码
   
4.         public static string GetPageSource(string URL)
   
5.         {
   
6.             Uri uri = new Uri(URL);
   
7. 
   
8.             HttpWebRequest hwReq = (HttpWebRequest)WebRequest.Create(uri);
   
9.             HttpWebResponse hwRes = (HttpWebResponse)hwReq.GetResponse();
   
10. 
    
11.             hwReq.Method = "Get";
    
12. 
    
13.             hwReq.KeepAlive = false;
    
14. 
    
15.             StreamReader reader = new StreamReader(hwRes.GetResponseStream(), System.Text.Encoding.GetEncoding("GB2312"));
    
16. 
    
17.             return reader.ReadToEnd();
    
18.         }
    
19.         // 提取HTML代码中的网址
    
20.         public static ArrayList GetHyperLinks(string htmlCode)
    
21.         {
    
22.             ArrayList al = new ArrayList();
    
23. 
    
24.             string strRegex = @"http://([\w-]+\.)+[\w-]+(/[\w- ./?%&=]*)?";
    
25. 
    
26.             Regex r = new Regex(strRegex, RegexOptions.IgnoreCase);
    
27.             MatchCollection m = r.Matches(htmlCode);
    
28. 
    
29.             for (int i = 0; i <= m.Count - 1; i++)
    
30.             {
    
31.                 bool rep = false;
    
32.                 string strNew = m[i].ToString();
    
33. 
    
34.                 // 过滤重复的URL
    
35.                 foreach (string str in al)
    
36.                 {
    
37.                     if (strNew == str)
    
38.                     {
    
39.                         rep = true;
    
40.                         break;
    
41.                     }
    
42.                 }
    
43. 
    
44.                 if (!rep) al.Add(strNew);
    
45.             }
    
46. 
    
47.             al.Sort();
    
48. 
    
49.             return al;
    
50.         }
    
51.         // 把网址写入xml文件
    
52.         public static void WriteToXml(string strURL, ArrayList alHyperLinks)
    
53.         {
    
54.             XmlTextWriter writer = new XmlTextWriter("HyperLinks.xml", Encoding.UTF8);
    
55. 
    
56.             writer.Formatting = Formatting.Indented;
    
57.             writer.WriteStartDocument(false);
    
58.             writer.WriteDocType("HyperLinks", null, "urls.dtd", null);
    
59.             writer.WriteComment("提取自" + strURL + "的超链接");
    
60.             writer.WriteStartElement("HyperLinks");
    
61.             writer.WriteStartElement("HyperLinks", null);
    
62.             writer.WriteAttributeString("DateTime", DateTime.Now.ToString());
    
63. 
    
64. 
    
65.             foreach (string str in alHyperLinks)
    
66.             {
    
67.                 string title = GetDomain(str);
    
68.                 string body = str;
    
69.                 writer.WriteElementString(title, null, body);
    
70.             }
    
71. 
    
72.             writer.WriteEndElement();
    
73.             writer.WriteEndElement();
    
74. 
    
75.             writer.Flush();
    
76.             writer.Close();
    
77.         }
    
78. 
    
79.         // 获取网址的域名后缀
    
80.         static string GetDomain(string strURL)
    
81.         {
    
82.             string retVal;
    
83. 
    
84.             string strRegex = @"(\.com/|\.net/|\.cn/|\.org/|\.gov/)";
    
85. 
    
86.             Regex r = new Regex(strRegex, RegexOptions.IgnoreCase);
    
87.             Match m = r.Match(strURL);
    
88.             retVal = m.ToString();
    
89. 
    
90.             strRegex = @"\.|/$";
    
91.             retVal = Regex.Replace(retVal, strRegex, "").ToString();
    
92. 
    
93.             if (retVal == "")
    
94.                 retVal = "other";
    
95. 
    
96.             return retVal;
    
97.         }
    
98. 
    
99. 
    
100. 
     
101.     }

复制代码

1. private void btnkaishi_Click(object sender, EventArgs e)
   
2.         {
   
3.             string strCode;
   
4.             ArrayList alLinks;
   
5. 
   
6. 
   
7.             if (txtapi.Text == "")
   
8.             {
   
9.                 MessageBox.Show("请输入网址");
   
10.                 return;
    
11.             }
    
12.             string strURL = txtapi.Text.ToString().Trim();
    
13.             if (strURL.Substring(0, 7) != @"http://")
    
14.             {
    
15.                 strURL = @"http://" + strURL;
    
16.             }
    
17.             MessageBox.Show("正在获取页面代码，请稍后...");
    
18.             strCode = app.GetPageSource(strURL);
    
19.             MessageBox.Show("正在提取超链接，请稍侯...");
    
20.             alLinks = app.GetHyperLinks(strCode);
    
21.             MessageBox.Show("正在写入文件，请稍侯...");
    
22.             app.WriteToXml(strURL, alLinks);
    
23. 
    
24.         }

复制代码