c# 抓取网页的img src带参数的图片链接，并下载

admin

1. using System;
   
2. using System.Collections.Generic;
   
3. using System.ComponentModel;
   
4. using System.Data;
   
5. using System.Drawing;
   
6. using System.IO;
   
7. using System.Linq;
   
8. using System.Net;
   
9. using System.Text;
   
10. using System.Text.RegularExpressions;
    
11. using System.Threading;
    
12. using System.Windows.Forms;
    
13. 
    
14. namespace ImageCollection
    
15. {
    
16.     public partial class Form1 : Form
    
17.     {
    
18.         private static string Path = AppDomain.CurrentDomain.BaseDirectory + "img";
    
19.         public Form1()
    
20.         {
    
21.             InitializeComponent();
    
22.         }
    
23. 
    
24.         private void btnshuaqu_Click(object sender, EventArgs e)
    
25.         {
    
26.             string url = txturl.Text.Trim();
    
27.             if (string.IsNullOrEmpty(url))
    
28.             {
    
29.                 MessageBox.Show("请输入URl");
    
30.                 return;
    
31.             }
    
32.             txtimg.AppendText("开始抓取中:\r\n");
    
33.             Thread th = new Thread(() => ShuaQu(url)) { IsBackground = true };
    
34.             th.Start();
    
35.         }
    
36. 
    
37.         private void ShuaQu(string url)
    
38.         {
    
39.             DirectoryInfo di = new DirectoryInfo(Path);
    
40.             if (System.IO.Directory.Exists(Path))
    
41.             {
    
42.                 di.Delete(true);
    
43.             }
    
44.             System.IO.Directory.CreateDirectory(Path);
    
45.             string result = WebHttp.HttpGet(url, null, 3);
    
46.             string[] str = GetHtmlImageUrlList(result);
    
47.             txtimg.Invoke(new Action(() =>
    
48.             {
    
49.                 txtimg.AppendText("已经获取到数据!"+str.Count() + "\r\n");
    
50.             }));
    
51.             //建立获取网页标题正则表达式  
    
52.             String regex = @"<title>.+</title>";
    
53. 
    
54.             //返回网页标题  
    
55.             String title = Regex.Match(result, regex).ToString();
    
56.             txttitle.Invoke(new Action(() => {
    
57.                 txttitle.Text = Regex.Replace(title, @"[""]+", "");
    
58.             }));
    
59.             foreach (string s in str)
    
60.             {
    
61.                 Uri u = new Uri(s);
    
62.                 if (u.Host == "www.xxx.com")
    
63.                 {
    
64.                     Thread downimg = new Thread(() => Get_img(s)) { IsBackground = true };
    
65.                     downimg.Start();
    
66.                     txtimg.Invoke(new Action(() => {
    
67.                         txtimg.AppendText(s + "\r\n");
    
68.                     }));
    
69.                 }
    
70.             }
    
71.             txtimg.Invoke(new Action(() =>
    
72.             {
    
73.                 txtimg.AppendText("全部抓取完成!\r\n");
    
74.             }));
    
75.         }
    
76. 
    
77.         public void Get_img(string imgpath)
    
78.         {
    
79.             
    
80. 
    
81.             string[] file = imgpath.Split('?');
    
82.             string name = System.IO.Path.GetFileName(file[0]);
    
83.             WebClient mywebclient = new WebClient();
    
84.             mywebclient.DownloadFile(imgpath, Path + @"" + name);
    
85.             //Bitmap img = null;
    
86.             //HttpWebRequest req;
    
87.             //HttpWebResponse res = null;
    
88.             //try
    
89.             //{
    
90.             //    System.Uri httpUrl = new System.Uri(imgpath);
    
91.             //    req = (HttpWebRequest)(WebRequest.Create(httpUrl));
    
92.             //    req.Timeout = 180000; //设置超时值10秒
    
93.             //    req.UserAgent = "XXXXX";
    
94.             //    req.Accept = "XXXXXX";
    
95.             //    req.Method = "GET";
    
96.             //    res = (HttpWebResponse)(req.GetResponse());
    
97.             //    img = new Bitmap(res.GetResponseStream());//获取图片流               
    
98.             //    img.Save(Path + @""+name);//随机名
    
99.             //}
    
100. 
     
101.             //catch (Exception ex)
     
102.             //{
     
103.             //    string aa = ex.Message;
     
104.             //}
     
105.             //finally
     
106.             //{
     
107.             //    res.Close();
     
108.             //}
     
109.         }
     
110. 
     
111. 
     
112.         /// <summary>
     
113.         /// 取得HTML中所有图片的 URL。
     
114.         /// </summary>
     
115.         /// <param name="sHtmlText">HTML代码</param>
     
116.         /// <returns>图片的URL列表</returns>
     
117.         private string[] GetHtmlImageUrlList(string sHtmlText)
     
118.         {
     
119.             // 定义正则表达式用来匹配 img 标签
     
120.             Regex regImg = new Regex(@"<img\b[^<>]*?\bsrc[\s\t\r\n]*=[\s\t\r\n]*[""']?[\s\t\r\n]*(?<imgUrl>[^\s\t\r\n""'<>]*)[^<>]*?/?[\s\t\r\n]*>", RegexOptions.IgnoreCase);
     
121. 
     
122.             // 搜索匹配的字符串
     
123.             MatchCollection matches = regImg.Matches(sHtmlText);
     
124.             int i = 0;
     
125.             string[] sUrlList = new string[matches.Count];
     
126. 
     
127.             // 取得匹配项列表
     
128.             foreach (Match match in matches)
     
129.                 sUrlList[i++] = match.Groups["imgUrl"].Value;
     
130.             return sUrlList;
     
131.         }
     
132.     }
     
133. }
     

复制代码

admin

显示下载所有图片成功的时候，可能并没有下载成功，因为，下载线程在进行，网速慢的话，可能会等一段时间

admin

下载图片，也可以这样做

登录可见。

ck1744

美图~~

admin

ck1744 发表于 2016-5-19 14:37
美图~~

哈哈  是啊   都是美女图片