刚用Java写的爬虫，现在只有下载图片功能（深度1），会继续完善

Delver_Si

如题

microxdd

不依赖其他包的简单实现

1. package test;
   
2. 
   
3. import java.io.File;
   
4. import java.io.IOException;
   
5. import java.io.InputStreamReader;
   
6. import java.net.MalformedURLException;
   
7. import java.net.URL;
   
8. import java.util.regex.Matcher;
   
9. import java.util.regex.Pattern;
   
10. 
    
11. import javax.imageio.ImageIO;
    
12. 
    
13. public class Test {
    
14.         public static void main(String[] args) {
    
15.                 String web="http://www.itsvse.com/";
    
16.                 try {
    
17.                         URL url=new URL(web);
    
18.                         InputStreamReader reader=new InputStreamReader(url.openStream());
    
19.                        
    
20.                         StringBuilder builder=new StringBuilder();
    
21.                         char[] buff=new char[1024];
    
22.                         int n;
    
23.                         while((n=reader.read(buff))!=-1){
    
24.                                 builder.append(buff,0,n);
    
25.                         }
    
26.                        
    
27.                         Pattern pattern=Pattern.compile("<img.*?src="(.*?)(gif|png|jpg)"");
    
28.                        
    
29.                         Matcher m=pattern.matcher(builder);
    
30.                         while (m.find()) {
    
31.                                 String u=m.group(1)+m.group(2);
    
32.                                 System.out.println("dowing.."+u);
    
33.                                 URL img=null;
    
34.                                 if(u.startsWith("http")){
    
35.                                         img=new URL(u);
    
36.                                 }else{
    
37.                                         img=new URL(url,u);
    
38.                                 }
    
39.                                 ImageIO.write(ImageIO.read(img), m.group(2), new File("D:/img/"+System.currentTimeMillis()+"."+m.group(2)));
    
40.                                
    
41.                         }
    
42.                        
    
43.                 } catch (MalformedURLException e) {
    
44.                         // TODO Auto-generated catch block
    
45.                         e.printStackTrace();
    
46.                 } catch (IOException e) {
    
47.                         // TODO Auto-generated catch block
    
48.                         e.printStackTrace();
    
49.                 }
    
50.         }
    
51. }
    

复制代码

microxdd

Delver_Si 发表于 2015-6-3 23:57
你这原始代码开发效率太低，差评

本来我不想说什么，但是你说开发效率低下。。。。。

程序要求的是代码的质量和性能，洋洋洒洒一大片，最后却功能少，拓展能力差，性能也差


连续跑10次 每次忽略网络延迟，，忽略本地保存，只计算解析html文档的时间，你的程序差远了。
另外你的代码还存在错误，我就不说什么了

小渣渣

Delver_Si 发表于 2015-6-3 12:57
研究得怎么样了？

没有安装eclipse大体用记事本看了一下  先抓取网页html源代码  然后获取src后面的值  然后保存  大体看的是这样   

不知道对不对  

小刀飞刀飞飞飞

png格式的图片能抓取吗？

Delver_Si

小刀飞刀飞飞飞 发表于 2015-6-3 07:49
png格式的图片能抓取吗？

能啊，我现在没判断后缀，全部保存为jpg，其实png的图片改成jpg后缀一样可以打开，后缀我会完善的

小渣渣

让我来研究研究

Delver_Si

小渣渣 发表于 2015-6-3 12:52
让我来研究研究

研究得怎么样了？

Delver_Si

小渣渣 发表于 2015-6-3 13:00
没有安装eclipse大体用记事本看了一下  先抓取网页html源代码  然后获取src后面的值  然后保存  大体看的 ...

是这样的

小渣渣

microxdd 发表于 2015-6-3 21:05
不依赖其他包的简单实现

这是非逼我要安装myeclipse的节奏啊！

Delver_Si

microxdd 发表于 2015-6-3 21:05
不依赖其他包的简单实现

你这原始代码开发效率太低，差评