ASP.net 怎么爬取js渲染的数据呢？

Yesh

             最近在学习asp.net写爬虫，静态的html的数据 目前都可以爬取了，但是动态js渲染的数据还是不会
                网上查了很多资料，都没有查到，希望有大神可以提供下学习方案和实例，谢谢了！！！！

johnyoung

我提供个笨笨的方法：本地用Cef渲染后再爬

小渣渣

就是获取页面加载完成渲染后的html页面源码对吧。

使用 OpenQA.Selenium.Chrome

1. ChromeDriverService service = ChromeDriverService.CreateDefaultService();
   
2.                 service.HideCommandPromptWindow = true;
   
3.                 ChromeOptions options = new ChromeOptions();
   
4.                 options.SetLoggingPreference(LogType.Browser, LogLevel.All);
   
5.                 using (var htmlLoader = new WebSiteHtmlLoader(new ChromeDriver(service, options)))
   
6.                 {
   
7.                     var html = htmlLoader.GetRenderedHtml(new Uri(url, UriKind.Absolute));
   
8. ...
   
9.                 }

复制代码

1. public class WebSiteHtmlLoader : IDisposable
   
2.     {
   
3.         private readonly RemoteWebDriver _remoteWebDriver;
   
4. 
   
5.         public WebSiteHtmlLoader(RemoteWebDriver remoteWebDriver)
   
6.         {
   
7.             if (remoteWebDriver == null) throw new ArgumentNullException("remoteWebDriver");
   
8.             _remoteWebDriver = remoteWebDriver;
   
9.         }
   
10. 
    
11.         public string GetRenderedHtml(Uri webSiteUri)
    
12.         {
    
13.             if (webSiteUri == null) throw new ArgumentNullException("webSiteUri");
    
14.             _remoteWebDriver.Navigate().GoToUrl(webSiteUri);
    
15.             //var logs = _remoteWebDriver.Manage().Logs.GetLog(OpenQA.Selenium.LogType.Browser);
    
16.             //if (logs.Count(x => x.Level == LogLevel.Severe) > 0)
    
17.             //{
    
18.             //    return null;
    
19.             //}
    
20.             //var aaaa = _remoteWebDriver.FindElementsByCssSelector(".normal.markdown-section");
    
21.             //var section=_remoteWebDriver.FindElementByClassName("normal markdown-section");
    
22.             //section.
    
23.             //LogLevel.Severe 就是 js错误
    
24.             //logs[0].Level= LogLevel.
    
25.             return _remoteWebDriver.PageSource;
    
26.         }
    
27. 
    
28.         public void Dispose()
    
29.         {
    
30.             Dispose(true);
    
31.             GC.SuppressFinalize(this);
    
32.         }
    
33. 
    
34.         private void Dispose(bool disposing)
    
35.         {
    
36.             if (disposing)
    
37.             {
    
38.                 if (_remoteWebDriver != null)
    
39.                 {
    
40.                     _remoteWebDriver.Quit();
    
41.                 }
    
42.             }
    
43.         }
    
44.     }

复制代码