Jak można analizować zawartość dynamiczną ze strony internetowej?

Question

próbuję uzyskać listę proxy z tym adresem:

Free proxy list

To byłoby fajne, ale numer portu jest dynamiczna treść JavaScript. Jak mogę uzyskać zawartość generowaną przez JavaScript z tej strony? Mam jsoup i djNativeSwing, ale chcę zrobić to w tle wątku.

JWebBrowser webBrowser = new JWebBrowser(); 
webBrowser.navigate("http://spys.ru/en/free-proxy-list/"); 
System.out.println(webBrowser.getHTMLContent()); 

ten kod zwraca wynik zerowy. Prosimy o pomoc.

Answer 1

Po uruchomieniu metody getHtmlContent() przeglądarka internetowa nie zakończyła ładowania. Zamiast tego użyj czegoś takiego:

JWebBrowser webBrowser = new JWebBrowser(); 
webBrowser.navigate("http://spys.ru/en/free-proxy-list/"); 
webBrowser.addWebBrowserListener(new WebBrowserListener(){ 
    public void loadingProgressChanged(WebBrowserEvent e){ 
     if(e.getWebBrowser().getLoadingProgress()==100) 
      System.out.println(webBrowser.getHTMLContent()); 
    } 
} 
/* Note: I wrote this in the comment field without any testing, 
    you probably have to make the webBrowser final. */ 

JavaDocs to Twój przyjaciel!