Prosty robot sieciowy w C#

Question

Stworzyłem prostego robota sieciowego, ale chcę dodać funkcję rekursji, aby każda strona, która jest otwarta, mogła uzyskać adresy URL na tej stronie, ale nie mam pojęcia, jak mogę to zrobić i chcę również zawierać wątki zrobić to szybciej tutaj jest mój kod

namespace Crawler 
{ 
    public partial class Form1 : Form 
    { 
     String Rstring; 

     public Form1() 
     { 
      InitializeComponent(); 
     } 

     private void button1_Click(object sender, EventArgs e) 
     { 

      WebRequest myWebRequest; 
      WebResponse myWebResponse; 
      String URL = textBox1.Text; 

      myWebRequest = WebRequest.Create(URL); 
      myWebResponse = myWebRequest.GetResponse();//Returns a response from an Internet resource 

      Stream streamResponse = myWebResponse.GetResponseStream();//return the data stream from the internet 
                     //and save it in the stream 

      StreamReader sreader = new StreamReader(streamResponse);//reads the data stream 
      Rstring = sreader.ReadToEnd();//reads it to the end 
      String Links = GetContent(Rstring);//gets the links only 

      textBox2.Text = Rstring; 
      textBox3.Text = Links; 
      streamResponse.Close(); 
      sreader.Close(); 
      myWebResponse.Close(); 




     } 

     private String GetContent(String Rstring) 
     { 
      String sString=""; 
      HTMLDocument d = new HTMLDocument(); 
      IHTMLDocument2 doc = (IHTMLDocument2)d; 
      doc.write(Rstring); 

      IHTMLElementCollection L = doc.links; 

      foreach (IHTMLElement links in L) 
      { 
       sString += links.getAttribute("href", 0); 
       sString += "/n"; 
      } 
      return sString; 
     } 

Answer 1

Naprawiłem metodę getContent jak postępować, aby uzyskać nowe linki z indeksowanych stronie:

public ISet<string> GetNewLinks(string content) 
{ 
    Regex regexLink = new Regex("(?<=<a\\s*?href=(?:'|\"))[^'\"]*?(?=(?:'|\"))"); 

    ISet<string> newLinks = new HashSet<string>();  
    foreach (var match in regexLink.Matches(content)) 
    { 
     if (!newLinks.Contains(match.ToString())) 
      newLinks.Add(match.ToString()); 
    } 

    return newLinks; 
} 

Updated

Naprawiono: regex powinno być regexLink. Dzięki @shashlearner za wskazanie tego (mój błąd).

Answer 2

Poniżej znajduje się odpowiedź/zalecenie.

Uważam, że powinieneś używać dataGridView zamiast textBox, ponieważ gdy patrzysz na to w GUI, łatwiej jest zobaczyć znalezione linki (URL).

Można zmienić:

textBox3.Text = Links; 

do

dataGridView.DataSource = Links; 

teraz pytanie, nie obejmowały:

using System. "'s" 

, które z nich zostały wykorzystane, ponieważ byłoby to doceniam, gdybym mógł je zdobyć, ponieważ nie mogę tego rozgryźć.

Answer 3

Z punktu widzenia projektowania napisałem kilka webcrawlerów. Zasadniczo chcesz zaimplementować Głębokie pierwsze wyszukiwanie przy użyciu struktury danych stosu. Możesz także użyć opcji Pierwsze wyszukiwanie również, ale prawdopodobnie pojawią się problemy z pamięcią stosu. Powodzenia.

Answer 4

Stworzyłem coś podobnego za pomocą Reactive Extension.

https://github.com/Misterhex/WebCrawler

mam nadzieję, że może pomóc.

Crawler crawler = new Crawler(); 

IObservable observable = crawler.Crawl(new Uri("http://www.codinghorror.com/")); 

observable.Subscribe(onNext: Console.WriteLine, 
onCompleted:() => Console.WriteLine("Crawling completed"));