web-crawler

16Ciepło

6Odpowiedz

Co to jest dobre narzędzie przeszukiwacza sieci

Potrzebuję zindeksować wiele stron internetowych, jakie są dobre narzędzia webcrawler? Jestem po czymś, z czym może porozmawiać .NET, ale to nie jest showstopper. To, czego naprawdę potrzebuję, to coś

5Ciepło

2Odpowiedz

Wykonywanie robota i skrobaka do wyszukiwania w pionie

Potrzebuję opracować pionową wyszukiwarkę jako część strony internetowej. Dane do wyszukiwarki pochodzą z witryn o określonej kategorii. W tym celu potrzebuję mieć robot indeksujący, który przeszukuje

15Ciepło

5Odpowiedz

W jaki sposób mogę zezwolić Google na indeksowanie części wymaganych przez moją witrynę?

Wygląda na to, że Google może zindeksować określone witryny lub fora (nie mogę nazwać żadnego offhandu od miesięcy, które widziałem po raz ostatni), a podczas uzyskiwania dostępu użytkownik zostanie p

5Ciepło

3Odpowiedz

W jaki sposób robot sieciowy Perl może śledzić odświeżenie ASP.NET?

Buduję webcrawlera w Perlu/LWP. Jak można WebCrawler po kliknięciu na link w siatce ASP.NET tak: <a id="ctl00_MainContent_listResult_Top_LnkNextPage" href="javascript:__doPostBack('ctl00$MainContent$l

14Ciepło

5Odpowiedz

Ktoś zna dobrze rozbudowywalny robot sieciowy typu open source?

Robot musi mieć wysuwaną architekturę, aby umożliwić zmianę procesu wewnętrznego, jak wdrażanie nowych kroków (pre-parser, parser, etc ...) znalazłem Heritrix Project (http://crawler.archive.org/). Al

9Ciepło

1Odpowiedz

Czy kolejność adresów URL ma znaczenie w mapie witryny XML?

W przypadku wyszukiwarek i robotów sieciowych kolejność adresów URL ma znaczenie w mapie witryny XML? Obecnie, gdy generowana jest mapa witryny, zamawiam adresy URL strony sekwencyjnie za pomocą unika

12Ciepło

10Odpowiedz

Indeksowanie Internetu

Chcę indeksować w poszukiwaniu określonych rzeczy. Konkretnie wydarzenia, które mają miejsce, takie jak koncerty, filmy, otwarcia galerii itp. Wszystko, na co ktoś może poświęcić czas. Jak mogę wdroży

5Ciepło

4Odpowiedz

Zautomatyzowane pobieranie plików za pomocą WebBrowser bez adresu URL

Pracowałem nad programem WebCrawler napisanym w języku C# przy użyciu System.Windows.Forms.WebBrowser. Próbuję pobrać plik z witryny i zapisać go na komputerze lokalnym. Co ważniejsze, chciałbym, aby