web-scraping

5Ciepło

1Odpowiedz

Kod logiczny w PHP/Laravel z systemem kolejki zadań

Robię skrobaczkę internetową przy użyciu Laravel 3 i mam system kolejkowy resque. Pytanie: Gdzie należy umieścić kod logiczny skrobania? W kategorii pracownik/praca? W klasie biblioteki, która jest na

7Ciepło

2Odpowiedz

Python BeautifulSoup Uzyskaj szczegółowe adresy URL:

Czy można uzyskać tylko określone adresy URL? odczuwalna: <a href="http://www.iwashere.com/washere.html">next</a> <span class="class">...</span> <a href="http://www.heelo.com/hello.html">next</a> <

5Ciepło

1Odpowiedz

Scrapy - parsowanie wszystkich podstron danej domeny

Chciałabym przeanalizować projekty kickstarter.com za pomocą scrapy, ale nie mogę wymyślić, jak zrobić projekty przeszukiwania pająków, których nie określam wprost pod hasłami start_urls. Mam pierwszą

13Ciepło

3Odpowiedz

Jak wcześnie dokonać zwrotu bloku?

Próbuję zeskrobać stronę internetową za pomocą Haskella i skompilować wyniki w obiekcie. Jeśli z jakiegoś powodu nie mogę pobrać wszystkich elementów ze stron, chcę przerwać próbę przetworzenia strony

13Ciepło

4Odpowiedz

Złomowanie - sposób zatrzymania przekierowania (302)

Próbuję zaindeksować adres URL za pomocą usługi Scrapy. Ale przekierowuje mnie do strony, która nie istnieje. Redirecting (302) to <GET http://www.shop.inonit.in/mobile/Products/Inonit-Home-Decor--Kni

10Ciepło

2Odpowiedz

Scrapy - Indeksowanie całej witryny

Nie mogę zaindeksować całej strony, Scrapy tylko indeksuje się na powierzchni, chcę się czołgać głębiej. Byłem w Google przez ostatnie 5-6 godzin i bez pomocy. Mój kod poniżej: from scrapy.contrib.spi

5Ciepło

1Odpowiedz

Scrapy z zagnieżdżoną tablicą

Jestem nowy, aby scrapy i chciałbym zrozumieć, jak zeskrobać obiekt do wyjścia do zagnieżdżonego JSON. Teraz, mam produkujących JSON, który wygląda jak [ {'a' : 1, 'b' : '2', 'c' : 3}, ] a ja go

7Ciepło

2Odpowiedz

web scraping google news z pythonem

Tworzę skrobaczkę do różnych serwisów informacyjnych, dla Nytimes i The Guardian było to łatwe, ponieważ mają one własne API. Teraz chcę zdrapać wyniki z tej gazety GulfTimes.com. Nie udostępniają zaa

5Ciepło

1Odpowiedz

CsQuery przeanalizować zbiór elementów li

Oto mój kod: CQ dom = CQ.Create(htmlString); var items = dom[".blog-accordion li"]; foreach (var li in items) { var newTournament = false; var test = li["header h2"]; } Wewnątrz pętli

6Ciepło

2Odpowiedz

Korzystanie XPath z CasperJS QuerySelectorAll nie działa

Z jakiegoś powodu, gdy próbuję uruchomiony następujący kod: var casper = require('casper').create(); var x = require('casper').selectXPath; var links = []; casper.start('http://www.website.com');