scrapyd

7Ciepło

4Odpowiedz

Wystąpił błąd podczas wdrażania projektu za pomocą skrobaka

Miałem wiele pająków w moim folderze projektu i chcę uruchomić wszystkie pająki na raz, więc zdecydowałem się uruchomić je za pomocą usługi scrapyd. zacząłem robić to przez widząc here Przede wszystki

24Ciepło

4Odpowiedz

Jak skonfigurować i uruchomić Scrapy pająka programowo (adresy i ustawienia)

Napisałem robota jest wykonywana przy użyciu scrapy, teraz chcę ją kontrolować przez webapp Django, to znaczy: Set 1 lub kilka start_urls Set 1 lub kilka allowed_domains Set settings wartości Uruchom

14Ciepło

1Odpowiedz

nauki Pythona, a także stara się realizować scrapy ..getting ten błąd

ja przeżywałam samouczka scrapy http://doc.scrapy.org/en/latest/intro/tutorial.html a ja za nim, aż wpadłem tego polecenia scrapy crawl dmoz I to dało mi wyjście z błędem 2013-08-25 13:11:42-0700 [s

12Ciepło

1Odpowiedz

Przeciek pamięci pająka Scrapy

Mój pająk ma poważny wyciek pamięci. Po 15 minutach działa jego pamięć 5 gb i scrapy mówi (używając prefs()), że 900k żąda obiektów i to wszystko. Jaki może być powód tak dużej liczby obiektów życiowy

19Ciepło

1Odpowiedz

ScrapyRT vs Scrapyd

Od jakiegoś czasu używamy od Scrapyd service. Zapewnia ładną otokę wokół projektu scrapy i jego pająków pozwalających kontrolować pająki za pośrednictwem interfejsu API HTTP: Scrapyd to usługa do obsł

6Ciepło

1Odpowiedz

Skalowanie w poziomie Scrapyd

Jakiego narzędzia lub zestawu narzędzi używałbyś do skalowania poziomego scrapydu dodając nowe maszyny do klastra złomu dynamicznie i mając N instancji na maszynę, jeśli jest to wymagane. Nie jest kon

5Ciepło

3Odpowiedz

Jak przechowywać przedmioty ze złomu w formacie json?

Próbuję przechowywać scrapyd przedmiotów w JSON file. Właściwie przez domyślnych elementów zapisać go w pliku json ale tak: File_1: {item1} {item2} .... A jeśli uruchomię mój pająk przez scrapy in

8Ciepło

2Odpowiedz

Scrapyd jobid wartość wewnątrz pająka

Scrapy ram - Scrapyd serwer. Mam pewien problem z uzyskaniem wartości jobidowej wewnątrz pająka. Po danych Posta do http://localhost:6800/schedule.json odpowiedź jest status = ok jobid = bc2096406b30

5Ciepło

1Odpowiedz

Scrapy jak ignorować przedmioty z pustymi polami za pomocą Loader

Chciałbym wiedzieć, jak zignorować przedmioty, które nie wypełniają wszystkich pól, coś w rodzaju upuszczania, ponieważ w wynikach scrapydu dostaję strony, które nie wypełnić wszystkie pola. mam tego

5Ciepło

1Odpowiedz

Błąd inicjowania programu Scrapyd podczas uruchamiania programu szpiegującego pająka

Próbuję wdrożyć przeszukiwacz z czterema pająkami. Jeden z pająków używa XMLFeedSpider i działa poprawnie z muszli i scrapyd, ale inni używają BaseSpider i wszystkie dają ten błąd podczas uruchamiania