scrapy

5Ciepło

1Odpowiedz

Scrapy Spider zwraca Brak zamiast pozycji

Znalazłem odpowiedź, poniżej. W skrócie, nieprawidłowe wcięcie w ItemPipeline spowodowało, że zwrócił Brak. Próbowałem napisać CrawlSpider w Scrapy, nigdy wcześniej nie pracowałem z Pythonem. Pająk in

9Ciepło

1Odpowiedz

Jak wdrożyć spider Scrapy na chmurze Heroku

Opracowałem kilka pająków w scrapy & Chcę przetestować te na chmurze Heroku. Czy ktokolwiek ma pojęcie o tym, jak wdrożyć spider Scrapy w chmurze Heroku?

8Ciepło

1Odpowiedz

Wyjątki samouczek Scrapy

Podążam za dokumentacją samouczków Scrapy pod numerem http://media.readthedocs.org/pdf/scrapy/0.14/scrapy.pdf i potwierdziłem, że items.py i dmoz_spider.py zostały wpisane (niepoprawnie wklejone &). P

21Ciepło

3Odpowiedz

scrapy - analizowania elementów, które są paginowane

Mam URL w postaci: example.com/foo/bar/page_1.html Istnieje w sumie 53 stron, każda z nich ma ~ 20 wierszy. Zasadniczo chcę uzyskać wszystkie wiersze ze wszystkich stron, tj. ~ 53 * 20 pozycji. Mam

5Ciepło

1Odpowiedz

Nie można zmienić ustawienia Scrapy

Chcę pobrać stron w Chinach, więc otworzył linię poleceń i pytona, a te wpisany kod from scrapy.conf import settings settings.overrides['DEFAULT_REQUEST_HEADERS'] = {'Accept':'text/heml,application/x

8Ciepło

2Odpowiedz

Nie można zaimportować ani modułu ustawień Scrapy ani jego scrapy.cfg

Jest to dość długotrwały post, ale po przeprowadzeniu rozległych badań nie mogłem znaleźć rozwiązania. Mam mieszany projekt Django 1.4.1/Scrapy 0.14.4 na OSX 10.8 i kontroluję Scrapy za pomocą polecen

24Ciepło

4Odpowiedz

Jak skonfigurować i uruchomić Scrapy pająka programowo (adresy i ustawienia)

Napisałem robota jest wykonywana przy użyciu scrapy, teraz chcę ją kontrolować przez webapp Django, to znaczy: Set 1 lub kilka start_urls Set 1 lub kilka allowed_domains Set settings wartości Uruchom

10Ciepło

2Odpowiedz

W jaki sposób scrapy mogą eksportować elementy do oddzielnych plików CSV na element

Skrobię stronę z piłką nożną, a pająk (pojedynczy pająk) dostaje kilka rodzajów przedmiotów ze stron witryny: Zespół, Mecz, Klub itp. Próbuję użyj CSVItemExporter do przechowywania tych elementów w od

5Ciepło

1Odpowiedz

Funkcja Python Scrapy do wywołania tuż przed wysłaniem sygnału spider_closed?

Napisałem pająka za pomocą scrapy, który tworzy całą masę żądań HtmlXPathSelector na osobne witryny. Tworzy wiersz danych w pliku .csv po spełnieniu każdego żądania (asynchronicznie). Niemożliwe jest

7Ciepło

4Odpowiedz

scrapy, jak ustawić adres URL referer

Muszę ustawić adres URL odsyłacza, przed skrobaniem witryny, witryna korzysta z uwierzytelniania opartego na adresie URL, więc nie pozwala mi się zalogować, jeśli referer nie jest prawidłowy. Czy ktoś