scrapy

33Ciepło

6Odpowiedz

Scrapy rzuca ImportError: Nie można zaimportować nazwy xmlrpc_client

Po zainstalowaniu Scrapy poprzez pip, posiadające Python 2.7.10: scrapy Traceback (most recent call last): File "/usr/local/bin/scrapy", line 7, in <module> from scrapy.cmdline import execute File

5Ciepło

1Odpowiedz

Scrapy `ReactorNotRestartable`: jedna klasa uruchomić dwie (lub więcej) pająki

mam agregowania danych dziennych z Scrapy stosując indeksowanie dwuetapowy. Pierwszy etap generuje listę adresów URL ze strony indeksu, a drugi etap zapisuje kod HTML, dla każdego z adresów URL na liś

10Ciepło

1Odpowiedz

Jak zapobiec błędowi twisted.internet.error.ConnectionLo podczas używania Scrapy?

mam skrobanie kilka stron z scrapy i pojawia się następujący błąd: twisted.internet.error.ConnectionLost moje wyjście z linii poleceń: 2015-05-04 18:40:32+0800 [cnproxy] INFO: Spider opened 2015-05-0

5Ciepło

2Odpowiedz

Jak złapać błędy za pomocą scrapy, więc mogę coś zrobić, gdy pojawi się błąd User Timeout?

ERROR: Error downloading <GET URL_HERE>: User timeout caused connection failure. Otrzymuję ten problem od czasu do czasu, kiedy używam skrobaka. Czy istnieje sposób, aby złapać ten problem i uruchom

9Ciepło

3Odpowiedz

Obiekt 'NoneType' nie ma atrybutu '_app_data' w scrapy \ twisted \ openssl

Podczas odskrobywania przy użyciu scrapy od czasu do czasu pojawia się w moich dziennikach jeden błąd. To nie wydaje się być w moim kodzie, i wygląda na to, że coś wewnątrz skręcony \ openssl. Wszelki

11Ciepło

1Odpowiedz

Pole tablica w scrapy.Item

Chcę dodać pole do scrapy.Item więc, że jest to tablica: class MyItem(scrapy.Item): field1 = scrapy.Field() field2 = scrapy.Field() field3_array = ??? W jaki sposób można to zrobić?

15Ciepło

1Odpowiedz

Wywołanie Scrapy z innego pliku bez gwintowania

Muszę wywołać przeszukiwacz z innego pliku Pythona, do którego używam następującego kodu. def crawl_koovs(): spider = SomeSpider() settings = get_project_settings() crawler = Crawler(se

6Ciepło

1Odpowiedz

Żądanie opóźnienia Scrapy

za każdym razem, gdy uruchomię mój kod, moje IP zostanie zbanowane. Potrzebuję pomocy, aby opóźnić każde żądanie o 10 sekund. Próbowałem umieścić DOWNLOAD_DELAY w kodzie, ale nie daje wyników. Każda p

5Ciepło

1Odpowiedz

Jak używać funkcji re() do wyodrębniania danych ze zmiennej javascript za pomocą scrapy?

Mój plik items.py idzie tak: from scrapy.item import Item, Field class SpiItem(Item): title = Field() lat = Field() lng = Field() add = Field() i pająk jest: import scrapy imp

6Ciepło

1Odpowiedz

Złomowanie: łapanie odpowiedzi z określonymi kodami serwerów HTTP

Mamy dość standardowy projekt Scrapy (Scrapy 0.24). Chciałbym złapać konkretne kody odpowiedzi HTTP, takie jak 200, 500, 502, 503, 504 itd Coś takiego: class Spider(...): def parse(...): p