scrapy

10Ciepło

1Odpowiedz

Jestem nowy w django. Próbuję uruchomić mój pająk do scrapy przez widok django. Mój kod scrapy działa idealnie, gdy uruchamiam wiersz polecenia. ale gdy próbuję uruchomić go na django, nie działa. Kom

6Ciepło

1Odpowiedz

Resetowanie przerwał zgrzyt, Scrapy

wiem, że za pomocą polecenia: scrapy crawl somespider -s JOBDIR=crawls/somespider-1 mogę pauza/wznowienie zadrapania CTRL + C. Chcę wiedzieć, w jaki sposób mogę zresetować scrapy i zacząć od początk

6Ciepło

1Odpowiedz

Używanie Scrapy do wyszukiwania i pobierania plików pdf ze strony internetowej

Zostałem poproszony o wyciąganie plików PDF ze stron internetowych za pomocą Scrapy. Nie jestem nowy w Pythonie, ale Scrapy jest dla mnie bardzo nowy. Eksperymentowałem z konsolą i kilkoma prymitywnym

7Ciepło

1Odpowiedz

Wystąpił błąd podczas instalowania kryptografii do scrapy w virtualenv na OS X

Instalowałem scrapy z pip w virtualenv na OS X 10.11. Kiedy jest zainstalowanie kryptografii, to powiedział: building '_openssl' extension cc -fno-strict-aliasing -fno-common -dynamic -arch i386

26Ciepło

2Odpowiedz

coraz zabronione przez plik robots.txt: scrapy

podczas indeksowania strony internetowej jak https://www.netflix.com, coraz zabronione przez plik robots.txt: https://www.netflix.com/> Błąd: Brak reakcji pobrać za: https://www.netflix.com/

5Ciepło

1Odpowiedz

Skrobanie Google Analytics przez Scrapy

Próbowałem użyć Scrapy, aby uzyskać dane z Google Analytics i pomimo tego, że jestem kompletnym użytkownikiem Pythona, zrobiłem pewne postępy. Mogę teraz zalogować się do Google Analytics przez Scrapy

19Ciepło

1Odpowiedz

ScrapyRT vs Scrapyd

Od jakiegoś czasu używamy od Scrapyd service. Zapewnia ładną otokę wokół projektu scrapy i jego pająków pozwalających kontrolować pająki za pośrednictwem interfejsu API HTTP: Scrapyd to usługa do obsł

6Ciepło

1Odpowiedz

Różnica między LinkExtractor i SgmlLinkExtractor

Jestem nowy w zakresie scrapy i widziałem kilka samouczków za pomocą LinkExtractors i kilka przy użyciu SgmlLinkExtractor. Próbowałem szukać różnic/plus-minus dla obu, ale wyniki nie były satysfakcjon

6Ciepło

2Odpowiedz

ImportError: Nie można zaimportować name „_win32stdio”

Pracuję z Scrapy ram złom na dane ze strony internetowej, ale otrzymuję następujący błąd w wierszu polecenia: ImportError: cannot import name '_win32stdio' Traceback jest dołączony jako zrzut ekranu.

6Ciepło

3Odpowiedz

Scrapy eliminuje druk obsługiwane błędy

odpowiedni kod def start_requests(self): requests = [ Request(url['url'], meta=url['meta'], callback=self.parse, errback=self.handle_error) for url in self.start_urls if valid_url(url['url'])]