scrapy

7Ciepło

1Odpowiedz

Scrapy: Jak przekazywać listę argumentów za pomocą wiersza polecenia do pająka?

Tworzenie skrobaka dla zespołu fantasy. Poszukuje sposobu przekazania listy nazw graczy jako argumentów, a następnie dla każdego player_name na liście player_list uruchamia kod parsujący. Obecnie mam

7Ciepło

2Odpowiedz

Python Scrapy nie ponawia połączenia z limitem czasu

Użyłem niektórych serwerów proxy do indeksowania niektórych witryn. Oto zrobiłem w settings.py: # Retry many times since proxies often fail RETRY_TIMES = 10 # Retry on most error codes since proxies

6Ciepło

2Odpowiedz

Jak korzystać ze skrobaczki w celu przeszukiwania wielu stron?

Wszystkie przykłady znalezione w Scrapy mówią o tym, jak zindeksować pojedynczą stronę, strony o tym samym schemacie URL lub wszystkie strony witryny. muszę pełzać serię stron A, B, C, gdzie w dostałe

12Ciepło

2Odpowiedz

Scrapy: Przechodząc pozycję między metodami

Załóżmy, że mam Bookitem, muszę dodać informację do niego zarówno w parsowania faz i szczegółowo fazy def parse(self, response) data = json.loads(response) for book in data['result']:

9Ciepło

1Odpowiedz

komenda „gcc” nie powiodło się status wyjścia 1 błąd podczas instalacji scrapy

Kiedy chcę zainstalować Scrapy spotykam ten błąd: warning: no previously-included files found matching '*.py' Requirement already satisfied (use --upgrade to upgrade): pyOpenSSL in /usr/local/lib/pyt

9Ciepło

3Odpowiedz

jak obsługiwać przekierowanie 302 w scrapy

Otrzymuję 302 odpowiedzi z serwera podczas złomowania stronę internetową: 2014-04-01 21:31:51+0200 [ahrefs-h] DEBUG: Redirecting (302) to <GET http://www.domain.com/Site_Abuse/DeadEnd.htm> from <GET h

6Ciepło

1Odpowiedz

Błędy komendy Scrapy Benchmark/Benchmark

Zainstalowałem Scrapy 0.22.2 i mogłem uruchomić próbkę kodu DirBot bez żadnych problemów. Jednak po uruchomieniu polecenia Bench pojawiają się błędy i wyjątki. Czy są jakieś problemy poniżej portu 899

5Ciepło

3Odpowiedz

Jak zbierać statystyki w ramach wywołania zwrotnego pająka?

Jak mogę zbierać statystyki z połączenia zwrotnego pająka? Przykład class MySpider(Spider): name = "myspider" start_urls = ["http://example.com"] def parse(self, response): stats.set_

8Ciepło

1Odpowiedz

Używanie oprogramowania pośredniego do ignorowania duplikatów w Scrapii

Jestem początkujący w Pythonie, a ja używam Scrapy do projektu internetowego personelu. Używam Scrapy do wielokrotnego wyodrębniania danych z kilku stron internetowych, więc muszę sprawdzić każde prze

10Ciepło

2Odpowiedz

Jak zmusić skrobaki do przeszukiwania zduplikowanego adresu URL?

Uczę się Scrapy sieci przeszukiwania. domyślnie nie indeksuje duplikatów adresów URL ani adresów URL, które zostały już przeszukane. Jak sprawić, by Scrapy indeksował zduplikowane adresy URL lub adres