scrapy

10Ciepło

1Odpowiedz

Eksport CSV - porządkowanie kolumn za pomocą scrapy crawl -o output.csv

Czy istnieje sposób określania kolejności kolumn w wynikach CSV za pomocą parametru -o? Wygląda na to, że następuje losowa kolejność i nie jest zgodna z kolejnością w pliku items.py lub gdy pola przed

14Ciepło

2Odpowiedz

httplib.BadStatusLine: ''

Jak zwykle, często mam problemy, a ja dokładnie szukałem odpowiedzi na obecną, ale znalazłem się ze stratą. Oto niektóre z miejsc, w jakich znaleziono: - How to fix httplib.BadStatusLine exception? -

5Ciepło

1Odpowiedz

Przekazywanie listy jako argumenty w Scrapii

Próbuję zbudować aplikację za pomocą kolby i Scrapy. Muszę przekazać list adresów URL do pająka. Próbowałem przy użyciu następującej składni: __init__: in Spider self.start_urls = ["http://www.google

5Ciepło

2Odpowiedz

Jak uzyskać innerHTML węzła za pomocą selektora scrapy?

Załóżmy, że istnieją pewne fragmenty HTML, takich jak: <a> text in a <b>text in b</b> <c>text in c</c> </a> <a> <b>text in b</b> text in a <c>text in c</c> </a> w kt

5Ciepło

1Odpowiedz

Ograniczenie głębokości ustawiania za pomocą funkcji Scrapy na dozwolone_domeny

Przeszukuję 6 różnych dozwolonych domen i chcę ograniczyć głębokość 1 domeny. Jak chciałbym ograniczyć głębokość tej 1 domeny w scrapy? Czy możliwe byłoby zaindeksowanie tylko 1 głębokości domen zewnę

5Ciepło

1Odpowiedz

Wielokrotne dziedziczenie pająków do scrapy

Czy jest możliwe utworzenie pająka, który dziedziczy funkcje z dwóch podstawowych pająków, mianowicie SitemapSpider i CrawlSpider? Próbowałem skrobać dane z różnych stron i zdałem sobie sprawę, że nie

11Ciepło

2Odpowiedz

Geopy: błąd przekroczenia limitu czasu

Używam geopy do geokodowania niektórych adresów i chcę złapać błędy limitu czasu i wydrukować je, aby można było przeprowadzić kontrolę jakości na wejściu. Wysyłam żądanie geocode w próbie/catch, ale

31Ciepło

3Odpowiedz

Zmieniaj adres IP dynamicznie?

Rozważmy przypadek, Chcę często indeksować witryny internetowe, ale mój adres IP został zablokowany po pewnym dniu/limicie. Jak zatem zmienić adres IP dynamicznie lub w inny sposób?

5Ciepło

1Odpowiedz

Scrapy Spider: Ponownie uruchom pająka, gdy kończy się

Próbuję sprawić, że mój Spider Scrapy zostanie uruchomiony ponownie, jeśli przyczyną zamknięcia jest moje połączenie z Internetem (podczas gdy w nocy internet zejdzie na 5 minut). Kiedy internet schod

9Ciepło

2Odpowiedz

Scrapy grab div z wieloma klasami?

Próbuję pobrać div's z klasą: "produkt". Problem polega na tym, że niektóre elementy div z klasą "produktu" mają również klasę "produkt-mały". Więc kiedy używam xpath('//div[@class='product']'), przec