scrapy

11Ciepło

3Odpowiedz

jak nadpisywać/używać ciasteczek w scrapy

Chcę zrzucić http://www.3andena.com/, ta strona zaczyna się najpierw w języku arabskim, i przechowuje ustawienia językowe w ciasteczkach. Jeśli próbujesz uzyskać dostęp do wersji językowej bezpośredni

5Ciepło

1Odpowiedz

Próba zainstalowania programu Scrapy - błąd: Nie można znaleźć pliku "openssl.exe"

Wszelkie uwagi dotyczące rozwiązania tego problemu? Używam pip, aby zainstalować Scrapy na maszynie Win XP Pro SP 3. Mam zainstalowany Python 2.7 na maszynie. Wygląda na to, że występuje problem z pyO

20Ciepło

2Odpowiedz

Jak dynamicznie generować start_urls podczas indeksowania?

Przeszukuję witrynę, która może zawierać wiele danych wyjściowych, takich jak http://www.a.com/list_1_2_3.htm. Chcę wypełnić start_urls jak [list_ \ d + \ d + \ d + .htm], i wyodrębnić elementy z adre

27Ciepło

3Odpowiedz

Scrapy: Śledź link, aby uzyskać dodatkowe dane przedmiotu?

nie mam konkretnego problemu kodu po prostu nie wiem, jak zbliżyć się do następującego problemu logistycznie z ramami Scrapy: Struktura danych chcę zeskrobać jest zazwyczaj wiersz tabeli dla każdej po

18Ciepło

2Odpowiedz

Jak używać modułu Python Scrapy do wyświetlania wszystkich adresów URL z mojej witryny?

Chcę użyć Pythona Scrapy module do zeskanowania wszystkich adresów URL z mojej strony i zapisania listy do pliku. Zajrzałem do przykładów, ale nie widziałem żadnego prostego przykładu, aby to zrobić.

8Ciepło

2Odpowiedz

Scrapyd jobid wartość wewnątrz pająka

Scrapy ram - Scrapyd serwer. Mam pewien problem z uzyskaniem wartości jobidowej wewnątrz pająka. Po danych Posta do http://localhost:6800/schedule.json odpowiedź jest status = ok jobid = bc2096406b30

16Ciepło

2Odpowiedz

Scrapy i kod statusu reakcji: jak sprawdzić przeciwko niemu?

Używam scrapy do indeksowania mojej mapy witryny, aby sprawdzić 404, 302 i 200 stron. Ale wydaje mi się, że nie mogę uzyskać kodu odpowiedzi. To jest mój kod do tej pory: from scrapy.contrib.spiders i

9Ciepło

1Odpowiedz

Jak zatrzymać wszystkie pająki i silnik natychmiast po spełnieniu warunku w rurociągu?

Mamy system napisany ze scrapy do przeszukiwania kilku stron internetowych. Istnieje kilka pająków i kilka kaskadowych potoków dla wszystkich elementów przekazywanych przez wszystkie roboty. Jeden z k

6Ciepło

4Odpowiedz

Scrapy + Eclipse PyDev: jak skonfigurować debugger?

Pomyślnie skonfigurowałem Eclipse z moim projektem Scrapy. zrobiłem to ustawiając nową konfigurację Run/Debug: którego główną moduł linki do Scrapy/usr/local/bin/scrapy dla mnie (Znalazłem sugestia uż

5Ciepło

1Odpowiedz

Scrapy. Jak zmienić ustawienia pająka po rozpoczęciu indeksowania?

Nie mogę zmienić ustawień pająka w metodzie parsowania. Ale to zdecydowanie musi być droga. Na przykład: class SomeSpider(BaseSpider): name = 'mySpider' allowed_domains = ['example.com']