twisted

5Ciepło

1Odpowiedz

Nieblokujący rurociąg Scrapy do bazy danych

Mam skrobaczkę internetową w aplikacji Scrapy, która pobiera elementy danych. Chcę również asynchronicznie wstawiać je do bazy danych. Na przykład, mam transakcję, która wstawia pewne elementy do moje

6Ciepło

2Odpowiedz

Budowanie API RESTful Flask dla Scrapy

Interfejs API powinien umożliwiać arbitralne otrzymywanie żądań HTTP zawierających adresy URL, które użytkownik chce zeskrobać, a następnie Flask powinien zwrócić wyniki skasowania. Poniższy kod dział

5Ciepło

1Odpowiedz

Twisted problem skrypt

Napisałem Twisted bin plik, który jest rozmieszczony na /usr/bin podczas deployement aplikacji na przykładzie Axiom przewidzianego na StackOverflow gdzie indziej (nie pamiętam gdzie), projekt może być

5Ciepło

1Odpowiedz

Scrapy `ReactorNotRestartable`: jedna klasa uruchomić dwie (lub więcej) pająki

mam agregowania danych dziennych z Scrapy stosując indeksowanie dwuetapowy. Pierwszy etap generuje listę adresów URL ze strony indeksu, a drugi etap zapisuje kod HTML, dla każdego z adresów URL na liś

5Ciepło

2Odpowiedz

komunikaty echa otrzymane przez UDP z powrotem za pośrednictwem innego portu TCP

używam Python 2.7.x (2.7.8) i próbuję napisać program, za pomocą skręconych pytona funkcjonować tak: Program czeka dla komunikaty odebrane przez TCP 7001 lub UDP 7000. Wiadomości odbierane przez UDP 7

6Ciepło

3Odpowiedz

Scrapy eliminuje druk obsługiwane błędy

odpowiedni kod def start_requests(self): requests = [ Request(url['url'], meta=url['meta'], callback=self.parse, errback=self.handle_error) for url in self.start_urls if valid_url(url['url'])]

7Ciepło

1Odpowiedz

Czytanie pliku na stdout ze skręconą wersją

Jak odczytać plik (bez blokowania) i wydrukować go na standardowe wyjście (nadal nieblokujące)? To jest najsympatyczniejszy sposób, w jaki mogę myśleć, ale pozostawia uczucie, że musi istnieć lepszy s

5Ciepło

2Odpowiedz

Jak złapać błędy za pomocą scrapy, więc mogę coś zrobić, gdy pojawi się błąd User Timeout?

ERROR: Error downloading <GET URL_HERE>: User timeout caused connection failure. Otrzymuję ten problem od czasu do czasu, kiedy używam skrobaka. Czy istnieje sposób, aby złapać ten problem i uruchom

7Ciepło

1Odpowiedz

Używaj portów szeregowych RFC2217 z Twisted Python?

Czy istnieje sposób łączenia się z portem szeregowym sieci RFC2217 za pomocą Twisted Python? Pyserial wydaje się wspierać go poprzez serial.serial_for_url("rfc2217://...")function. I wskazują, że skrę

9Ciepło

3Odpowiedz

Obiekt 'NoneType' nie ma atrybutu '_app_data' w scrapy \ twisted \ openssl

Podczas odskrobywania przy użyciu scrapy od czasu do czasu pojawia się w moich dziennikach jeden błąd. To nie wydaje się być w moim kodzie, i wygląda na to, że coś wewnątrz skręcony \ openssl. Wszelki