13
Ja wanna skonfigurować klaster scrapy ten link scrapy-cluster, wszystko jest w porządku, zanim uruchomić polecenie:pyconfig.h brakuje podczas "pip zainstalować kryptografii"
pip install -r requirements.txt
requirements.txt wygląda następująco:
cffi==1.2.1
characteristic==14.3.0
ConcurrentLogHandler>=0.9.1
cryptography==0.9.1
...
Chyba powyższe środki polecenie, aby zainstalować pakiety w requirements.txt.But ja nie chcę, aby określić wersję, więc mogę ją zmienić, aby w ten sposób:
cat requirements.txt | while read line; do pip install ${line%%[>=]*} --user;done
Po zainstalowaniu kryptografii, to daje mi błąd:
build/temp.linux-x86_64-2.7/_openssl.c:12:24:fatal error:pyconfig.h:No such file or directory
#include <pyconfig.h>
nie wiem jak rozwiązać ten, próbowałem wiele sposobów, ale nie powiodło się. mój system to centos 7, a wersja pythona to 2.7.5 (domyślnie). Poza tym, czy istnieje jakakolwiek inna rama do scrapy, która jest odpowiednia dla dużej liczby adresów URL. Z góry dziękuję
'apt-get install python3.6-dev' zrobił to dla mnie. – Hatshepsut