Mam skrypt crawlingu w sieci web, który zajmuje wiele godzin, i nie można go uruchomić w całości na moim komputerze lokalnym. Czy istnieje wygodny sposób wdrożenia tego na prostym serwerze WWW? Skrypt w zasadzie pobiera strony internetowe do plików tekstowych. Jak najlepiej to osiągnąć? Dzięki!Jaki jest najłatwiejszy sposób uruchamiania skryptów Pythona na serwerze w chmurze?
Ponieważ powiedziałeś, że wydajność jest problemem i robisz skrobaczki internetowe, pierwszą rzeczą do zrobienia jest framework Scrapy - jest to bardzo szybki i łatwy w użyciu szkielet internetowy. scrapyd Narzędzie pozwala na rozpowszechnianie przeszukiwania - możesz mieć wiele usług scrapyd działających na różnych serwerach i dzielić obciążenie między każdą z nich. Zobacz:
Istnieje również Scrapy Cloud usługi tam:
Scrapy Chmura mosty wysoce efektywny rozwój środowiska Scrapy z solidnego, fully- zalecane środowisko produkcyjne do wdrożyć i uruchomić indeksowania. To jak Heroku dla Scrapy, choć inne technologie będą obsługiwane w najbliższej przyszłości. Działa na platformie Scrapinghub , co oznacza, że Twój projekt może zostać skalowany na żądanie w razie potrzeby na .
Istnieje wiele miejsc, w których można to zrobić. Wystarczy google dla "Python w chmurze", pojawi się kilka, na przykład https://www.pythonanywhere.com/.
Ponadto istnieje kilka IDE w chmurze, które zasadniczo dają małą maszynę wirtualną za darmo, gdzie można rozwinąć swój kod w opartym na sieci IDE, a także uruchomić go w maszynie wirtualnej, przykładem jest http://www.c9.io.
PythonAnywhere dev tutaj - dzięki za wzmiankę! :-) Dodajmy także, że mamy wielu klientów, którzy używają nas do Scrapy. Ten sposób utrzymywania działających skryptów jest dość popularny: https://www.pythonanywhere.com/wiki/LongRunningTasks –
Jako alternatywę dla już podanych rozwiązań, sugerowałbym Heroku. Możesz nie tylko łatwo wdrożyć stronę internetową, ale także uruchomić skrypty dla botów.
Konto podstawowe jest bezpłatne i jest dość elastyczne.
This blog entry, this one i this video zawierają praktyczne przykłady tego, jak to działa.
Być może prosisz o to (https://www.pythonanywhere.com/). – Skynet