Na komputerze Mac mam zainstalowany program Jupyter, a po wpisaniu jupyter notebook z folderu głównego projektu Scrapy, zostanie otwarty notatnik. Mogę przeglądać wszystkie pliki projektu w tym momencie.Jak uruchomić projekt Scrapy w Jupyter?
Jak wykonać projekt z notatnika?
Gdybym kliknij kartę Uruchamianie, pod terminale, widzę:
There are no terminals running.
Istnieją dwa główne sposoby, aby to osiągnąć:
1. w zakładce Files otwierają nowy terminal : Nowy> Terminal
Następnie wystarczy uruchomić ty pająk: scrapy crawl [options] <spider>
2. Utwórz nowy notebook i używać CrawlerProcess lub CrawlerRunner klas do uruchomienia w komórce:
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
process = CrawlerProcess(get_project_settings())
process.crawl('your-spider')
process.start() # the script will block here until the crawling is finished