Scrapy Shell i Scrapy Splash

Question

Używamy scrapy-splash middleware do przekazywania skradzionego źródła HTML przez silnik javascript Splash działający w kontenerze dokowania.

Jeśli chcemy wykorzystać Splash w pająka, możemy skonfigurować kilka required project settings i otrzymując Request określając konkretne meta arguments:

yield Request(url, self.parse_result, meta={ 
    'splash': { 
     'args': { 
      # set rendering arguments here 
      'html': 1, 
      'png': 1, 

      # 'url' is prefilled from request url 
     }, 

     # optional parameters 
     'endpoint': 'render.json', # optional; default is render.json 
     'splash_url': '<url>',  # overrides SPLASH_URL 
     'slot_policy': scrapyjs.SlotPolicy.PER_DOMAIN, 
    } 
}) 

to działa zgodnie z dokumentacją. Ale jak możemy użyć scrapy-splash wewnątrz Scrapy Shell?

Answer 1

po prostu zapakuj URL, który chcesz zdjąć w splash http api.

Więc chcesz coś takiego:

scrapy shell 'http://localhost:8050/render.html?url=http://domain.com/page-with-javascript.html&timeout=10&wait=0.5' 

gdzie localhost:port gdzie usługa powitalny pracuje
url jest url chcesz indeksować i nie zapomnij urlquote to!
render.html jest jednym z możliwych punktów końcowych HTTP API zwraca redered stronę html w tym przypadku
timeout czas w sekundach czas oczekiwania
wait w sekundach czas oczekiwania na wykonanie javascript przed odczyt/zapis html.

Answer 2

Możesz uruchomić scrapy shell bez argumentów w skonfigurowanym projekcie Scrapy, następnie utworzyć req = scrapy_splash.SplashRequest(url, ...) i zadzwonić pod numer fetch(req).