Przeszukuję 6 różnych dozwolonych domen i chcę ograniczyć głębokość 1 domeny. Jak chciałbym ograniczyć głębokość tej 1 domeny w scrapy? Czy możliwe byłoby zaindeksowanie tylko 1 głębokości domen zewnętrznych?Ograniczenie głębokości ustawiania za pomocą funkcji Scrapy na dozwolone_domeny
5
A
Odpowiedz
8
Scrapy nie zapewnia niczego takiego. Możesz set the DEPTH_LIMIT
per-spider, ale nie na domenę.
Co możemy zrobić? Read the code, wypij kawę i rozwiąż ją (kolejność jest ważna).
Zamiast tego chodzi o wyłączenie wbudowanych funkcji Scrapy w postaci DepthMiddleware
i provide our custom one.
Najpierw zdefiniować ustawienia:
DOMAIN_DEPTHS
byłby słownik z limitów głębokość na domenieDEPTH_LIMIT
ustawienie zostawimy jako domyślny w przypadku, gdy domena nie jest skonfigurowana
Przykład ustawienia:
DOMAIN_DEPTHS = {'amazon.com': 1, 'homedepot.com': 4}
DEPTH_LIMIT = 3
Dobra, teraz zwyczaj middleware (na podstawie DepthMiddleware
):
from scrapy import log
from scrapy.http import Request
import tldextract
class DomainDepthMiddleware(object):
def __init__(self, domain_depths, default_depth):
self.domain_depths = domain_depths
self.default_depth = default_depth
@classmethod
def from_crawler(cls, crawler):
settings = crawler.settings
domain_depths = settings.getdict('DOMAIN_DEPTHS', default={})
default_depth = settings.getint('DEPTH_LIMIT', 1)
return cls(domain_depths, default_depth)
def process_spider_output(self, response, result, spider):
def _filter(request):
if isinstance(request, Request):
# get max depth per domain
domain = tldextract.extract(request.url).registered_domain
maxdepth = self.domain_depths.get(domain, self.default_depth)
depth = response.meta.get('depth', 0) + 1
request.meta['depth'] = depth
if maxdepth and depth > maxdepth:
log.msg(format="Ignoring link (depth > %(maxdepth)d): %(requrl)s ",
level=log.DEBUG, spider=spider,
maxdepth=maxdepth, requrl=request.url)
return False
return True
return (r for r in result or() if _filter(r))
Zauważ, że wymaga to tldextract
moduł do instalacji (używany do ekstrakcji nazwę domeny z URL):
>>> import tldextract
>>> url = 'http://stackoverflow.com/questions/27805952/scrapy-set-depth-limit-per-allowed-domains'
>>> tldextract.extract(url).registered_domain
'stackoverflow.com'
Teraz musimy aby wyłączyć domyślne oprogramowanie pośrednie i zastosować to, które zaimplementowaliśmy:
SPIDER_MIDDLEWARES = {
'myproject.middlewares.DomainDepthMiddleware': 900,
'scrapy.contrib.spidermiddleware.depth.DepthMiddleware': None
}
Czym różni się tldextract od popularniejszego pakietu python 'tld'? –
@FredericBazin Naprawdę nie jestem pewien, nie porównałem ich. Myślę, że nie jest to bardzo ważne. Możesz użyć dowolnego z nich lub nawet rozwiązać za pomocą 'urlparse()' posiadającego niestandardową funkcję 'extract_domain()'. Dzięki. – alecxe
Dziękuję za wspaniałe wyjaśnienie! Powinien 'response.meta ['depth'] = 0' powyżej' depth = response.meta ['depth'] + 1 'Else, 'response.meta [' depth ']' jest puste i dałoby keyerror –