Scrapy - podążaj za linkami RSS

Question

Zastanawiam się, czy ktoś kiedykolwiek próbował wyodrębnić/śledzić linki do pozycji RSS za pomocą SgmlLinkExtractor/CrawlSpider. Nie mogę zmusić go do pracy ...

używam następującą regułę:

 

    rules = (
     Rule(SgmlLinkExtractor(tags=('link',), attrs=False), 
      follow=True, 
      callback='parse_article'), 
     ) 

(mając na uwadze, że linki rss znajdują się w łącza tag).

Nie jestem pewien, jak powiedzieć SgmlLinkExtractor wyodrębnić tekst() z link i nie szukać atrybuty ...

Każda pomoc jest mile widziana, góry dzięki

Answer 1

zasady CrawlSpider nie działa w ten sposób. Prawdopodobnie będziesz potrzebować podklasy BaseSpider i zaimplementować własne wyodrębnianie linków w swoim sprzężeniu zwrotnym pająka. Na przykład:

from scrapy.spider import BaseSpider 
from scrapy.http import Request 
from scrapy.selector import XmlXPathSelector 

class MySpider(BaseSpider): 
    name = 'myspider' 

    def parse(self, response): 
     xxs = XmlXPathSelector(response) 
     links = xxs.select("//link/text()").extract() 
     return [Request(x, callback=self.parse_link) for x in links] 

Można również spróbować XPath w skorupkach, uruchamiając na przykład:

scrapy shell http://blog.scrapy.org/rss.xml 

a następnie wpisując w powłoce:

>>> xxs.select("//link/text()").extract() 
[u'http://blog.scrapy.org', 
u'http://blog.scrapy.org/new-bugfix-release-0101', 
u'http://blog.scrapy.org/new-scrapy-blog-and-scrapy-010-release'] 

Answer 2

Zrobiłem go przy użyciu CrawlSpider:

class MySpider(CrawlSpider): 
    domain_name = "xml.example.com" 

    def parse(self, response): 
     xxs = XmlXPathSelector(response) 
     items = xxs.select('//channel/item') 
     for i in items: 
      urli = i.select('link/text()').extract() 
      request = Request(url=urli[0], callback=self.parse1) 
      yield request 

    def parse1(self, response): 
     hxs = HtmlXPathSelector(response) 
     # ... 
     yield(MyItem()) 

, ale nie jestem pewien, czy jest to bardzo właściwe rozwiązanie ...

Answer 3

Istnieje jeden model, którego można używać w dzisiejszych czasach.

Answer 4

XML Przykład Od scrapy doc XMLFeedSpider

from scrapy.spiders import XMLFeedSpider 
from myproject.items import TestItem 

class MySpider(XMLFeedSpider): 
    name = 'example.com' 
    allowed_domains = ['example.com'] 
    start_urls = ['http://www.example.com/feed.xml'] 
    iterator = 'iternodes' # This is actually unnecessary, since it's the default value 
    itertag = 'item' 

    def parse_node(self, response, node): 
     self.logger.info('Hi, this is a <%s> node!: %s', self.itertag, ''.join(node.extract())) 

     #item = TestItem() 
     item = {} # change to dict for removing the class not found error 
     item['id'] = node.xpath('@id').extract() 
     item['name'] = node.xpath('name').extract() 
     item['description'] = node.xpath('description').extract() 
     return item