Żądania python z wielowątkowością

Question

Próbowałem zbudować skrobak z funkcją wielowątkowości ostatnich dwóch dni. Jakoś wciąż nie mogłem sobie z tym poradzić. Najpierw próbowałem regularnego podejścia wielowątkowego z modułem wątków, ale nie był szybszy niż przy użyciu pojedynczego wątku. Później dowiedziałem się, że żądania są blokowane, a wielowątkowość nie działa tak naprawdę. Tak więc kontynuowałem badania i dowiedziałem się o podbojach i geenie. Teraz mam testy z geventem i nadal nie jest to szybsze niż użycie pojedynczego wątku. Czy moje kodowanie jest złe?

Oto odpowiednia część mojej klasy:

import gevent.monkey 
from gevent.pool import Pool 
import requests 

gevent.monkey.patch_all() 

class Test: 
    def __init__(self): 
     self.session = requests.Session() 
     self.pool = Pool(20) 
     self.urls = [...urls...] 

    def fetch(self, url): 

     try: 
      response = self.session.get(url, headers=self.headers) 
     except: 
      self.logger.error('Problem: ', id, exc_info=True) 

     self.doSomething(response) 

    def async(self): 
     for url in self.urls: 
      self.pool.spawn(self.fetch, url) 

     self.pool.join() 

test = Test() 
test.async() 

Answer 1

Instalacja grequests module który współpracuje z gevent (requests nie jest przeznaczony dla asynchroniczny):

pip install grequests 

Następnie zmień kod na coś podobnego to:

import grequests 

class Test: 
    def __init__(self): 
     self.urls = [ 
      'http://www.example.com', 
      'http://www.google.com', 
      'http://www.yahoo.com', 
      'http://www.stackoverflow.com/', 
      'http://www.reddit.com/' 
     ] 

    def exception(self, request, exception): 
     print "Problem: {}: {}".format(request.url, exception) 

    def async(self): 
     results = grequests.map((grequests.get(u) for u in self.urls), exception_handler=self.exception, size=5) 
     print results 

test = Test() 
test.async() 

To jest officially recommended w projekcie requests:

Blocking Or Non-Blocking?

With the default Transport Adapter in place, Requests does not provide any kind of non-blocking IO. The Response.content property will block until the entire response has been downloaded. If you require more granularity, the streaming features of the library (see Streaming Requests) allow you to retrieve smaller quantities of the response at a time. However, these calls will still block.

If you are concerned about the use of blocking IO, there are lots of projects out there that combine Requests with one of Python's asynchronicity frameworks. Two excellent examples are grequests and requests-futures .

Korzystając z tej metody daje mi zauważalne zwiększenie wydajności z 10 adresami: 0.877s vs 3.852s z oryginalnej metody.