Czy obiekt Session z wątku biblioteki zapytań Pythona jest bezpieczny?

Question

Popularna biblioteka Pythona o nazwie Requests jest uważana za wątkową na swojej stronie głównej, ale nie podano dalszych szczegółów. Jeśli zadzwonię requests.session(), mogę potem bezpiecznie przekazać ten obiekt do wielu wątków tak:

session = requests.session() 
for i in xrange(thread_count): 
    threading.Thread(
     target=target, 
     args=(session,), 
     kwargs={} 
    ) 

i żądań przy użyciu tej samej puli połączeń w wielu wątków?

Jeśli tak, czy jest to zalecana metoda, czy też każdy wątek powinien mieć własną pulę połączeń? (Zakładając, że łączna wielkość wszystkich pojedynczych pul połączeń zostanie zsumowana do wielkości jednej dużej puli połączeń, takiej jak powyższa.) Jakie są plusy i minusy każdego podejścia?

Answer 1

Po przejrzeniu źródła requests.session, powiem, że obiekt sesji może być wątkowo bezpieczny, w zależności od implementacji używanego CookieJar.

Session.prepare_request czyta z self.cookies i Session.send wzywa extract_cookies_to_jar(self.cookies, ...) i że wzywa jar.extract_cookies(...) (jar będąc self.cookies w tym przypadku).

Źródło Python 2.7's cookielib nabywa blokadę (threading.RLock) podczas aktualizacji słoika, więc wygląda na wątek bezpieczny. Z drugiej strony, documentation for cookielib nic nie mówi o bezpieczeństwie wątków, więc może ta funkcja nie powinna być zależna?

UPDATE

Jeśli wątki są mutowania żadnych atrybutów obiektu sesji, takie jak headers, proxies, stream itp lub wywołanie metody mount lub przy użyciu sesji z rachunku with, itd. To nie jest Wątek bezpieczny.

Answer 2

https://github.com/kennethreitz/requests/issues/1871 oznacza, że ​​sesja nie jest bezpieczna dla wątków i że co najmniej jeden opiekun zaleca jedną sesję w danym wątku.

Właśnie otworzyłem https://github.com/kennethreitz/requests/issues/2766 w celu wyjaśnienia dokumentacji.