Serwery proxy z modułem "Żądania" w języku Python

Question

Krótko mówiąc, prosty o doskonałym module Requests dla Pythona.

Nie mogę znaleźć w dokumentacji, co powinna zawierać zmienna "proxy". Kiedy wysyłam mu dyktando ze standardową wartością "IP: PORT", odrzucił on prośbę o 2 wartości. Tak, myślę (ponieważ to nie wydaje się być objęte w dokumentach), że pierwszą wartością jest ip, a drugi port?

Docs wspomnieć o tym tylko:

proxies – (optional) Dictionary mapping protocol to the URL of the proxy.

Więc próbowałem to ... co mam robić?

proxy = { ip: port} 

i czy powinienem je przekonwertować na jakiś typ przed umieszczeniem ich w dyktafonie?

r = requests.get(url,headers=headers,proxies=proxy) 

Answer 1

Składnia proxies 'DICT jest {"protocol":"ip:port", ...}. Dzięki niemu można określić inny (lub ten sam) proxie (-ów) dla żądań korzystających http, https i ftp protokoły:

http_proxy = "http://10.10.1.10:3128" 
https_proxy = "https://10.10.1.11:1080" 
ftp_proxy = "ftp://10.10.1.10:3128" 

proxyDict = { 
       "http" : http_proxy, 
       "https" : https_proxy, 
       "ftp" : ftp_proxy 
      } 

r = requests.get(url, headers=headers, proxies=proxyDict) 

Odliczono z requests documentation:

Parameters:
method – method for the new Request object.
url – URL for the new Request object.
...
proxies – (optional) Dictionary mappingprotocol to the URL of the proxy.
...

---

W systemie Linux można to zrobić także za pomocą środowiska HTTP_PROXY, HTTPS_PROXY i FTP_PROXY riables:

export HTTP_PROXY=10.10.1.10:3128 
export HTTPS_PROXY=10.10.1.11:1080 
export FTP_PROXY=10.10.1.10:3128 

W systemie Windows:

set http_proxy=10.10.1.10:3128 
set https_proxy=10.10.1.11:1080 
set ftp_proxy=10.10.1.10:3128 

---

Dzięki, Jay za wskazanie na to uwagę:
Składnia zmieniło wniosków 2.0.0.
Musisz dodać do schematu URL: http://docs.python-requests.org/en/latest/user/advanced/#proxies

Answer 2

tutaj jest moje podstawowe klasy w Pythonie dla modułu wnioski z niektórych configs proxy i stopera!

import requests 
import time 
class BaseCheck(): 
    def __init__(self, url): 
     self.http_proxy = "http://user:pw@proxy:8080" 
     self.https_proxy = "http://user:pw@proxy:8080" 
     self.ftp_proxy = "http://user:pw@proxy:8080" 
     self.proxyDict = { 
         "http" : self.http_proxy, 
         "https" : self.https_proxy, 
         "ftp" : self.ftp_proxy 
        } 
     self.url = url 
     def makearr(tsteps): 
      global stemps 
      global steps 
      stemps = {} 
      for step in tsteps: 
       stemps[step] = { 'start': 0, 'end': 0 } 
      steps = tsteps 
     makearr(['init','check']) 
     def starttime(typ = ""): 
      for stemp in stemps: 
       if typ == "": 
        stemps[stemp]['start'] = time.time() 
       else: 
        stemps[stemp][typ] = time.time() 
     starttime() 
    def __str__(self): 
     return str(self.url) 
    def getrequests(self): 
     g=requests.get(self.url,proxies=self.proxyDict) 
     print g.status_code 
     print g.content 
     print self.url 
     stemps['init']['end'] = time.time() 
     #print stemps['init']['end'] - stemps['init']['start'] 
     x= stemps['init']['end'] - stemps['init']['start'] 
     print x 


test=BaseCheck(url='http://google.com') 
test.getrequests() 

Answer 3

Możesz zapoznać się z proxy documentation here.

Jeśli musisz korzystać z serwera proxy, można skonfigurować poszczególne wnioski z prokurentów argument do dowolnej metody żądania:

import requests 

proxies = { 
    "http": "10.10.1.10:3128", 
    "https": "10.10.1.10:1080", 
} 

requests.get("http://example.org", proxies=proxies) 

Aby wykorzystać HTTP Podstawowe Auth z serwera proxy, należy użyć składni http://user:password@host.com/:

proxies = { 
    "http": "http://user:pass@10.10.1.10:3128/" 
} 

Answer 4

Zauważyłem, że urllib ma naprawdę dobry kod do pobrania ustawień proxy systemu i są one w poprawnej formie do użycia bezpośrednio.Możesz użyć tego:

import urllib 

... 
r = requests.get('http://example.org', proxies=urllib.getproxies()) 

Działa bardzo dobrze i urllib wie również o uzyskiwaniu ustawień Mac OS X i Windows.

Answer 5

Zaakceptowanych odpowiedź był dobry początek dla mnie, ale ciągle otrzymuję następujący błąd:

AssertionError: Not supported proxy scheme None 

Fix to było określić http: // w adresie URL proxy tak:

http_proxy = "http://194.62.145.248:8080" 
https_proxy = "https://194.62.145.248:8080" 
ftp_proxy = "10.10.1.10:3128" 

proxyDict = { 
       "http" : http_proxy, 
       "https" : https_proxy, 
       "ftp" : ftp_proxy 
      } 

Byłbym zainteresowany, dlaczego oryginał działa dla niektórych osób, ale nie dla mnie.

Edytuj: Widzę, że główna odpowiedź została teraz zaktualizowana, aby to odzwierciedlić :)