phantomjs + selen w python proxy-auth nie działa

Question

Próbuję ustawić proxy dla webscraping przy użyciu selenu + phantomjs. Używam Pythona.

Widziałem w wielu miejscach, że istnieje błąd w phantomjs, taki że proxy-auth nie działa.

from selenium.webdriver.common.proxy import * 
from selenium import webdriver 
from selenium.webdriver.common.by import By 
service_args = [ 
'--proxy=http://fr.proxymesh.com:31280', 
'--proxy-auth=USER:PWD', 
'--proxy-type=http', 
] 

driver = webdriver.PhantomJS(service_args=service_args) 
driver.get("https://www.google.com") 
print driver.page_source 

Pełnomocnik siatki proponuje zastosowanie następujące zamiast:

page.customHeaders = { 'pośredniej autoryzacji': 'podstawowe '+ btoa (': Hasło')};

, ale nie jestem pewien, jak to przetłumaczyć na pytona.

To co obecnie mam:

from selenium import webdriver 
import base64 
from selenium.webdriver.common.proxy import * 
from selenium import webdriver 
from selenium.webdriver.common.by import By 

service_args = [ 
'--proxy=http://fr.proxymesh.com:31280', 
'--proxy-type=http', 
] 

headers = { 'Proxy-Authorization': 'Basic ' + base64.b64encode('USERNAME:PASSWORD')} 

for key, value in enumerate(headers): 
    webdriver.DesiredCapabilities.PHANTOMJS['phantomjs.page.customHeaders.{}'.format(key)] = value 

driver = webdriver.PhantomJS(service_args=service_args) 
driver.get("https://www.google.com") 
print driver.page_source 

ale to nie działa.

Jakieś sugestie, jak mogę to uruchomić?

Answer 1

Mam kompilacji odpowiedź od: How to correctly pass basic auth (every click) using Selenium and phantomjs webdriver jak: base64.b64encode error

from selenium import webdriver 
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities 
import base64 

service_args = [ 
    '--proxy=http://fr.proxymesh.com:31280', 
    '--proxy-type=http', 
] 

authentication_token = "Basic " + base64.b64encode(b'username:password') 

capa = DesiredCapabilities.PHANTOMJS 
capa['phantomjs.page.customHeaders.Proxy-Authorization'] = authentication_token 
driver = webdriver.PhantomJS(desired_capabilities=capa, service_args=service_args) 

driver.get("http://...") 

Answer 2

Rozwiązanie z DesiredCapabilities nie działa dla mnie. Skończyło się na następującym rozwiązaniu:

from selenium import webdriver 

driver = webdriver.PhantomJS(executable_path=config.PHANTOMJS_PATH, 
service_args=['--ignore-ssl-errors=true', 
    '--ssl-protocol=any', 
    '--proxy={}'.format(self.proxy), 
    '--proxy-type=http', 
    '--proxy-auth={}:{}'.format(self.proxy_username, self.proxy_password)])