użyciu python urllib2 wysłać żądanie POST i uzyskać odpowiedź

staram się dostać na stronę HTML z powrotem wysyłać żądania POST:użyciu python urllib2 wysłać żądanie POST i uzyskać odpowiedź

import httplib 
import urllib 
import urllib2 
from BeautifulSoup import BeautifulSoup 


headers = { 
    'Host': 'digitalvita.pitt.edu', 
    'Connection': 'keep-alive', 
    'Content-Length': '325', 
    'Origin': 'https://digitalvita.pitt.edu', 
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_4) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1', 
    'Content-type': 'application/x-www-form-urlencoded; charset=UTF-8', 
    'Accept': 'text/javascript, text/html, application/xml, text/xml, */*', 
    'Referer': 'https://digitalvita.pitt.edu/index.php', 
    'Accept-Encoding': 'gzip,deflate,sdch', 
    'Accept-Language': 'en-US,en;q=0.8', 
    'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3', 
    'Cookie': 'PHPSESSID=lvetilatpgs9okgrntk1nvn595' 
} 

data = { 
    'action': 'search', 
    'xdata': '<search id="1"><context type="all" /><results><ordering>familyName</ordering><pagesize>100000</pagesize><page>1</page></results><terms><name>d</name><school>All</school></terms></search>', 
    'request': 'search' 
} 

data = urllib.urlencode(data) 
print data 
req = urllib2.Request('https://digitalvita.pitt.edu/dispatcher.php', data, headers) 
response = urllib2.urlopen(req) 
the_page = response.read() 

soup=BeautifulSoup(the_page) 
print soup

może ktoś mi powiedzieć jak zrobić to działa?

Źródło

2012-09-20 user1652287

Czy wypróbowałeś bibliotekę [requests] (http://docs.python-requests.org/en/latest/index.html)? Znacznie ułatwia wysyłanie żądań http. Również brakujące kilka powrotów karetki, np. między instrukcjami importu i przed instrukcjami 'print'. Czy są one również obecne w twoim oryginalnym kodzie? – Maus

byłoby pomocne zobaczyć komunikat o błędzie – Will

Korzystanie z pycurl jest znacznie prostsze i czystsze: http://stackoverflow.com/questions/22799648/convert-curl-example-to-pururl – johannzhaojohann

Nie określaj nagłówka Content-Length, urllib2 oblicza go dla Ciebie. W tej sytuacji Twój nagłówek określa nieprawidłową długość:

>>> data = urllib.urlencode(data) 
>>> len(data) 
319

Bez tego nagłówka reszta zaksięgowanego kodu działa dobrze dla mnie.

Źródło

2012-09-20 19:56:09

użyciu python urllib2 wysłać żądanie POST i uzyskać odpowiedź

Odpowiedz

Powiązane problemy