2013-09-23 15 views
16

Próbuję utworzyć scrape tabeli z BeautifulSoup. Napisałem ten kod w języku Python:Python BeautifulSoup scrape tables

import urllib2 
from bs4 import BeautifulSoup 

url = "http://dofollow.netsons.org/table1.htm" # change to whatever your url is 

page = urllib2.urlopen(url).read() 
soup = BeautifulSoup(page) 

for i in soup.find_all('form'): 
    print i.attrs['class'] 

Potrzebuję zdrapać Nome, Cognome, e-mail.

Odpowiedz

21

Loop nad wierszy tabeli (tr tag) i uzyskać tekst komórek (td tag) wewnątrz:

for tr in soup.find_all('tr')[2:]: 
    tds = tr.find_all('td') 
    print "Nome: %s, Cognome: %s, Email: %s" % \ 
      (tds[0].text, tds[1].text, tds[2].text) 

odbitek:

Nome:  Massimo, Cognome:  Allegri, Email:  [email protected] 
Nome:  Alessandra, Cognome:  Anastasia, Email:  [email protected] 
... 

FYI, [2:] kawałek jest tu pominąć dwa nagłówek wydziwianie.

UPD, oto jak można zapisać wyniki do pliku txt:

with open('output.txt', 'w') as f: 
    for tr in soup.find_all('tr')[2:]: 
     tds = tr.find_all('td') 
     f.write("Nome: %s, Cognome: %s, Email: %s\n" % \ 
       (tds[0].text, tds[1].text, tds[2].text)) 
+0

można wyjaśnić, dlaczego potrzebne są: w pierwszej linii [2]? – AZhao

+0

@AZhao na pewno, jest tam w odpowiedzi - aby pominąć 2 wiersze nagłówka. – alecxe