BeautifulSoup zagnieżdżone znaczniki

Question

Próbuję do analizowania XML z BeautifulSoup, ale uderzył w mur, gdy próbuje użyć „recursive” atrybutu z findAll()

I wykazały dość dziwne formacie xml poniżej:

<?xml version="1.0"?> 
<catalog> 
    <book> 
     <author>Gambardella, Matthew</author> 
     <title>XML Developer's Guide</title> 
     <genre>Computer</genre> 
     <price>44.95</price> 
     <publish_date>2000-10-01</publish_date> 
     <description>An in-depth look at creating applications 
     with XML.</description> 
     <book>true</book> 
    </book> 
    <book> 
     <author>Ralls, Kim</author> 
     <title>Midnight Rain</title> 
     <genre>Fantasy</genre> 
     <price>5.95</price> 
     <publish_date>2000-12-16</publish_date> 
     <description>A former architect battles corporate zombies, 
     an evil sorceress, and her own childhood to become queen 
     of the world.</description> 
     <book>false</book> 
    </book> 
</catalog> 

Jak widać, znacznik książka powtarza wewnątrz znacznika książka, która powoduje błąd, gdy próbuję coś jak:

from BeautifulSoup import BeautifulStoneSoup as BSS 

catalog = "catalog.xml" 


def open_rss(): 
    f = open(catalog, 'r') 
    return f.read() 

def rss_parser(): 
    rss_contents = open_rss() 
    soup = BSS(rss_contents) 
    items = soup.findAll('book', recursive=False) 

    for item in items: 
     print item.title.string 

rss_parser() 

jak widać na moim soup.findAll Dodałem rekursywną = fałsz, która teoretycznie sprawiłaby, że nie powtórzyłaby się przez znaleziony przedmiot, ale przejdź do następnego.

nie wydają się działać, bo zawsze pojawia się następujący błąd:

File "catalog.py", line 17, in rss_parser 
    print item.title.string 
AttributeError: 'NoneType' object has no attribute 'string' 

Jestem pewien, że robię coś głupiego tutaj, i byłby wdzięczny, gdyby ktoś mógł mi dać jakąś pomoc na jak rozwiązać ten problem.

Zmiana struktury HTML nie jest opcją, ten kod musi działać dobrze, ponieważ może potencjalnie parsować duży plik XML.

Answer 1

soup.findAll('catalog', recursive=False) zwróci listę zawierającą tylko swoją najwyższego poziomu "katalogu" tag. Ponieważ nie ma "tytułowego" dziecka, item.title to None.

Zamiast tego spróbuj soup.findAll("book") lub soup.find("catalog").findChildren().

Edytuj: OK, problem nie był taki, jak myślałem. Wypróbuj to:

BSS.NESTABLE_TAGS["book"] = [] 
soup = BSS(open("catalog.xml")) 
soup.catalog.findChildren(recursive=False) 

Answer 2

BeautifulSoup jest powolny i martwe, zamiast używać lxml :)

>>> from lxml import etree 
>>> rss = open('/tmp/catalog.xml') 
>>> items = etree.parse(rss).xpath('//book/title/text()') 
>>> items 
["XML Developer's Guide", 'Midnight Rain'] 
>>> 

Answer 3

Wygląda na to, że problem leży w zagnieżdżonych znacznikach book. BautifulSoup ma predefiniowany zestaw tagów, które można zagnieżdżać (BeautifulSoup.NESTABLE_TAGS), ale nie wie, że book może zostać zagnieżdżony, więc przechodzi w winskers.

Customizing the parser, wyjaśnia, co się dzieje i jak można podklasę BeautifulStoneSoup dostosować niestandardowe znaczniki. Oto jak możemy użyć go, aby usunąć problem:

from BeautifulSoup import BeautifulStoneSoup 

class BookSoup(BeautifulStoneSoup): 
    NESTABLE_TAGS = { 
     'book': ['book'] 
    } 

soup = BookSoup(xml) # xml string omitted to keep this short 
for book in soup.find('catalog').findAll('book', recursive=False): 
    print book.title.string 

Jeśli uruchomić to otrzymujemy następujący wynik:

XML Developer's Guide 
Midnight Rain