Dekodowanie encji HTML za pomocą Pythona

Question

Próbuję odszyfrować wpisy HTML stąd NYTimes.com i nie mogę określić, co robię źle.

Weźmy na przykład:

"U.S. Adviser’s Blunt Memo on Iraq: Time ‘to Go Home’" 

Próbowałem BeautifulSoup, dekodowania ('iso-8859-1'), a smart_str django.utils.encoding bez jakiegokolwiek sukcesu.

Answer 1

Spróbuj tego:

import re 

def _callback(matches): 
    id = matches.group(1) 
    try: 
     return unichr(int(id)) 
    except: 
     return id 

def decode_unicode_references(data): 
    return re.sub("&#(\d+)(;|(?=\s))", _callback, data) 

data = "U.S. Adviser’s Blunt Memo on Iraq: Time ‘to Go Home’" 
print decode_unicode_references(data) 

Answer 2

to działa:

from BeautifulSoup import BeautifulStoneSoup 
s = "U.S. Adviser’s Blunt Memo on Iraq: Time ‘to Go Home’" 
decoded = BeautifulStoneSoup(s, convertEntities=BeautifulStoneSoup.HTML_ENTITIES) 

Jeśli chcesz ciąg zamiast obiektu Unicode, trzeba rozszyfrować go do kodowania, który obsługuje używane postacie; ISO-8859-1 nie:

result = decoded.encode("UTF-8") 

To niefortunne, że potrzebujesz modułu zewnętrznego do czegoś takiego; proste dekodowanie obiektu HTML/XML powinno znajdować się w standardowej bibliotece i nie wymagać od mnie korzystania z biblioteki o pozbawionych znaczenia nazwach takich jak "BeautifulStoneSoup". (Nazwy klas i funkcji nie powinny być "kreatywne", powinny być znaczące.)

Answer 3

W rzeczywistości to, co masz, nie jest elementami HTML. Istnieją TRZY odmiany tych & .....; rzeczy - na przykład       wszystkie średnie U + 00A0 NO-BREAK SPACE.

  (Twój typ) to "numeryczne odwołanie do znaku" (dziesiętnie).
  to "numeryczne odniesienie znaków" (szesnastkowo).
  to obiekt.

Dalsze czytanie: http://htmlhelp.com/reference/html40/entities/

Tutaj znajdziesz kod Python2.x że nie wszystkie trzy w jednym skanie przez wejście: http://effbot.org/zone/re-sub.htm#unescape-html

Answer 4

>>> from HTMLParser import HTMLParser 
>>> print HTMLParser().unescape('U.S. Adviser’s Blunt Memo on Iraq: ' 
...        'Time ‘to Go Home’') 
U.S. Adviser’s Blunt Memo on Iraq: Time ‘to Go Home’ 

Funkcja jest nieudokumentowane w Pythonie 2. It is fixed in Python 3.4+: jest wyeksponowany jako html.unescape() there.