Jak przekonwertować zakodowane znaki \ xXY na UTF-8 w Pythonie?

Question

Mam tekst, który zawiera znaki takie jak "\ xaf", "\ xbe", które, jak rozumiem z this question, są znakami zakodowanymi w ASCII.

Chcę przekonwertować je w Pythonie na ich odpowiedniki w formacie UTF-8. Zwykle string.encode("utf-8") rzuca UnicodeDecodeError. Czy jest jakiś lepszy sposób, na przykład, ze standardową biblioteką codecs?

Próbka 200 characters here.

Answer 1

Twój plik jest już zakodowany w UTF-8.

# saved encoding-sample to /tmp/encoding-sample 
import codecs 
fp= codecs.open("/tmp/encoding-sample", "r", "utf8") 
data= fp.read() 

import unicodedata as ud 

chars= sorted(set(data)) 
for char in chars: 
    try: 
     charname= ud.name(char) 
    except ValueError: 
     charname= "<unknown>" 
    sys.stdout.write("char U%04x %s\n" % (ord(char), charname)) 

i ręczne wypełnianie nieznanych nazwach:
char U000a LINE FEED
char U001e INFORMACJE SEPARATOR DWA
char U001f INFORMACJE SEPARATOR ONE

Answer 2

To nie jest ASCII (kody ASCII idą tylko do 127, \xaf to 175). Najpierw musisz znaleźć poprawne kodowanie, dekodować je, a następnie ponownie kodować w UTF-8.

Czy możesz podać rzeczywistą próbkę ciągu? Wtedy możemy prawdopodobnie odgadnąć aktualne kodowanie.

Answer 3

.encode dla konwersji unikodowego (unicode w 2.x str w 3.x) Do ciąg bajtów (str w 2.x bytes w 3.x).

W wersji 2.x można wywołać .encode na obiekcie str. Python domyślnie dekoduje ciąg znaków do Unicode: s.encode(e) działa tak, jak gdybyś napisał s.decode(sys.getdefaultencoding()).encode(e).

Problem polega na tym, że domyślne kodowanie to "ascii", a Twój ciąg znaków zawiera znaki spoza zestawu ASCII. Możesz rozwiązać ten problem, jawnie określając poprawne kodowanie.

>>> '\xAF \xBE'.decode('ISO-8859-1').encode('UTF-8') 
'\xc2\xaf \xc2\xbe'