Python i charakter normalizacja

Question

Witam odzyskać tekst oparty utf8 danych ze źródła zagranicznego, który zawiera znaki specjalne, takie jak u"ıöüç" natomiast chcę normalizować je na angielski, takich jak "ıöüç" ->"iouc". Jaki byłby najlepszy sposób, aby to osiągnąć?

Answer 1

Polecam używanie Unidecode module:

>>> from unidecode import unidecode 
>>> unidecode(u'ıöüç') 
'iouc' 

Uwaga jak karmisz to ciąg Unicode i wyprowadza ciąg bajtów. Wyjście ma gwarantowaną wartość ASCII.

Answer 2

import unicodedata 
unicodedata.normalize() 

http://docs.python.org/library/unicodedata.html

Answer 3

Wszystko zależy od tego, jak daleko zajdzie potrzeba transliteracji wyniku. Jeśli chcesz przekonwertować wszystko do ASCII (αβγ do abg), to jest to droga, którą należy przejść.

Jeśli chcesz tylko usunąć akcenty z akcentowanych liter, a następnie można spróbować rozkładając swój ciąg formularz normalizacja NFKD (to konwertuje akcentowane litery á do zwykłego listu a następnie U+0301 COMBINING ACUTE ACCENT), a następnie odrzucając akcenty (które należą do Unicode character classMn - "Oznacz, bez odstępu").

import unicodedata 

def remove_nonspacing_marks(s): 
    "Decompose the unicode string s and remove non-spacing marks." 
    return ''.join(c for c in unicodedata.normalize('NFKD', s) 
        if unicodedata.category(c) != 'Mn') 

Answer 4

Najprostszym sposobem znalazłem:

unicodedata.normalize('NFKD', s).encode("ascii", "ignore")