Python Jak naprawić uszkodzone kodowanie utf-8?

Question

mój ciąg jest Niệm Bồ Tát (Thiá»n sÆ° Nhất Hạnh) i chcę dekodować go do Niệm Bồ Tát (Thiền sư Nhất Hạnh) widzę w tym miejscu może to zrobić http://www.enderminh.com/minh/utf8-to-unicode-converter.aspx

i zacznę próbować przez Python

mystr = '09. Bát Nhã Tâm Kinh' 
mystr.decode('utf-8') 

ale faktycznie nie jest prawidłowe, ponieważ oryginalny ciąg to utf-8, ale pokaz ciągów nie jest moim oczekiwanym rezultatem.

Uwaga: jest to wietnamski charakter.

Jak rozwiązać tę sprawę? Czy to jest Windows Unicode czy coś? Jak wykryć kodowanie tutaj. góry dzięki

Answer 1

Nie jestem pewien, co można zrobić z tego rodzaju danych, ale dla przykładu w oryginalnym poście, to działa:

>>> mystr = '09. Bát Nhã Tâm Kinh' 
>>> s = mystr.decode('utf8').encode('latin1').decode('utf8') 
>>> s 
u'09. B\xe1t Nh\xe3 T\xe2m Kinh' 
>>> print(s) 
09. Bát Nhã Tâm Kinh 

Answer 2

Jedyną rzeczą, która pomogła mi złamany cyrylica - https://github.com/LuminosoInsight/python-ftfy

Ten moduł naprawia wszystko i działa znacznie lepiej niż dekodery online.

>>> from ftfy import fix_encoding 
>>> mystr = '09. Bát Nhã Tâm Kinh' 
>>> fix_encoding(mystr) 
'09. Bát Nhã Tâm Kinh' 

To można łatwo zainstalować za pomocą pip install ftfy