Usuwanie modyfikatorów znaków Unicode

Question

Jaki jest najprostszy sposób na usunięcie modyfikatorów znaków z łańcucha unicode w Pythonie?

Na przykład:

Arthur powinien stać Arthur

Próbowałem docs, ale nie mogłem znaleźć niczego, co robi.

Answer 1

Spróbuj

import unicodedata 
a = u"STRING GOES HERE" # using an actual string would break stackoverflow's code formatting. 
u"".join(x for x in a if not unicodedata.category(x).startswith("M")) 

To usunie wszystkie znaki sklasyfikowane jako znaki, które jest to, co myślę, że chcesz. Ogólnie rzecz biorąc, możesz uzyskać kategorię postaci z unicodedata.category.

Answer 2

Można też użyć r'\p{M}', który jest obsługiwany przez regex module:

import regex 

def remove_marks(text): 
    return regex.sub(ur"\p{M}+", "", text) 

Przykład:

>>> print s 
A͋͠r͍̞̫̜t̼̭͞h́u̡̙̞̘rͬͣ̐ͮ 
>>> def remove_marks(text): 
...  return regex.sub(ur"\p{M}+", "", text) 
...  
... 
>>> print remove_marks(s) 
Arthur 

zależności od użytkową przypadku whitelist podejście może być lepsza np ograniczyć tylko wejście do znaków ASCII:

>>> s.encode('ascii', 'ignore').decode('ascii') 
u'Arthur' 

Wynik może zależeć od normalizacji Unicode użytej w tekście.