python error nltk.sent_tokenize ASCII kodek nie potrafi dekodować

Question

mógłbym z powodzeniem czytać tekst do zmiennej, ale podczas próby tokenize teksty im się ten dziwny błąd:

sentences=nltk.sent_tokenize(sample) 
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe2 in position 11: ordinal not in range(128) 

znam przyczynę błędu jest jakiś specjalny ciąg/znak, którego tokenizator nie jest w stanie odczytać/odkodować, ale jak to obejść? Dzięki

Answer 1

powinien spróbować tego:

sentences=nltk.sent_tokenize(sample.decode('utf-8')) 

Answer 2

W skrócie, funkcja pos_tag NLTK3 nie działa.

Funkcja NLTK2 działa dobrze.

pip odinstalować NLTK

pip zainstalować http://pypi.python.org/packages/source/n/nltk/nltk-2.0.4.tar.gz

Z drugiej strony, tagger jest bardzo złe (podobno 'oranżerii' to czasownik). Chciałbym, aby SpaCy działało w systemie Windows.