Jak dodać wyrazy złożone do taggera w NLTK?

Question

Tak więc zastanawiałem się, czy ktoś nie ma pojęcia, jak połączyć wiele terminów, aby utworzyć pojedynczy termin w taggerach w NLTK..

Na przykład, kiedy zrobić:

nltk.pos_tag(nltk.word_tokenize('Apple Incorporated is the largest company')) 

Daje mi:

[('Apple', 'NNP'), ('Incorporated', 'NNP'), ('is', 'VBZ'), ('the', 'DT'), ('largest', 'JJS'), ('company', 'NN')] 

Jak zrobić to umieścić 'jabłko' i 'Włączone' Wspólnie się ('Apple Incorporated','NNP')

Answer 1

Możesz spróbować spojrzeć na nltk.RegexParser. Pozwala na dzielenie części treści oznaczonych jako mowy na podstawie wyrażeń regularnych. W przykładzie, można zrobić coś takiego

pattern = "NP:{<NN|NNP|NNS|NNPS>+}" 
c = nltk.RegexpParser(p) 
t = c.parse(nltk.pos_tag(nltk.word_tokenize("Apple Incorporated is the largest company"))) 
print t 

To daje:

Tree('S', [Tree('NP', [('Apple', 'NNP'), ('Incorporated', 'NNP')]), ('is', 'VBZ'), ('the', 'DT'), ('largest', 'JJS'), Tree('NP', [('company', 'NN')])]) 

Answer 2

Kod robi dokładnie to, co ma robić. Dodaje znaczniki Part of Speech do tokenów. "Apple Incorporated" nie jest pojedynczym tokenem. Jest to dwa oddzielne tokeny i jako taki nie może mieć zastosowanego do niego pojedynczego znacznika POS. To jest prawidłowe zachowanie.

Zastanawiam się, czy próbujesz użyć niewłaściwego narzędzia do pracy. Co próbujesz zrobić/Dlaczego próbujesz to zrobić? Być może jesteś zainteresowany identyfikowaniem kolokacji zamiast tagowania POS? Możesz zajrzeć tutaj: collocations module