Jak wyodrębnić frazy z korpusu przy użyciu gensim

Question

Do wstępnego przetwarzania korpusu planowałem wyodrębnić typowe frazy z korpusu, do tego próbowałem używać modelu Zwroty w gensim, próbowałem pod kodem, ale nie daje mi pożądanego wyniku.

Mój kod

from gensim.models import Phrases 
documents = ["the mayor of new york was there", "machine learning can be useful sometimes"] 

sentence_stream = [doc.split(" ") for doc in documents] 
bigram = Phrases(sentence_stream) 
sent = [u'the', u'mayor', u'of', u'new', u'york', u'was', u'there'] 
print(bigram[sent]) 

Wyjście

[u'the', u'mayor', u'of', u'new', u'york', u'was', u'there'] 

Ale to musi przyjść jak

[u'the', u'mayor', u'of', u'new_york', u'was', u'there'] 

Ale kiedy próbowałem t o drukuj słownictwo z danych pociągu, widzę bigram, ale nie działa z danymi testowymi, gdzie idę źle?

print bigram.vocab 

defaultdict(<type 'int'>, {'useful': 1, 'was_there': 1, 'learning_can': 1, 'learning': 1, 'of_new': 1, 'can_be': 1, 'mayor': 1, 'there': 1, 'machine': 1, 'new': 1, 'was': 1, 'useful_sometimes': 1, 'be': 1, 'mayor_of': 1, 'york_was': 1, 'york': 1, 'machine_learning': 1, 'the_mayor': 1, 'new_york': 1, 'of': 1, 'sometimes': 1, 'can': 1, 'be_useful': 1, 'the': 1}) 

Answer 1

mam rozwiązanie problemu, nie było dwa parametry nie dbać o to, który powinien być przekazany do fraz() Model, to są

1. min_count zignoruj ​​wszystkie słowa i bigramy z sumą zebranych punktów poniżej. Bydefault wartości nim jest 5

2. próg oznacza próg tworzące oznaczenia (wyższe oznacza mniej wyrażenia). Fraza wyrazów aib jest akceptowana, jeśli (cnt (a, b) - min_count) * N/(cnt (a) * cnt (b))> próg, gdzie N jest całkowitym rozmiarem słownika. Bydefault niego wartość 10,0

Z moich powyższych danych pociągów z dwóch oświadczeń, wartość progowa była , więc mogę zmienić zestawów danych pociągów i dodać te dwa parametry.

mój nowy kod

from gensim.models import Phrases 
documents = ["the mayor of new york was there", "machine learning can be useful sometimes","new york mayor was present"] 

sentence_stream = [doc.split(" ") for doc in documents] 
bigram = Phrases(sentence_stream, min_count=1, threshold=2) 
sent = [u'the', u'mayor', u'of', u'new', u'york', u'was', u'there'] 
print(bigram[sent]) 

Wyjście

[u'the', u'mayor', u'of', u'new_york', u'was', u'there'] 

Gensim jest naprawdę niesamowite :)