Jak wydrukować pełną dystrybucję słów w temacie LDA w gensim?

Question

Moduł lda.show_topics z poniższego kodu drukuje tylko rozkład 10 pierwszych słów dla każdego tematu, jak wydrukować pełną dystrybucję wszystkich słów w korpusie?

from gensim import corpora, models 

documents = ["Human machine interface for lab abc computer applications", 
"A survey of user opinion of computer system response time", 
"The EPS user interface management system", 
"System and human system engineering testing of EPS", 
"Relation of user perceived response time to error measurement", 
"The generation of random binary unordered trees", 
"The intersection graph of paths in trees", 
"Graph minors IV Widths of trees and well quasi ordering", 
"Graph minors A survey"] 

stoplist = set('for a of the and to in'.split()) 
texts = [[word for word in document.lower().split() if word not in stoplist] 
     for document in documents] 

dictionary = corpora.Dictionary(texts) 
corpus = [dictionary.doc2bow(text) for text in texts] 

lda = models.ldamodel.LdaModel(corpus_tfidf, id2word=dictionary, num_topics=2) 

for i in lda.show_topics(): 
    print i 

Answer 1

Jest zmienna wezwanie topn w show_topics() którym można określić liczbę najlepszych słów N potrzebne z podziału słowa na każdy temat. zobacz http://radimrehurek.com/gensim/models/ldamodel.html

Więc zamiast domyślnego lda.show_topics(). Można użyć len(dictionary) dla pełnych rozkładów słowo dla każdego tematu:

for i in lda.show_topics(topn=len(dictionary)): 
    print i 

Answer 2

Istnieją dwie zmienne wezwanie num_topics i num_words w show_topics() dla num_topics liczby tematów, wróć num_words najbardziej znaczących słów (10 słów na temat, przez domyślna). zobacz http://radimrehurek.com/gensim/models/ldamodel.html#gensim.models.ldamodel.LdaModel.show_topics

Możesz więc użyć len(lda.id2word) dla pełnej dystrybucji słów dla każdego tematu oraz dla lda.num_topics dla wszystkich tematów w twoim modelu lda.

for i in lda.show_topics(formatted=False,num_topics=lda.num_topics,num_words=len(lda.id2word)): 
    print i 

Answer 3

Poniższy kod wydrukuje twoje słowa, jak również ich prawdopodobieństwo. Wydrukowałem 10 najlepszych słów. Możesz zmienić num_words = 10, aby wydrukować więcej słów na temat.

for words in lda.show_topics(formatted=False,num_words=10): 
    print(words[0]) 
    print("******************************") 
    for word_prob in words[1]: 
     print("(",dictionary[int(word_prob[0])],",",word_prob[1],")",end = "") 
    print("") 
    print("******************************")