bigrams zamiast pojedynczych słów w macierzy termdocument przy użyciu R i Rweka

Question

Znalazłem sposób użycia bigrams zamiast pojedynczych tokenów w macierzy term-document. Rozwiązanie zostało postawione na stackoverflow tutaj: findAssocs for multiple terms in R

Pomysł wychodzi coś takiego:

library(tm) 
library(RWeka) 
data(crude) 

#Tokenizer for n-grams and passed on to the term-document matrix constructor 
BigramTokenizer <- function(x) NGramTokenizer(x, Weka_control(min = 2, max = 2)) 
txtTdmBi <- TermDocumentMatrix(crude, control = list(tokenize = BigramTokenizer)) 

Jednak ostateczna linia daje mi błąd:

Error in rep(seq_along(x), sapply(tflist, length)) : 
    invalid 'times' argument 
In addition: Warning message: 
In is.na(x) : is.na() applied to non-(list or vector) of type 'NULL' 

Jeśli usunąć tokenizera od w ostatniej linii tworzy regularne tdm, więc domyślam się, że problem tkwi gdzieś w funkcji BigramTokenizer, chociaż jest to ten sam przykład, który podaje strona Weka: http://tm.r-forge.r-project.org/faq.html#Bigrams.

Answer 1

Zainspirowany komentarzem Antoniego, okazało się, że można określić liczbę wątków, że biblioteka parallel używa domyślnie (podać go przed wywołaniem NgramTokenizer):

# Sets the default number of threads to use 
options(mc.cores=1) 

Ponieważ NGramTokenizer wydaje się powiesić na wywołanie parallel::mclapply, zmiana liczby wątków wydaje się działać wokół niego.

Answer 2

Wydaje się, że istnieją problemy z zastosowaniem RWeka z równolegle opakowania. Znalazłem obejście rozwiązanie here.

The most important point is not loading the RWeka package and use the namespace in a encapsulated function.

Więc tokenizer powinien wyglądać

BigramTokenizer <- function(x) {RWeka::NGramTokenizer(x, RWeka::Weka_control(min = 2, max = 2))}