Jak wydrukować odwrócony indeks utworzony przez elastyczne wyszukiwanie?

Question

Jeśli chciałbym uzyskać wszystkie tokeny indeksu, który tworzy elasticsearch (używam rails elasticsearch gem), jak mam to zrobić? Robi coś takiego robi tylko określony zestaw żetonów dla szukanej frazy:

curl -XGET 'http://localhost:9200/development_test/_analyze?text=John Smith' 

Answer 1

można połączyć Scroll API z Term Vectors API aby wyliczyć warunki w odwróconym index:

require "elastomer/client" 
require "set" 

client = Elastomer::Client.new({ :url => "http://localhost:9200" }) 
index = "someindex" 
type = "sometype" 
field = "somefield" 

terms = Set.new 

client.scan(nil, :index => index, :type => type).each_document do |document| 
    term_vectors = client.index(index).docs(type).termvector({ :fields => field, :id => document["_id"] })["term_vectors"] 
    if term_vectors.key?(field) 
    term_vectors[field]["terms"].keys.each do |term| 
     unless terms.include?(term) 
     terms << term 
     puts(term) 
     end 
    end 
    end 
end 

to raczej powolny i marnotrawstwo, ponieważ wykonuje żądanie HTTP _termvectors dla każdego dokumentu w indeksie, przechowuje wszystkie terminy w pamięci RAM i utrzymuje kontekst przewijania otwarty na czas wyliczania. Nie wymaga to jednak innego narzędzia, takiego jak Luke, a warunki mogą być przesyłane strumieniowo poza indeks.