ELK: Jak mogę odzyskać więcej niż 10000 wyników/wydarzenia w Elastic-search

Question

Problem:pobierania więcej niż 10000 wyników w elastycznego wyszukiwania poprzez wyszukiwanie w zapytaniu GET/wyszukiwania

GET hostname:port /myIndex/_search { 
"size": 10000, 
"query" : { 
    "term" : { "field" : "myField" } 
}} 

mam był przy użyciu opcji rozmiar wiedząc, że

index.max_result_window = 100000

Ale jeśli moje zapytanie zwróci 650000 na przykład lub nawet więcej, jak mogę je odzyskać w tym samym GET.

Czytałem o interfejsie SCROLL, FROM-TO i PAGINATION, ale wszystkie z nich, gdy są stosowane, nigdy nie dostarczają więcej niż 10K.

To jest przykład pokazów na Forum Elasticsearch i używałem tego.

GET /_search?scroll=1m 

Czy jest jakiś przykład, w którym można pobrać wszystkie dokumenty dla zapytania wyszukiwania GET?

Dziękuję bardzo.

Answer 1

Przewiń jest sposobem, aby przejść do dużej liczby dokumentów, wysoko w tym sensie, że przekracza limit 10000, który można podnieść.

Pierwszy wniosek musi określić kwerendę, którą chcesz zrobić, a parametr scroll z czasem trwania before the search context times out (1 minuta w poniższym przykładzie)

POST /index/type/_search?scroll=1m 
{ 
    "size": 1000, 
    "query": { 
     "match" : { 
      "title" : "elasticsearch" 
     } 
    } 
} 

W odpowiedzi na tego pierwszego, masz _scroll_id że trzeba użyć, aby drugie połączenie:

POST /_search/scroll 
{ 
    "scroll" : "1m", 
    "scroll_id" : "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAAD4WYm9laVYtZndUQlNsdDcwakFMNjU1QQ==" 
} 

w każdej kolejnej odpowiedzi, dostaniesz nową _scroll_id że trzeba użyć dla następnego połączenia, dopóki nie retri ile masz potrzebnych dokumentów.

więc w pseudo kod wygląda nieco jak poniżej:

# first request 
response = request('POST /index/type/_search?scroll=1m') 
docs = [ response.hits ] 
scroll_id = response._scroll_id 

# subsequent requests 
while (true) { 
    response = request('POST /_search/scroll', scroll_id) 
    docs.push(response.hits) 
    scroll_id = response._scroll_id 
}