Jak szybko ponownie wyświetlić ElasticSearch?

Question

Mam indeks ElasticSearch z około 200 mln dokumentów, łączny rozmiar indeksu 90Gb.

Zmieniono mapowanie, więc chciałbym, aby ElasticSearch ponownie indeksował wszystkie dokumenty.

Napisałem skrypt, który tworzy nowy indeks (z nowym mapowaniem), a następnie przegląda wszystkie dokumenty ze starego indeksu i umieszcza je w nowym.

Wydaje się działać, ale problem polega na tym, że działa bardzo wolno. Zaczęło się od 300 dokumentów/minutę dwa dni temu, a teraz prędkość wynosi 150 dokumentów/minutę.

Skrypt działa na komputerze w tej samej sieci elastycznych maszyn przeszukać.

Przy takiej prędkości będzie wymagać miesięcy do ponownego indeksu do końca.

Czy ktoś wie o szybszej technice indeksowania indeksu elastycznego wyszukiwania?

Answer 1

odpowiedzieć w grupach google.

Wariant A: Użyj operacji indeksu luzem.

Wariant B: Użyj re-index plug-in, który działa wewnątrz ES maszyny: https://github.com/karussell/elasticsearch-reindex

Answer 2

Właściwym sposobem na ponowne wyindeksowanie w Elasticsearch jest użycie interfejsów API scan i scroll, które powinny być obsługiwane przez piki.

Wygląda na to, że biblioteka Pyes ma metodę reindex, ale nie mam z nią doświadczenia.

(Jeśli chcesz dostać się za pomocą Ruby nad Python :) The opon Ruby klient ma metodę Index#reindex: https://github.com/karmi/tire/blob/master/test/integration/reindex_test.rb. Powinien on być wystarczająco szybki dla danych)