Jak znaleźć najnowszą partycję w tabeli HIVE

Question

Mam tabelę partycjonowaną - z 201 partycjami. Potrzebuję znaleźć najnowszą partycję w tej tabeli i użyć jej do opublikowania moich danych. Kwerenda do wyszukania listy wszystkich partycji to:

use db; 
show partitions table_name; 

Potrzebuję zapytania, aby znaleźć najnowsze z tych partycji. Partycje mają format

ingest_date=2016-03-09 

Próbowałem użyć max(), który dał mi zły wynik. Nie chcę przechodzić przez cały stół, wykonując

select max(ingest_date) from db.table_name; 

Dałoby mi oczekiwanego wyjście .. ale zabić cały sens posiadania partycje w 1 miejscu.

Czy istnieje bardziej wydajne zapytanie, aby uzyskać najnowszą partycję dla tabeli HIve?

Answer 1

Można użyć "pokaż partycji":

hive -e "set hive.cli.print.header=false;show partitions table_name;" | tail -1 | cut -d'=' -f2 

to daje "09/03/2016" jako wyjście.