hive

12Ciepło

4Odpowiedz

Hive: Tworzenie tabeli z wieloma plikami z wieloma katalogami

Chcę utworzyć tabelę Hive, w której wejściowe pliki tekstowe są wykonywane na wielu podkatalogach w formacie hdf. Więc przykład mam w HDFS: /testdata/user/Jan/part-0001 /testdata/user/Feb/part-00

5Ciepło

1Odpowiedz

Jak mogę uzyskać kody źródłowe zadań MapReduce wygenerowane przez kompilator Hive?

Chciałbym wiedzieć, jaki jest kod wygenerowany przez kompilator SQL Hive (tj. Jeśli wykonam jedno zdanie sql, chciałbym zobaczyć kod zadań MapReduce generowanych przez kompilator gałęzi SQL). Jak mogę

8Ciepło

3Odpowiedz

Integracja Hive/HBase - sesja Zookeeper'a jest natychmiast zamykana

Mamy klaster z 8 węzłami używający CDH3u2 skonfigurowanego przy użyciu Cloudera Manager. Mamy dedykowany węzeł nadrzędny, który uruchamia naszą jedyną instancję Zookeepera. Kiedy skonfiguruję gałąź do

5Ciepło

2Odpowiedz

Używanie Pig/Hive do przetwarzania danych zamiast bezpośredniej mapy Java zmniejsza kod?

(Nawet bardziej podstawowe niż Difference between Pig and Hive? Why have both?) Mam rurociągu przetwarzania danych napisany w kilka Java map-zmniejszenie zadania ponad Hadoop (mój własny kod niestanda

5Ciepło

4Odpowiedz

W jaki sposób Hive decyduje, kiedy korzystać z mapy, a kiedy nie?

Jako prosty przykład select * from tablename; NIE kopać mapie zmniejszyć, natomiast select count(*) from tablename; robi. Jaka jest ogólna zasada używana do decydowania, kiedy korzystać z mapy zmn

23Ciepło

3Odpowiedz

Jak skopiować pliki z S3 do Amazon EMR HDFS?

Używam gałęzi nad EMR, i trzeba skopiować niektóre pliki do wszystkich instancji EMR. Jednym ze sposobów, jak rozumiem, jest po prostu skopiowanie plików do lokalnego systemu plików na każdym węźle, d

16Ciepło

4Odpowiedz

Hive: dynamiczne dodawanie do tabeli partycji zewnętrznego

Używam gałąź 071, przetwarza istniejące dane, które posiada następującą strukturę katalogów: -TableName - d = (np 2011-08-01) - d = 2011-08-02 - d = 2011-08-03 ... itd. pod każdą datą mam pliki z datą

22Ciepło

3Odpowiedz

Ul nie może ręcznie ustawić liczbę reduktorów

I mają następujące zapytanie ula: select count(distinct id) as total from mytable; automatycznie ikra: 1408 Elementy odwzorowujące 1 redukcyjna trzeba ręcznie ustawić szereg reduktorów i próbowałem

7Ciepło

4Odpowiedz

Używanie FileFormat v Serde do odczytywania niestandardowych plików tekstowych

newbie Hadoop/Hive tutaj. Próbuję użyć danych przechowywanych w niestandardowym formacie tekstowym z Hive. Rozumiem, że możesz napisać niestandardową klasę FileFormat lub niestandardową SerDe, aby to

8Ciepło

4Odpowiedz

NoSql lub MySQL do analizy danych

Mamy klastra (hadoop, świnia), który przekazuje dane 350 Gb (rośnie kilka GB tygodniowo). Wszystkie te dane muszą zostać udostępnione Analytics. Mamy rozwiązanie Msyql ze schematem gwiaździstym (do te