apache-pig

5Ciepło

2Odpowiedz

Jak przechowywać zgrupowane rekordy w wielu plikach za pomocą Pig?

Po załadowaniu i zgrupowaniu rekordów, w jaki sposób mogę zapisać te zgrupowane rekordy w kilku plikach, po jednym w grupie (= identyfikator użytkownika)? records = LOAD 'input' AS (userid:int, ...);

8Ciepło

1Odpowiedz

Projekcja zgrupowanych krotek w świni

Mam kolekcję krotek formularza (t, a, b), które chcę zgrupować w bw świni. Po zgrupowaniu chcę odfiltrować b z krotek w każdej grupie i wygenerować torbę filtrowanych krotek na grupę. Jako przykład za

13Ciepło

4Odpowiedz

Mediana obliczeniowa na mapie zmniejsza

Czy ktoś może na przykład zmniejszyć obliczenia mediany/kwantyle na mapie? Moje rozumienie mediany Datafu jest to, że elementy odwzorowujące „n” sortować dane i wysyłać dane do „1” reduktor, który jes

6Ciepło

1Odpowiedz

Sposób, aby odczytać dane z tabeli z MySQL do Pig

Wszyscy wiemy, że świnia poparli DBStorage, ale są obsługiwane tylko wyniki obciążenia od świni do MySQL jak ten STORE data INTO DBStorage('com.mysql.jdbc.Driver', 'dbc:mysql://host/db', 'INSERT ...')

6Ciepło

2Odpowiedz

Apache Pig: prefiks paska przestrzeni nazw (: :) po operacji grupowej

Typowym wzorem w moim przetwarzaniu danych jest grupowanie według pewnego zestawu kolumn, stosowanie filtra, a następnie ponowne spłaszczanie. Na przykład: my_data_grouped = group my_data by some_colu

6Ciepło

1Odpowiedz

Jak mogę podzielić tabelę na HIVE?

Gram z Hive od kilku dni, ale nadal mam problem z partycją. Zapisuję logi Apache (format Połącz) w Hadoop przez kilka miesięcy. Są one przechowywane w formacie tekstowym rzędzie rozdzielono daty (popr

13Ciepło

4Odpowiedz

Jak mogę wprowadzić bieżącą nazwę pliku wejściowego do mojego skryptu łacińskiego?

Przetwarzam dane z zestawu plików zawierających datownik jako część nazwy pliku. Dane w pliku nie zawierają znacznika daty. Chciałbym przetworzyć nazwę pliku i dodać go do jednej ze struktur danych w

8Ciepło

2Odpowiedz

Dane wyjściowe nie są zagregowane ostrzeżeń o śledzeniu?

Pig: 0.8.1-cdh3u2 Hadoop: 0.20.2-cdh3u0 Debugowanie FIELD_DISCARDED_TYPE_CONVERSION_FAILED ostrzeżenia, ale nie mogę wydawać poszczególnych ostrzeżeń drukowanych w dowolnym miejscu. Wyłączenie agre

14Ciepło

2Odpowiedz

STORE dane wyjściowe do jednego pliku CSV?

Obecnie, gdy przechowuję w HDFS, tworzy wiele plików części. Czy istnieje sposób przechowywania do pojedynczego pliku CSV?

16Ciepło

3Odpowiedz

wybierz liczbę różną używając świni łacińskiej

Potrzebuję pomocy w tym skrypcie świni. Właśnie dostaję pojedynczą płytę. Wybieram 2 kolumny i robię licznik (odrębny) na innym, jednocześnie używając klauzuli where like, aby znaleźć konkretny opis (