apache-pig

7Ciepło

1Odpowiedz

ERROR 1066: Nie można otworzyć iterator dla aliasu w Pig, Generic rozwiązanie

Bardzo często, komunikat o błędzie w Apache wieprzowych: ERROR 1066: Unable to open iterator for alias Istnieje kilka pytań gdzie ten błąd jest wspomniane, ale żaden z nich nie dają ogólne podejście d

5Ciepło

2Odpowiedz

Jak można debugować skrypt świnia

Jeżeli podczas biegu prostego skryptu przez grupę w świni dla dużych terabajtów danych, skrypt utknął na powiedzmy 70%, to co można zrobić, aby zdiagnozować problem?

6Ciepło

2Odpowiedz

Użycie funkcji rankingu Apache Pig

Używam funkcji rangowania Pig 0.11.0 i generowania rang dla każdego id w moich danych. Potrzebuję rankingu moich danych w określony sposób. Chcę, aby ranga została zresetowana i zaczynała się od 1 dla

12Ciepło

5Odpowiedz

Jak wykonać DISTINCT w Pig Latin w podzbiorze kolumn?

Chciałbym wykonać operację DISTINCT na podzbiorze kolumn. documentation mówi, że jest to możliwe z zagnieżdżonym foreach: Nie można użyć DISTINCT na podzestawie pól; w tym celu użyj FOREACH i zagnieżd

6Ciepło

1Odpowiedz

Liczba świnek Hadoop

Uczę się teraz używać Hadoop Pig. Jeśli mam pliku wejściowego takiego: a,b,c,true s,c,v,false a,s,b,true ... ostatnie pole jest jedno muszę liczyć ... Więc chcę wiedzieć, ile „prawda” i „fałsz” w

7Ciepło

1Odpowiedz

AWS EMR importuj bibliotekę zewnętrzną od S3

Mam konfigurację klastra przy użyciu usługi Amazon EMR. Mam biblioteki Pythona (sklonowany z github i niedostępne na pip) na S3. Chcę przesłać pracę świni, która używa udf, który korzysta z biblioteki

6Ciepło

2Odpowiedz

Hadoop Pig - Usuwanie nagłówka CSV

Moje pliki csv mają nagłówek w pierwszym wierszu. Załadowanie ich do świni powoduje bałagan w kolejnych funkcjach (jak SUM). Na dzień dzisiejszy po raz pierwszy zastosować filtr na danych załadowanych

7Ciepło

2Odpowiedz

Hadoop i Stata

Czy ktoś ma jakieś doświadczenie z wykorzystaniem Stata i Hadoop? Stata 13 ma teraz Java Plugin API, więc myślę, że powinno być proste, aby je ładnie grać. Jestem szczególnie zainteresowany możliwości

5Ciepło

2Odpowiedz

Pig: ładowanie pliku danych przy użyciu zewnętrznego pliku schematu

Mam plik danych i odpowiedni plik schematu przechowywany w oddzielnych lokalizacjach. Chciałbym załadować dane przy użyciu schematu w pliku schematu. Spróbowałem użyć A= LOAD '<file path>' USING PigSt

8Ciepło

1Odpowiedz

W sprzężeniu iskry, czy kolejność tabel ma znaczenie jak w przypadku świni?

Podobne do Spark - Joining 2 PairRDD elements Podczas regularnych przyłączyć świni, ostatnia tabela w sprzężeniu nie doprowadza do pamięci, lecz transmitowane przez zamiast, więc jeśli ma małą licznoś