mapreduce

6Ciepło

1Odpowiedz

Zastosowanie ramy agregacja MongoDB do grupy o długości tablicy

Mam kolekcję, która wygląda mniej więcej tak: { "_id": "id0", "name": "...", "saved_things": [ { ... }, { ... }, { ... }, ] } { "_id": "id1", "name":

6Ciepło

1Odpowiedz

Liczba świnek Hadoop

Uczę się teraz używać Hadoop Pig. Jeśli mam pliku wejściowego takiego: a,b,c,true s,c,v,false a,s,b,true ... ostatnie pole jest jedno muszę liczyć ... Więc chcę wiedzieć, ile „prawda” i „fałsz” w

20Ciepło

5Odpowiedz

Mapa hadoop zmniejsza sortowanie wtórne

Czy ktoś może mi wyjaśnić, jak sortowanie wtórne działa w hadoop? Dlaczego trzeba używać GroupingComparator i jak to działa w hadoopie? Przechodziłem przez link podany poniżej i miałem wątpliwości, ja

13Ciepło

2Odpowiedz

jaka jest podstawowa różnica między jobconf a job?

hi chciałem znać podstawowe różnice pomiędzy jobconf i pracy obiektów, obecnie jestem składania moją pracę jak ten JobClient.runJob(jobconf); widziałem innego sposobu składania oferty jak ten Config

9Ciepło

3Odpowiedz

Hadoop - uzyskać wyniki z plików wyjściowych po zmniejszeniu?

Biorąc pod uwagę pracę z mapą i zredukować fazy, widzę, że folder wyjściowy zawiera pliki o nazwach "part-r-00000". Czy muszę przetwarzać te pliki na poziomie aplikacji, czy muszę wykonywać iteracje d

10Ciepło

3Odpowiedz

Akumulator nie działa na klastrze działa lokalnie

W oficjalnej dokumentacji zapłonowej, nie jest przykładem dla akumulatora, który jest używany w foreach rozmowy, który jest bezpośrednio na RDD: scala> val accum = sc.accumulator(0) accum: spark.Accu

5Ciepło

1Odpowiedz

Jak zaimplementować sortowanie w hadoopie?

Mój problem polega na sortowaniu wartości w pliku. klucze i wartości są liczbami całkowitymi i wymagają zachowania kluczy posortowanych wartości. key value 1 24 3 4 4 12 5 23 wyjściowa: 1 2

14Ciepło

3Odpowiedz

Niezgodność typu klucz z mapy: oczekiwany org.apache.hadoop.io.Text, recieved org.apache.hadoop.io.LongWritable

Próbuję uruchomić mapę/reduktor w java. Poniżej znajdują się moje pliki WordCount.java package counter; public class WordCount extends Configured implements Tool { public int run(String[] arg0) t

5Ciepło

1Odpowiedz

Świnia java.lang.NoSuchFieldException: jobsInProgress wyjątek

Używam świni-0.11.0 + 28 z CDH4 i kiedy uruchomię jakiekolwiek zadanie Pig otrzymuję ten wyjątek. Zdarza się też w trybie lokalnym. Jakieś pomysły? 2013-07-08 13:53:44,035 [main] WARN org.apache.pig.b

9Ciepło

1Odpowiedz

Czytanie pliku jako pojedynczego rekordu w hadoopie

Mam ogromne nie. małych plików, chcę użyć CombineFileInputFormat, aby scalić pliki tak, że dane każdego pliku przychodzą jako pojedynczy rekord w mojej pracy MR. Śledzę http://yaseminavcular.blogspot.