mapreduce

8Ciepło

1Odpowiedz

Co oznacza scena w dziennikach iskier?

Kiedy uruchamiam zadanie za pomocą iskry, otrzymuję następujące dzienniki? [Stage 0:> (0 + 32)/32] Oto 32 odpowiada liczbie partycji RDD że ja prosiłem. Jednak nie rozumiem, dlaczego istnieje wiele et

mapreduce apache-spark apache-spark-sql pyspark 2015-10-07

---

5Ciepło

1Odpowiedz

Zmień przedrostek nazwy pliku wyjściowego dla DataFrame.write()

Pliki wyjściowe wygenerowane za pomocą metody Spark SQL DataFrame.write() rozpoczynają się od prefiksu "część". na przykład DataFrame sample_07 = hiveContext.table("sample_07"); sample_07.write().par

java apache-spark mapreduce apache-spark-sql 2016-03-19

---

7Ciepło

1Odpowiedz

How wordCount mapZmniejsz liczbę zleceń, uruchom na klastrze przędzy hadoop z apache tez?

Jako strona GitHub z tez mówi tez jest bardzo prosta, a przy jego sercu ma tylko dwa składniki: Silnik rurociągu przetwarzania danych oraz mistrza do przetwarzania danych aplikacja, gdzie po jednym ra

hadoop mapreduce yarn apache-tez 2015-07-17

---

5Ciepło

1Odpowiedz

niewłaściwa klasa wartości: klasa org.apache.hadoop.io.Text nie jest klasą org.apache.hadoop.io.IntWritable

Użyłem jednego programu odwzorowującego, jednego reduktora i jednej klasy kombinatorów, ale otrzymuję błąd jak poniżej: java.io.IOException: wrong value class: class org.apache.hadoop.io.Text is not c

java hadoop mapreduce 2015-05-30

---

9Ciepło

3Odpowiedz

Konwertowanie IntWritatble na int

Mam następujący kod i nie rozumiem, dlaczego użyto metody get() w podświetlonej linii. Jeśli usuniemy tę metodę get(), wyśle ​​mi błąd. To, co mogę z niego wyciągnąć to: get() Metoda zwraca wartość in

java hadoop mapreduce 2016-05-17

---

10Ciepło

3Odpowiedz

łączenie kilku LZO skompresowane pliki na HDFS

Powiedzmy mam tej struktury na HDFS: /dir1 /dir2 /Name1_2015/ file1.lzo file2.lzo file3.lzo /Name2_2015 file1.lzo file2.lzo Name1_2015.lzo c

java hadoop mapreduce compression hdfs 2015-07-24

---

5Ciepło

5Odpowiedz

IllegalAccessError do stoper guawy jest z org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus

Próbuję uruchomić małą aplikację zapłonową i otrzymuję następujący wyjątek: Exception in thread "main" java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V f

hadoop apache-spark mapreduce guava 2016-04-05

---

6Ciepło

2Odpowiedz

Domyślna liczba reduktorów

W Hadoop, jeśli nie ustawiliśmy liczby reduktorów, to ile będzie liczba reduktorów? Tak jak liczba elementów mapujących jest zależna od (całkowity rozmiar danych)/(wielkość podziału wejścia), E.g. jeś

hadoop mapreduce hdfs 2016-01-10

---

8Ciepło

1Odpowiedz

Jak interpretować MapReduce wydajności Liczniki

Aby być bardziej konkretne: W liczników zadaniowych, CPU spędzony pochodzi proc/utime + stime STAT, więc oznacza to, że takie rzeczy jak iowait nie będą liczone. Czy to prawda? Czas, jaki upłynął do w

hadoop mapreduce 2015-06-29

---

6Ciepło

3Odpowiedz

Zdobądź indeks danego elementu w polu tablicy w MongoDB

myśleć o tym dokumencie MongoDB: {_id:123, "food":[ "apple", "banana", "mango" ]} Pytanie: Jak zdobyć pozycję mango w żywności? Zapytanie powinno powrócić 2 w powyższym, a nie zwracać całego dokumen

mongodb mapreduce mongodb-query aggregation-framework 2015-10-13

---