mapreduce

5Ciepło

2Odpowiedz

Używanie Pig/Hive do przetwarzania danych zamiast bezpośredniej mapy Java zmniejsza kod?

(Nawet bardziej podstawowe niż Difference between Pig and Hive? Why have both?) Mam rurociągu przetwarzania danych napisany w kilka Java map-zmniejszenie zadania ponad Hadoop (mój własny kod niestanda

5Ciepło

4Odpowiedz

W jaki sposób Hive decyduje, kiedy korzystać z mapy, a kiedy nie?

Jako prosty przykład select * from tablename; NIE kopać mapie zmniejszyć, natomiast select count(*) from tablename; robi. Jaka jest ogólna zasada używana do decydowania, kiedy korzystać z mapy zmn

5Ciepło

2Odpowiedz

Jak ustawić liczbę zadań map w hadoop 0.20?

Próbuję ustawić liczbę zadań map do uruchomienia w środowisku hadoop 0.20. Używam starego api. Oto opcje próbowałem dotąd: conf.set("mapred.tasktracker.map.tasks.maximum", "5"); conf.set("mapred.

5Ciepło

1Odpowiedz

Python na żywo: w jaki sposób, aby ograniczyć do wielu wyjść (jego możliwe Java chociaż)

czytałem Hadoop in Action i stwierdził, że w Java użyciu MultipleOutputFormat i MultipleOutputs klas możemy zmniejszyć danych do wielu plików, ale co nie jestem pewny jest jak? osiągnąć to samo, używa

14Ciepło

1Odpowiedz

Przekazywanie argumentów programistom Hadoop

Używam new Hadoop API i szukam sposobu przekazania niektórych parametrów (kilka ciągów) do twórców map. Jak mogę to zrobić? This solutions works for old API: JobConf job = (JobConf)getConf(); job.set

5Ciepło

3Odpowiedz

Hadoop - zwiększenie zadań map w formacie XML nie zwiększa zadania mapę po uruchomieniu

dodałem następujących w moim conf/mapred-site.xml <property> <name>mapred.tasktracker.map.tasks.maximum</name> <value>4</value> </property> <property> <name>mapred.tasktracker.reduce

7Ciepło

1Odpowiedz

Własny MapReduce Input Format - Nie można znaleźć konstruktora

Piszę niestandardowy InputFormat dla Hadoop 0.20.2 i mam uruchomiony wyjątek NoSuchMethodException, którego nie mogę się pozbyć. Zacząłem: public class ConnectionInputFormat extends FileInputFormat<Te

8Ciepło

2Odpowiedz

Pełne wykorzystanie wszystkich rdzeni w trybie pseudo-rozproszonym Hadoop

Mam uruchomione zadanie w trybie pseudo-rozproszonym na moim 4 rdzeniowym laptopie. Jak mogę zapewnić efektywne wykorzystanie wszystkich rdzeni? Obecnie mój program do śledzenia zadań pokazuje, że tyl

32Ciepło

7Odpowiedz

W MongoDB mapreduce, w jaki sposób mogę spłaszczyć obiekt wartości?

Próbuję użyć MongoDB do analizy plików dziennika Apache. Utworzyłem kolekcję receipts z dzienników dostępu Apache. Oto skrócona podsumowanie tego, co moi modele wyglądać następująco: db.receipts.findO

6Ciepło

1Odpowiedz

MapReduce za pomocą SQL Server jako źródła danych

Obecnie badam możliwość użycia MapReduce do utrzymania przyrostowych kompilacji widoku w SQL Server. Zasadniczo użyj funkcji MapReduce, aby utworzyć widoki zmaterializowane. Trochę utknąłem w bankomac