hadoop

9Ciepło

1Odpowiedz

Określanie limitów pamięci za pomocą hadoop

Próbuję uruchomić zadanie o wysokiej pamięci w klastrze Hadoop (0.20.203). Zmodyfikowałem mapred-site.xml, aby wymusić pewne limity pamięci. <property> <name>mapred.cluster.max.map.memory.mb</nam

5Ciepło

2Odpowiedz

Używanie Pig/Hive do przetwarzania danych zamiast bezpośredniej mapy Java zmniejsza kod?

(Nawet bardziej podstawowe niż Difference between Pig and Hive? Why have both?) Mam rurociągu przetwarzania danych napisany w kilka Java map-zmniejszenie zadania ponad Hadoop (mój własny kod niestanda

20Ciepło

2Odpowiedz

Jak zrobić sprzężenia zewnętrznego na dwóch kolumnach w Pig Latin

zrobić zewnętrzna łączy pojedynczych kolumn w Świni jak ten result = JOIN A by id LEFT OUTER, B by id; Jak mogę dołączyć na dwóch kolumnach, coś - WHERE A.id=B.id AND A.name=B.name Co to jest odpo

23Ciepło

3Odpowiedz

Jak skopiować pliki z S3 do Amazon EMR HDFS?

Używam gałęzi nad EMR, i trzeba skopiować niektóre pliki do wszystkich instancji EMR. Jednym ze sposobów, jak rozumiem, jest po prostu skopiowanie plików do lokalnego systemu plików na każdym węźle, d

11Ciepło

1Odpowiedz

Dołącz do COGROUP w PIG

Czy są jakieś zalety (wydajność wrt/brak mapy maleje), gdy używam COGROUP zamiast JOIN w świni? http://developer.yahoo.com/hadoop/tutorial/module6.html mówi o różnicy w rodzaju produkcji, którą produk

16Ciepło

4Odpowiedz

Hive: dynamiczne dodawanie do tabeli partycji zewnętrznego

Używam gałąź 071, przetwarza istniejące dane, które posiada następującą strukturę katalogów: -TableName - d = (np 2011-08-01) - d = 2011-08-02 - d = 2011-08-03 ... itd. pod każdą datą mam pliki z datą

6Ciepło

5Odpowiedz

Jak mogę sprawdzić plik sekwencji Hadoop, dla którego brakuje mi pełnej informacji o schemacie?

Mam skompresowany plik Hadoop SequenceFile od klienta, którego chciałbym sprawdzić. Obecnie nie mam pełnych informacji o schemacie (nad którym pracuję osobno). Ale w międzyczasie (i w nadziei na ogóln

5Ciepło

1Odpowiedz

Python na żywo: w jaki sposób, aby ograniczyć do wielu wyjść (jego możliwe Java chociaż)

czytałem Hadoop in Action i stwierdził, że w Java użyciu MultipleOutputFormat i MultipleOutputs klas możemy zmniejszyć danych do wielu plików, ale co nie jestem pewny jest jak? osiągnąć to samo, używa

5Ciepło

1Odpowiedz

Jak odinstalować Hadoop?

Używam Mac OSX i chcesz odinstalować/zainstalować ponownie (czysty) Hadoop Proszę dać mi znać, jak mogę to zrobić Dziękuję

5Ciepło

3Odpowiedz

Hadoop - zwiększenie zadań map w formacie XML nie zwiększa zadania mapę po uruchomieniu

dodałem następujących w moim conf/mapred-site.xml <property> <name>mapred.tasktracker.map.tasks.maximum</name> <value>4</value> </property> <property> <name>mapred.tasktracker.reduce