mapreduce

13Ciepło

2Odpowiedz

Używanie Hadoop do przetwarzania równoległego zamiast Big Data

Zarządzam niewielkim zespołem programistów i w dowolnym momencie mamy kilka uruchomionych (jednorazowych) projektów danych, które można uznać za "Embarrassingly parallel" - na ogół wymagają one urucho

hadoop mapreduce 2013-04-01

---

5Ciepło

2Odpowiedz

Hadoop - jak używać i zmniejszać wiele wejść?

Mapper/Reducer 1 --> (key,value) / | \ / | \ Mapper/Reducer 2 | Mapper/Reducer 4 -> (oKey,oValue) | -> (xKey, xValue) | | Mapper/Reducer 3

java hadoop mapreduce 2013-04-11

---

8Ciepło

3Odpowiedz

Jak naprawić błąd "Nielegalna partycja" w hadoopie?

Napisałem niestandardowy program do partycjonowania. Kiedy mam liczbę zadań redukcji większych niż 1, zadanie się nie udaje. Jest to wyjątek, który dostaję: java.io.IOException: Illegal partition for

java hadoop mapreduce 2013-02-22

---

12Ciepło

2Odpowiedz

Nie udało się zgłosić stanu przez 600 sekund. Zabicie! Raportowanie postępu w Hadoop

I pojawia się następujący błąd: Task attempt_201304161625_0028_m_000000_0 failed to report status for 600 seconds. Killing! na mojej mapie miejsc pracy. To pytanie jest podobne do this, this i this.

java hadoop mapreduce 2013-04-17

---

8Ciepło

3Odpowiedz

Alternatywa MultipleTextOutputFormat w nowym API

Wyróżnia się, że MultipleTextOutputFormat nie zostało zmigrowane do nowego interfejsu API. Jeśli więc musimy wybierać katalog wyjściowy i wyjściowy plik na podstawie wartości klucza zapisywanej w loci

hadoop mapreduce 2013-02-26

---

24Ciepło

1Odpowiedz

Wykonanie zadań spekulacyjnych Hadoop

W dokumencie Google MapReduce mają zadanie tworzenia kopii zapasowych, myślę, że to samo dzieje się z zadaniem spekulatywnym w Hadoop. W jaki sposób realizowane jest zadanie spekulacyjne? Kiedy urucha

hadoop mapreduce 2013-03-01

---

6Ciepło

2Odpowiedz

Ograniczenie nie powiodło się z powodu próby wykonania zadania nie powiodło się zgłoszenie statusu przez 600 sekund. Zabicie! Rozwiązanie?

Faza redukcji zadania kończy się niepowodzeniem z: Nieudana redukcja zadań przekroczyła dozwolony limit. Powodem każde zadanie nie jest: attempt_201301251556_1637_r_000005_0 Zadanie nie statusu zgłosi

java eclipse hadoop mapreduce elastic-map-reduce 2013-03-07

---

6Ciepło

1Odpowiedz

Zrozumienie algorytmu mapreduce do obliczania zachodzenia na siebie

Chcę pomóc w zrozumieniu algorytmu. Najpierw wkleiłem wyjaśnienie algorytmu, a potem moje wątpliwości. Algorytm :(celu obliczenia powierzchni styku między parami zapisu) względu użytkownik zdefiniowan

java hadoop mapreduce elastic-map-reduce hadoop-partitioning 2013-03-10

---

5Ciepło

2Odpowiedz

Łańcuchowanie Hadoop MapReduce z potokami (C++)

Czy ktoś wie, jak powiązać dwie MapReduce z Pipes API? Już łańcuch dwóch MapReduce w poprzednim projekcie z JAVA, ale dziś muszę użyć C++. Niestety, nie widziałem żadnych przykładów w C++. Czy ktoś ju

c++ hadoop mapreduce chain 2013-03-16

---

5Ciepło

2Odpowiedz

Hadoop i inny format danych wejściowych, takich jak obraz, dźwięk, wideo

Uczę się frameworków Hadoop i MapReduce. Do tej pory odtwarzałem pliki tekstowe i przetwarzałem je, wykorzystując framework MapReduce. Kiedy zacząłem MapReduce nauczyć się pierwszego popularnego przyk

java linux image hadoop mapreduce 2013-03-18

---