mapreduce

5Ciepło

2Odpowiedz

Jak znaleźć optymalną liczbę maperów podczas importowania i eksportowania Sqoop?

Używam Sqoop wersji 1.4.2 i bazy danych Oracle. Po uruchomieniu polecenia Sqoop. Na przykład takich jak to: ./sqoop import \ --fs <name node> \ --jt <job tracker> \ --

7Ciepło

1Odpowiedz

Chaining Wielu Redukcje w pracy Hadoop MapReduce

Teraz mam 4-fazowy MapReduce pracę następująco: Input-> Map1 -> Reduce1 -> Reducer2 -> Reduce3 -> Reduce4 -> Output Zauważyłem, że istnieje ChainMapper klasa w Hadoop, które mogą łańcuchowe kilka ma

6Ciepło

2Odpowiedz

co lepsze/szybsze kompleks ID couchbase lub dokument, inline type = "my_document_type"

Moje obecne klucze id zawiera od 3 lub 4 segmenty: namespace::my_key::id namespace::my_key::my_second_key::id Rozwiązanie 1. wykorzystują złożone id i utworzyć widoki wyszukując w identyfikatorze z

13Ciepło

1Odpowiedz

Rodzaj niedopasowanie wartości z mapy: Oczekuje org.apache.hadoop.io.NullWritable, otrzymaliśmy org.apache.hadoop.io.Text

Próbuję dostosować istniejący problem do moich potrzeb .. Zasadniczo wejściowy jest prosty tekst i przetwarzać i przekazywać parę klucz/wartość, aby reduktor i utworzyć json .. tak to jest klucz, ale

5Ciepło

1Odpowiedz

Błąd w ustawianiu job.setInputFormatClass w Mapreduce

Używam programu MapReduce. Muszę podać wejściowy plik tekstowy w formacie pary KEYVALUE. tak, że jeśli piszę job.setInputFormatClass(KeyValueTextInputFormat.class); Kompilator Eclipse jest pokazując

11Ciepło

1Odpowiedz

MapReduce w MongoDB nie wypuszcza

Próbowałem użyć MongoDB 2.4.3 (również wypróbowany 2.4.4) z mapReduce na klastrze z 2 odłamkami za każdym razem 3 repliki. Mam problem z tym, że wyniki zadania mapReduce nie są redukowane do zbierania

5Ciepło

1Odpowiedz

Jak uniknąć przekroczenia limitu czasu kursora w długiej operacji mapreduce?

biegnę operację mapreduce wykrywania duplikatów na dużej kolekcji na przykład mongos na sharded klastra i spodziewam się, że operacja trwa dłużej niż 10 minut: m = function() { emit(this.fieldFor

33Ciepło

1Odpowiedz

Obsługa gzip w Spark

W przypadku projektu Big Data planuję użyć spark, który ma kilka ciekawych funkcji, takich jak obliczenia w pamięci dla powtarzających się obciążeń. Może działać na plikach lokalnych lub na HDFS. Jedn

11Ciepło

1Odpowiedz

IPython.parallel nie używając wielordzeniowych?

Eksperymentuję z IPython.parallel i chcę tylko uruchomić kilka poleceń powłoki w różnych silnikach. Mam następujący Notebook: komórki 0: from IPython.parallel import Client client = Client() print l

6Ciepło

1Odpowiedz

Wyjście profilu Hadoop - gdzie i co?

Próbuję profilować moją aplikację, aby sprawdzić, czy mogę odtworzyć this blogpost. Dodałem -D mapred.task.profile = true do wiersza poleceń i zaznaczyłem konfigurację zadania, która zajęła. Hadoop: T