mapreduce

5Ciepło

6Odpowiedz

Wprowadzono błąd HDFS: `input ': brak takiego pliku lub katalogu

Mam zainstalowany hadoop 2.6.0 i bawię się z nim. Staram się Pseudo-rozproszoną konfigurację i jestem postępując zgodnie z instrukcjami na http://hadoop.apache.org/docs/current/hadoop-project-dist/had

5Ciepło

4Odpowiedz

array_reduce() nie może działać jako "reduktor" tablicy asocjacyjnej dla PHP?

Mam tablicę asocjacyjną $assoc i trzeba zredukować do niego na sznurku, w tym kontekście $OUT = "<row"; foreach($assoc as $k=>$v) $OUT.= " $k=\"$v\""; $OUT.= '/>'; Jak zrobić in an elegant way to

7Ciepło

3Odpowiedz

Nie można znaleźć lub wczytać głównej klasy com.sun.tools.javac.Main hadoop mapreduce

Próbuję nauczyć się MapReduce, ale teraz jestem trochę zagubiony. http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html#Usage Szczególnie ten

8Ciepło

1Odpowiedz

Kiedy użyć mapy, aby zmniejszyć nad Aggregation Pipeline w MongoDB?

Patrząc na documentation na mapie, zmniejszyć, stwierdziliśmy, że: UWAGA: Dla większości operacji agregacji, agregację Pipeline zapewnia lepsze osiągi i bardziej spójny interfejs. Jednak operacje pole

6Ciepło

1Odpowiedz

Jak zabić zadanie mapowane rozpoczęte przez gałąź?

Pracuję teraz nad CDH 5.1. Zaczyna normalne zadanie Hadoop od YARN, ale gałąź nadal działa z mapred. Czasami duże zapytanie zawiesi się na długi czas i chcę go zabić. Mogę znaleźć to wielkie zadanie p

5Ciepło

2Odpowiedz

Znaleziono interfejs org.apache.hadoop.mapreduce.TaskAttemptContext

Nie widziałem dotąd rozwiązania mojego konkretnego problemu. To nie działa co najmniej. To doprowadza mnie do szału. Ta szczególna kombinacja nie wydaje się mieć wiele w przestrzeni Google. Mój błąd w

5Ciepło

1Odpowiedz

Hadoop 2.4.0 Opcje ogólne strumieniowych parsera przy użyciu karty jako separatora

wiem, że karta jest domyślny separator wejściowy dla pól: stream.map.output.field.separator stream.reduce.input.field.separator stream.reduce.output.field.separator mapreduce.textoutputformat.separ

8Ciepło

1Odpowiedz

Jak mogę odczytać z jednej instancji HBase, ale piszę do innej?

Obecnie mam dwa tabele Hbase (można je nazwać tableA i tableB). Za pomocą jednoetapowego zadania MapReduce dane w tableA są odczytywane i zapisywane do tableB. Obecnie obie tabele znajdują się w tym s

11Ciepło

2Odpowiedz

Mapper Hadoop nie działa z powodu "Kontenera zabitego przez ApplicationMaster"

Próbuję wykonać program zmniejszający mapę w Hadoop. Kiedy przesyłam moje zadanie do pojedynczego klastra węzła. jest uzyskiwanie utworzone zadanie jednak niepowodzeniem z komunikatem „pojemnik zabity

6Ciepło

1Odpowiedz

Jak przesłać jar Spark do klastra EMR?

Korzystałem z internetowej konsoli AWS, aby uruchomić mój klaster wraz z Apache Spark. Mam gruby pojemnik bazujący na mojej aplikacji Spark i przesłałem go do kubła S3. Kiedy próbuję wysłać jako Step