mapreduce

23Ciepło

4Odpowiedz

hadoop: różnica między reduktorem 0 a reduktorem tożsamości?

Próbuję tylko potwierdzić moją wiedzę na temat różnicy między reduktorem 0 a reduktorem tożsamości. 0 reduktor oznacza zmniejszenie krok zostanie pominięty i wyjście odwzorowujący będzie końcowy z Ide

31Ciepło

1Odpowiedz

Co to są pliki SUCCESS i part-r-00000 w hadoopie

Chociaż często używam Hadoop na moim komputerze Ubuntu, nigdy nie myślałem o plikach SUCCESS i part-r-00000. Dane wyjściowe zawsze znajdują się w pliku part-r-00000, ale jaki jest pożytek z pliku SUCC

8Ciepło

4Odpowiedz

Znajdowanie połączonych komponentów przy użyciu Hadoop/MapReduce

Potrzebuję znaleźć podłączone komponenty dla ogromnego zestawu danych. (Wykres jest nieukierunkowany) Jednym z oczywistych wyborów jest MapReduce. Ale jestem nowicjuszem MapReduce i mam dość czasu, ab

7Ciepło

2Odpowiedz

Jak zaimplementować MapReduce w języku C# za pomocą PLINQ?

Jak zaimplementować MapReduce w języku C# za pomocą PLINQ? Załóżmy, że masz 7-8 WebServices do zbierania danych i na każdym odbiorze (sposób asynchroniczny) musisz umieścić te dane w niektórych tabela

11Ciepło

9Odpowiedz

Hadoop WordCount przykład zatrzymany na mapie 100% zmniejszenia 0%

[hadoop-1.0.2] → hadoop jar hadoop-examples-1.0.2.jar wordcount /user/abhinav/input /user/abhinav/output Warning: $HADOOP_HOME is deprecated. ****hdfs://localhost:54310/user/abhinav/input 12/04/1

17Ciepło

5Odpowiedz

Metody instalacji i czyszczenia Mappera/Reducera w Hadoop MapReduce

Czy metody instalacji i czyszczenia są wywoływane w każdym zadaniu mapera i reduktora? A może są one wywoływane tylko raz na początku prac nad maperem i reduktorem?

21Ciepło

5Odpowiedz

Hadoop MapReduce zapewnić zagnieżdżonych katalogów jako wkład pracy

pracuję na pracy, która przetwarza zagnieżdżonej struktury katalogów zawierających pliki na wielu poziomach: one/ ├── three/ │ └── four/ │ ├── baz.txt │ ├── bleh.txt │ └── foo.txt └──

9Ciepło

2Odpowiedz

Praca RecordReadera w Hadoop

Czy ktoś może wyjaśnić, jak działa RecordReader? Jak działają metody po uruchomieniu programu?

5Ciepło

3Odpowiedz

Jak zaplanować zadania mapy Hadoop w wielordzeniowym klastrze z 8 węzłami?

Mam program "tylko mapa" (bez fazy redukcji). Rozmiar pliku wejściowego jest wystarczająco duży, aby utworzyć 7 zadań mapowych i zweryfikowałem to przez sprawdzenie uzyskanego wyniku (część-000 na par

6Ciepło

2Odpowiedz

Mapa zmniejszyć w ciągu 2 RavenDb zbiorów z kolekcji dziecięcej

mam 2 różne typy obiektów przechowywanych w RavenDb, które mają związek macierzysty/typ dziecka, tak w JSON: Account/1 { "Name": "Acc1", } Items/1 { "Account": "Account/1", "Valu