Alternatywa MultipleTextOutputFormat w nowym API

Question

Wyróżnia się, że MultipleTextOutputFormat nie zostało zmigrowane do nowego interfejsu API. Jeśli więc musimy wybierać katalog wyjściowy i wyjściowy plik na podstawie wartości klucza zapisywanej w locie, to jaka jest alternatywa dla nowego interfejsu API mapreduce?

Answer 1

Używam AWS EMR Hadoop 1.0.3, i możliwe jest określenie różnych katalogów i plików na podstawie par k/v. Użyj jednej z następujących funkcji z klasy MultipleOutputs:

public void write(KEYOUT key, VALUEOUT value, String baseOutputPath) 

lub

public <K,V> void write(String namedOutput, K key, V value, 
         String baseOutputPath) 

Dawna metoda write wymaga klucz do być tego samego typu, jak klucz wyjściowego map (w przypadku korzystania z tego w programie odwzorowującym) lub taki sam, jak klawisz zmniejszania wyjścia (w przypadku, gdy używasz go w reduktorze). Wartość należy również wpisać w podobny sposób.

Ten ostatni write metoda wymaga typy klucz/wartość, aby dopasować typy określona podczas konfiguracji z MultipleObjects statyczne właściwości wykorzystujące addNamedOutput funkcję:

public static void addNamedOutput(Job job, 
           String namedOutput, 
           Class<? extends OutputFormat> outputFormatClass, 
           Class<?> keyClass, 
           Class<?> valueClass) 

Więc jeśli potrzebujesz różnych typów wyjścia niż Context korzysta , musisz użyć tej ostatniej metody write.

Trick do uzyskania różnych katalogach wyjściowych jest zdać baseOutputPath zawierający separator katalogów, jak poniżej:

multipleOutputs.write("output1", key, value, "dir1/part"); 

W moim przypadku, to tworzone pliki o nazwie "dir1/part-R-00000".

Nie udało się za pomocą baseOutputPath zawierającą katalog .., więc wszystko baseOutputPath s są ściśle zawartych w ścieżce przekazany do parametru -output.

Aby uzyskać więcej informacji na temat konfiguracji i prawidłowego korzystania z opcji MultipleOutputs, zobacz ten kod, który znalazłem (nie mój, ale uznałem, że jest bardzo pomocny, nie używa różnych katalogów wyjściowych). https://github.com/rystsov/learning-hadoop/blob/master/src/main/java/com/twitter/rystsov/mr/MultipulOutputExample.java

Answer 2

podobne do: Hadoop Reducer: How can I output to multiple directories using speculative execution?

W zasadzie można napisać do HDFS bezpośrednio z reduktorem - będziesz tylko trzeba uważać na wykonywanie spekulatywne i wymienić swoje pliki jednoznacznie, następnie trzeba wdrożyć jesteś właścicielem OutputCommitter aby wyczyścić przerwane próby (jest to najtrudniejsza część, jeśli masz naprawdę dynamiczne foldery wyjściowe - będziesz musiał przejść przez każdy folder i usunąć attemps związane z przerwanymi/nieudanymi zadaniami). Prostym rozwiązaniem tego problemu jest wyłączenie spekulacyjnego wykonanie

Answer 3

Za najlepszą odpowiedź, skręcić Hadoop. - (str. 253. początkowy) przewodnik 3rd ed

Fragment z książki HDG -

"W starym interfejsie API MapReduce istnieją dwie klasy do generowania wielu wyjść: MultipleOutputFormat i MultipleOutput.W skrócie, MultipleOutputs jest bardziej w pełni funkcjonalny, ale MultipleOutputFormat ma większą kontrolę nad strukturą katalogów wyjściowych i nazewnictwem plików. łączy najlepsze cechy dwóch klas wielu wyjść w starym API. "

Ma przykład, jak kontrolować strukturę katalogów, nazewnictwo plików i format wyjściowy za pomocą interfejsu API MultipleOutputs.

HTH.