Hadoop - uzyskać wyniki z plików wyjściowych po zmniejszeniu?

Question

Biorąc pod uwagę pracę z mapą i zredukować fazy, widzę, że folder wyjściowy zawiera pliki o nazwach "part-r-00000".

Czy muszę przetwarzać te pliki na poziomie aplikacji, czy muszę wykonywać iteracje dla wszystkich plików w folderze wyjściowym w naturalnej kolejności nazywania (część-r-00000, część-r-00001, część-r-00002 ...) w celu uzyskania wyników pracy?

Albo mogę użyć jakiegoś programu do odczytu plików hadoop, który pozwoli mi uzyskać "iterator" i poradzić sobie z przełączaniem plików dla mnie (gdy plik part-r-00000 jest całkowicie odczytywany, kontynuuj z pliku part-r-00001)?

Answer 1

W mapreduce określasz folder wyjściowy, jedyne, co będzie zawierać, to pliki part-r (które są wynikiem zadania redukującego) oraz plik _SUCCESS (który jest pusty). Więc myślę, że jeśli chcesz zrobić postprocessing, musisz tylko ustawić katalog wyjściowy zadania1 jako katalog wejściowy dla zadania 2.

Teraz mogą istnieć pewne wymagania dla twojego postprocesora, które można rozwiązać, czy jest to na przykład ważne przetwarzać pliki wyjściowe w kolejności?

Jeśli chcesz po prostu przetworzyć pliki lokalnie, to wszystko zależy od formatu wyjściowego zadania mapreduce, dzięki temu dowiesz się, jak uporządkowane są pliki części-r. Wtedy możesz po prostu użyć standardowego i/o zgadywania.

Answer 2

Można użyć getmerge dowodzenie Hadoop File System (FS) Obudowa:

hadoop fs -getmerge /mapreduce/job/output/dir/ /your/local/output/file.txt 

Answer 3

Prawdopodobnie można użyć Hadoop FileSystem zrobić iteracji z aplikacji z plików niepełnym wymiarze R-xxxxx.

FileSystem fs = FileSystem.get(new Configuration()); 
FileStatus[] status = fs.listStatus(new Path("hdfs://hostname:port/joboutputpath")); 
for (int i=0;i<status.length;i++){ 
    fs.open(status[i].getPath()))); 
} 

Można również zajrzeć do ChainMapper/ChainReducer.