Jak mogę iteracyjnie przetworzyć wszystkie pliki w jednym katalogu używając mrjob

Question

Używam mrjob do przetwarzania partii plików i uzyskania statystyk. Wiem, że mogę uruchomić zadanie mapreduce na pojedynczym pliku, podobnie jak

python count.py <some_input_file> output 

Ale jak mogę karmić katalog z plikami do skryptu? Struktura katalogów plików wygląda tak: folder/subfolders/files, czy jest jakaś sugestia?

Answer 1

W końcu stwierdzam, że mogę określić katalog jako ścieżkę wejściową, a Hadoop przetworzy wszystkie pliki w tym katalogu.

Ponadto w moim przypadku mam podkatalogi zawierające pliki wejściowe. Hadoop nie przekierowuje katalogów rekursywnie i domyślnie podnosi błąd. Typową sztuczką jest użycie globusa wieloznacznego, takiego jak

python count.py hdfs://master-host/directory/*/*.txt > result