Running Map-Reduce pracę na konkretnych plików/bloków w HDFS

Question

Po pierwsze, jestem nowy na Hadoop :)

Mam duży zestaw danych pliki spakowane gzipem (TBS dokumentów w pliki spakowane gzipem wokół wielkości 100-500mb każdy).

Zasadniczo potrzebuję jakiegoś filtrowania moich danych wejściowych do mojej mapy - zmniejsz liczbę zadań.

Chcę analizować te pliki na różne sposoby. Wiele z tych zadań wymaga jedynie analizy plików o określonym formacie (pewnej długości, zawierających określone słowa itp. - wszystkie rodzaje dowolnych (odwróconych) indeksów), a przetwarzanie całego zestawu danych dla każdego zadania zajmuje nieracjonalnie dużo czasu. Dlatego chcę utworzyć indeksy wskazujące konkretne bloki/pliki w HDFS.

Potrafię ręcznie wygenerować wymagane indeksy, ale jak dokładnie określić, które (tysiące) konkretnych plików/bloków, które chcę przetworzyć jako dane wejściowe dla twórców map? Czy mogę to zrobić bez odczytywania danych źródłowych do np. HBase? Czy chcę? Czy też całkowicie rozwiązałem ten problem?

Answer 1

Zakładając, że masz jakiś sposób, dzięki któremu dowiesz się, które pliki x przetwarzać w dużym korpusie plików, podczas konfigurowania pracy możesz użyć metody org.apache.hadoop.mapreduce.lib.input.FileInputFormat.setInputPathFilter(Job, Class<? extends PathFilter>).

Będziesz musiał zdać klasę, która implementuje PathFilter. Hadoop utworzy nowe wystąpienie tej klasy i zostanie przedstawione, który z plików w korpusie za pomocą metody boolean accept(Path path). Możesz użyć tego do filtrowania plików do rzeczywistych zadań mapowania procesów (niezależnie od tego, czy plik jest oparty na nazwie pliku, rozmiarze, ostatnio zmodyfikowanym znaczniku czasowym itp.).

Aby skierować określone bloki, musisz zaimplementować własne rozszerzenie FileInputFormat, w szczególności przesłonięcie metody getSplits. Ta metoda używa metody listStatus do określenia, które pliki wejściowe mają przetwarzać (i gdzie jest przywoływany wcześniej filtr PathFilter), po czym następnie decyduje, jak podzielić te pliki na podziały (jeśli pliki można podzielić na warstwy). Tak więc w tej metodzie getSplits musisz ponownie użyć swoich danych referencyjnych do kierowania na konkretne podziały, które Cię interesują.

Jeśli chodzi o przechowywanie/pobieranie tego pliku docelowego i dzieli informacje, masz kilka możliwości przechowywania danych trwałości, takich jak jako magazyn klucza/wartości (HBase, jak zauważyłeś w swoim pytaniu), osobna baza danych (MySQL, itp.), odwrócony indeks (Lucene) itd.

Answer 2

Uruchamianie mapy - zmniejszanie pracy w określonych plikach w HDFS oznacza filtr plik wejściowy na podstawie pewnych kryteriów. Here to dobry blog opublikowany przez Antoine Amend, będzie pomocny.

Answer 3

Ponieważ chcesz filtrować dane wejściowe na podstawie zawartości pliku (plik zawierający słowo foobar), a nie metadane pliku (nazwa/rozmiar pliku itp.), Potrzebowałbyś rodzaju indeksów, które utworzyłem na podstawie na Hadoop InputSplit. Patrz: my blog