hadoop

22Ciepło

3Odpowiedz

Ul nie może ręcznie ustawić liczbę reduktorów

I mają następujące zapytanie ula: select count(distinct id) as total from mytable; automatycznie ikra: 1408 Elementy odwzorowujące 1 redukcyjna trzeba ręcznie ustawić szereg reduktorów i próbowałem

5Ciepło

1Odpowiedz

Jaki byłby dobry wniosek o ulepszoną wersję MapReduce, która dzieli informacje między twórcami map?

Buduję ulepszenie w ramach Spark (http://www.spark-project.org/). Spark to projekt z UC Berkeley, który szybko MapReduce w RAM. Spark jest zbudowany w Scali. Ulepszone przeze mnie ulepszenie pozwala n

10Ciepło

2Odpowiedz

jak nadać niestandardową nazwę plikom wyjściowym hadoopu

Chcę, aby pliki wyjściowe miały format 2012117-part-r-00000. Zasadniczo chcę, aby plik wyjściowy miał dołączoną do niego datę, dzięki czemu mogę uporządkować pliki według daty. Spojrzałem na OutputFor

10Ciepło

2Odpowiedz

Projektowanie schematu HBase, aby najlepiej obsługiwać określone zapytania

Mam pytanie związane z projektem schematu HBase. Problem jest dość prosty - przechowuję "powiadomienia" w hbase, z których każdy ma status ("nowy", "widziany" i "czytany"). Oto API muszę dostarczyć: U

6Ciepło

1Odpowiedz

streaming C++ program i biblioteki współdzielone

Mam program C++, który próbuję uruchomić jako zadanie strumieniowania na hadoop (ma tylko mappers, nie ma reduktorów). Podczas gdy prosty program w C++ działa poprawnie. Inny program C++, który łączy

12Ciepło

4Odpowiedz

Hive: Tworzenie tabeli z wieloma plikami z wieloma katalogami

Chcę utworzyć tabelę Hive, w której wejściowe pliki tekstowe są wykonywane na wielu podkatalogach w formacie hdf. Więc przykład mam w HDFS: /testdata/user/Jan/part-0001 /testdata/user/Feb/part-00

5Ciepło

2Odpowiedz

Jak zainstalować Cloudera Hue na Mac OS X Lion?

Czy ktoś próbował tego? Google okazuje się kompletnie pusta i jak na razie jest to żmudny proces (jestem całkiem nowy, mrówka itd.). Po pobraniu mnóstwa zależności, niektóre nierozsądne użycie "ln -s"

6Ciepło

1Odpowiedz

Czy można wyłączyć sortowanie w hadoopie?

Moje zadanie nie wymaga sortowania, tylko informacje o agregacji na klucz. Myślę więc, że jeśli to możliwe, można wyłączyć sortowanie wszystkich informacji w celu zwiększenia wydajności. Uwaga: Nie mo

22Ciepło

4Odpowiedz

MapReduce alternatives

Czy są jakieś alternatywne paradygmaty dla MapReduce (Google, Hadoop)? Czy istnieje jakikolwiek inny rozsądny sposób podziału dużych problemów z połączeniem &?

5Ciepło

1Odpowiedz

Ustawianie dodatkowej ścieżki klasy narzędzia hadoopowego

W jaki sposób mogę dynamicznie skonfigurować dodatkową ścieżkę klas, aby pliki jar były dostępne z klasy narzędzia przyimka? Prowadzę swoją pracę za pośrednictwem "słoika na kubek". Potrzebuję czegoś