hadoop

14Ciepło

1Odpowiedz

Przekazywanie argumentów programistom Hadoop

Używam new Hadoop API i szukam sposobu przekazania niektórych parametrów (kilka ciągów) do twórców map. Jak mogę to zrobić? This solutions works for old API: JobConf job = (JobConf)getConf(); job.set

8Ciepło

1Odpowiedz

Jak odczytać sekwencyjny plik hadoop?

Mam plik sekwencyjny, który jest wynikiem działania mapy miaoop-zmniejsz. W tym pliku dane są zapisywane w parach wartości klucza, a sama wartość jest mapą. Chcę odczytać wartość jako obiekt MAP, aby

9Ciepło

7Odpowiedz

Hadoop: Jak testować jednostki FileSystem

Chcę przeprowadzić test jednostki, ale potrzebuję instancji org.apache.hadoop.fs.FileSystem. Czy istnieją jakieś fałszywe lub jakiekolwiek inne rozwiązanie do tworzenia FileSystem?

8Ciepło

2Odpowiedz

Pełne wykorzystanie wszystkich rdzeni w trybie pseudo-rozproszonym Hadoop

Mam uruchomione zadanie w trybie pseudo-rozproszonym na moim 4 rdzeniowym laptopie. Jak mogę zapewnić efektywne wykorzystanie wszystkich rdzeni? Obecnie mój program do śledzenia zadań pokazuje, że tyl

6Ciepło

3Odpowiedz

HDFS rozproszone odczyty bez mapy/redukcja

Czy można uzyskać rozproszone odczyty z klastra HDSF przy użyciu klienta HDFS na jednym komputerze? Przeprowadziłem eksperyment z klastrem złożonym z 3 węzłów danych (DN1, DN2, DN3). Następnie uruchom

8Ciepło

2Odpowiedz

Dane wyjściowe nie są zagregowane ostrzeżeń o śledzeniu?

Pig: 0.8.1-cdh3u2 Hadoop: 0.20.2-cdh3u0 Debugowanie FIELD_DISCARDED_TYPE_CONVERSION_FAILED ostrzeżenia, ale nie mogę wydawać poszczególnych ostrzeżeń drukowanych w dowolnym miejscu. Wyłączenie agre

6Ciepło

1Odpowiedz

Niewłaściwy klasa klucz: Tekst nie jest IntWritable

Może to wydawać się głupie pytanie, ale nie widzę problemu w moich typów w moim kodu mapreduce dla Hadoop Jak wskazano w pytaniu problem jest to, że oczekując IntWritable, ale przekazuję mu obiekt Tex

12Ciepło

2Odpowiedz

Hadoop JobConf jest przestarzałe, potrzebny jest zaktualizowany przykład

Piszę programy hadoop, i naprawdę nie chcę grać z przestarzałymi klasami. wszędzie w internecie i nie jestem w stanie znaleźć programy z zaktualizowanym org.apache.hadoop.conf.Configuration klasy inst

5Ciepło

1Odpowiedz

Jak mogę sprawdzić, czy mój parametr konfiguracyjny miodu przystawki io.sort.factor jest za mały lub za duży?

Po przeczytaniu http://gbif.blogspot.com/2011/01/setting-up-hadoop-cluster-part-1-manual.html doszliśmy do wniosku, że nasz klaster 6-węzłów mógłby użyć jakiegoś tuningu, a parametr io.sort.factor wyd

38Ciepło

1Odpowiedz

Jak wybrać między Cassandra, Membase, Hadoop, MongoDB, RDBMS itp?

Czy jest papier/blog-post na temat, kiedy używać Cassandra lub Membase lub Hadoop lub zwykłych starych relacyjnych baz danych? Czy istnieje dokument omawiający mocne i słabe strony każdego z nich i na