hadoop

10Ciepło

3Odpowiedz

łączenie kilku LZO skompresowane pliki na HDFS

Powiedzmy mam tej struktury na HDFS: /dir1 /dir2 /Name1_2015/ file1.lzo file2.lzo file3.lzo /Name2_2015 file1.lzo file2.lzo Name1_2015.lzo c

6Ciepło

2Odpowiedz

Czy istnieje sposób na zmianę współczynnika replikacji RDD w Spark?

Z tego co rozumiem, istnieje wiele kopii danych w RDD w klastrze, więc w przypadku awarii węzła program może odzyskać. Jednak w przypadkach, gdy szansa na niepowodzenie jest znikoma, byłoby kosztownym

7Ciepło

1Odpowiedz

Jak uzyskać identyfikator zadania mapy w Sparku?

Czy istnieje sposób na uzyskanie identyfikatora zadania mapy w programie Spark? Na przykład, jeśli każde zadanie mapy wywołuje funkcję zdefiniowaną przez użytkownika, czy mogę pobrać identyfikator teg

6Ciepło

1Odpowiedz

NoSuchMethodError pisanie Avro obiekt do HDFS użyciu Builder

Dostaję ten wyjątek podczas pisania obiektu do HDFS: Exception in thread "main" java.lang.NoSuchMethodError: org.apache.avro.Schema$Parser.parse(Ljava/lang/String;[Ljava/lang/String;)Lorg/apache/avro/

10Ciepło

2Odpowiedz

Ustawienie zapłonowe ścieżek dla klas o EC2: spark.driver.extraClassPath i spark.executor.extraClassPath

pomniejszenie aplikacji słoja zapewniając spark- Classpath maven dla zależności: My klastra o w 3 przypadkach EC2, w którym hadoop iskra działa. Jeśli zbuduję słoik z zależnością od maven, staje się o

8Ciepło

1Odpowiedz

Spark wymuszając log4j

Mam trywialny projekt iskry w Scali i chciałbym użyć logback, ale iskop/hadoop wydaje się wymuszać na mnie log4j. Wydaje się to sprzeczne z moim rozumieniem celu slf4j; to jest to nie jest niedopatrze

7Ciepło

1Odpowiedz

Jak skonfigurować Hadoop w roju Docker?

Chciałbym móc uruchomić klaster Hadoop w Dockerze, dystrybuując węzły Hadoop do różnych węzłów fizycznych, używając swarm. Znalazłem obraz sekwencji, który pozwala mi uruchomić hadoop w kontenerze dok

14Ciepło

2Odpowiedz

Korzystanie z Phoenix Cloudera HBase (repo) z zainstalowanym

mogę dostać Phoenix pracuje nad autonomicznym Apache HBase (uwaga, to wszystko jest dla HBase 1.0.0 na RHEL6.5) Dla smak Cloudera z Hbase jednak nigdy nie działa tak bez rzucania wyjątków. (nawet wypr

30Ciepło

6Odpowiedz

Jak eksportować dane z Spark SQL do pliku CSV

Komenda ta działa z HiveQL: insert overwrite directory '/data/home.csv' select * from testtable; Ale Spark SQL Dostaję błąd ze śladu org.apache.spark.sql.hive.HiveQl stosu: java.lang.RuntimeExceptio

6Ciepło

1Odpowiedz

Pyspark: shuffle RDD

Próbuję randomizować kolejność elementów w RDD. Moje obecne podejście polega na zip elementach z RDD z przetasowanymi liczbami całkowitymi, a następnie łączenie przez te liczby całkowite. Jednak, pysp