hadoop

5Ciepło

2Odpowiedz

Jak ustawić niestandardową zmienną środowiskową w EMR, aby była dostępna dla aplikacji iskrowej

Potrzebuję ustawić niestandardową zmienną środowiskową w EMR, aby była dostępna podczas uruchamiania aplikacji iskrowej. Próbowałem dodając w ten sposób: ... --configurations '[

5Ciepło

1Odpowiedz

hive multi table join z tym samym warunkiem błędu

Używam kilku skryptów i ciągle otrzymuję ten sam błąd. Wszystkie z nich są połączone wieloma tabelami z tym samym warunkiem. Dane są przechowywane w postaci parkietu. Hive wersja 1.2.1/MR SELECT count

9Ciepło

1Odpowiedz

Spark rdd.count() daje niespójne wyniki

Jestem trochę zaskoczony. Prosty rdd.count() daje różne wyniki po uruchomieniu wiele razy. Oto kod biegnę: val inputRdd = sc.newAPIHadoopRDD(inputConfig, classOf[com.mongodb.hadoop.MongoInputFormat],

6Ciepło

2Odpowiedz

Niepowodzenie logowania do Haoop IOException do zalogowania się

Jestem całkiem nowy dla Hadoop. Udało mi się jednak z powodzeniem skonfigurować program hadoop 2.7.3 z Javą 7 w trybie klastra na moich serwerach. Wszystko działa zupełnie dobrze. Ale wtedy, gdy próbu

5Ciepło

1Odpowiedz

Podłączanie do zdalnego Mistrza Spark - Java/Scala

Utworzono 3-węzłowy (1 główny, 2 pracowników) klaster Apache Spark w AWS. Mogę przesłać zadania do klastra od mistrza, ale nie mogę go uruchomić zdalnie. /* SimpleApp.scala */ import org.apache.spark

9Ciepło

1Odpowiedz

Błąd połączenia Hortonworks Hive ODBC w programie Excel 2013

Próbuję kwerendy Hortonworks gałąź poprzez ODBC w programie Excel 2013. Pobrałem tutaj sterownik (32-bitowy): http://hortonworks.com/downloads/ Hortonworks 2.5 ula 2.5.0.0-1245 Następnie dodaję config

7Ciepło

4Odpowiedz

Konwersja JavaRDD do DataFrame w Spark java

Próbuję przetworzyć plik dziennika. Najpierw odczytałem plik dziennika i podzieliłem te pliki zgodnie z moimi wymaganiami i zapisałem każdą kolumnę w oddzielnym JavaRDD. Teraz muszę przekonwertować te

5Ciepło

1Odpowiedz

Czy krok shuffle w programie MapReduce działa równolegle z mapowaniem?

Próbowałem zrozumieć program MapReduce. Robiąc to zauważyłem, że zadania redukujące rozpoczynają się niemal natychmiast po wykonaniu wszystkich map. Teraz jest to zaskakujące, ponieważ zadania redukuj

8Ciepło

1Odpowiedz

Hive personifikacja nie współpracuje z dostawcą zwyczaj Authenticator

Mam opracowany dostawcy zwyczaj Authenticator na wszystko wydaje się OK, jeśli chodzi o uwierzytelnianiu: HiveServer2 zaczyna się dobrze i połączenia uwierzytelnione są właściwie zatwierdzone. Nawet p

5Ciepło

1Odpowiedz

Jak przepłukać tabelę w HBase

Korzystam z HBase (0,98 w Client with server jako HBase 1.1.2) z bazowym magazynem danych jako HDFS. Próbowałem przepłukać tabelę za pomocą następującego kodu i jestem w stanie zobaczyć dane przepłuki