problem Running Spark Praca na Yarn Klastra

Chcę uruchomić mój zapłonową Praca w Hadoop YARN trybie klastra, a ja za pomocą następującego polecenia:problem Running Spark Praca na Yarn Klastra

spark-submit --master yarn-cluster 
      --driver-memory 1g 
      --executor-memory 1g 
      --executor-cores 1 
      --class com.dc.analysis.jobs.AggregationJob 
       sparkanalitic.jar param1 param2 param3

Otrzymuję błąd poniżej, uprzejmie sugerują, co się dzieje źle, czy polecenie jest poprawne, czy nie. Używam CDH 5.3.1.

Diagnostics: Application application_1424284032717_0066 failed 2 times due 
to AM Container for appattempt_1424284032717_0066_000002 exited with 
exitCode: 15 due to: Exception from container-launch. 

Container id: container_1424284032717_0066_02_000001 
Exit code: 15 
Stack trace: ExitCodeException exitCode=15: 
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:538) 
    at org.apache.hadoop.util.Shell.run(Shell.java:455) 
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:702) 
    at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:197) 
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:299) 
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81) 
    at java.util.concurrent.FutureTask.run(FutureTask.java:262) 
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 
    at java.lang.Thread.run(Thread.java:745) 

Container exited with a non-zero exit code 15 
.Failing this attempt.. Failing the application. 
    ApplicationMaster host: N/A 
    ApplicationMaster RPC port: -1 
    queue: root.hdfs 
    start time: 1424699723648 
    final status: FAILED 
    tracking URL: http://myhostname:8088/cluster/app/application_1424284032717_0066 
    user: hdfs 

2015-02-23 19:26:04 DEBUG Client - stopping client from cache: [email protected] 
2015-02-23 19:26:04 DEBUG Utils - Shutdown hook called 
2015-02-23 19:26:05 DEBUG Utils - Shutdown hook called

Każda pomoc zostanie bardzo doceniona.

Źródło

2015-02-24 Sachin Singh

można wkleić spark-defults.conf? –

@ user392589 Czy znalazłeś rozwiązanie tego problemu? –

Komenda wygląda poprawnie.

To, na co natknąłem się, to że "kod wyjścia 15" zwykle wskazuje wyjątek TableNotFound. Zwykle oznacza to błąd w przesyłanym przez Ciebie kodzie.

Możesz to sprawdzić, odwiedzając link monitorujący.

Źródło

2015-04-28 17:58:36 amd

To może znaczyć wiele rzeczy, dla nas otrzymujemy podobny komunikat o błędzie z powodu nieobsługiwanej wersji klasy Java, a my naprawiliśmy problem, usuwając odwołującą się klasę Java w naszym projekcie.

Użyj tego polecenia, aby zobaczyć szczegółowy komunikat o błędzie:

yarn logs -applicationId application_1424284032717_0066

Źródło

2015-05-03 23:38:41

Dla nowych wydań parametr nazywa się '-applicationId'. – Im0rtality

Dla mnie kod wyjścia problem rozwiązano poprzez umieszczenie hive-site.xml w spark/conf katalogu.

Źródło

2015-10-10 11:57:13

Należy usunąć ".setMaster (" local ")" w kodzie.

Źródło

2015-12-26 14:26:11

dlaczego" lokalny "- czy użytkownik zamierza uruchomić zadanie w trybie klastra? –

Usuń linię "spark.master":"local[*] "w pliku konfiguracyjnym iskra jeśli są uruchomione zadania zapłonowe ramach klastra.

Załóżmy bieg na lokalnym komputerze, obejmują go.

Mani

Źródło

2018-03-04 08:31:51

problem Running Spark Praca na Yarn Klastra

Odpowiedz

Powiązane problemy