Niepowodzenie zadania związanego z mapowaniem po przesłaniu go z komputera z systemem Windows

Question

Próbuję przesłać zadanie M/R z komputera z systemem Windows do klastru hadoop na Linuksie. Używam hadoop 2.2.0 (HDP 2.0).

otrzymuję następujący błąd:

2014-06-06 08:32:37,684 [main] INFO Job.monitorAndPrintJob - Job job_1399458460502_0053 running in uber mode : false 
2014-06-06 08:32:37,704 [main] INFO Job.monitorAndPrintJob - map 0% reduce 0% 
2014-06-06 08:32:37,717 [main] INFO Job.monitorAndPrintJob - Job job_1399458460502_0053 failed with state FAILED due to: Application application_1399458460502_0053 failed 2 times due to AM Container for appattempt_1399458460502_0053_000002 exited with exitCode: 1 due to: Exception from container-launch: 
org.apache.hadoop.util.Shell$ExitCodeException: /bin/bash: line 0: fg: no job control 

    at org.apache.hadoop.util.Shell.runCommand(Shell.java:464) 
    at org.apache.hadoop.util.Shell.run(Shell.java:379) 
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:589) 
    at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:195) 
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:283) 
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:79) 
    at java.util.concurrent.FutureTask.run(FutureTask.java:262) 
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 
    at java.lang.Thread.run(Thread.java:744) 


.Failing this attempt.. Failing the application. 

java.io.IOException: Job failed! 

I przy użyciu konfiguracji pochodzący z klastra więc nie powinno być dokładne dopasowanie.

Jakieś wskazówki lub wskazówki, co może być nie tak?

Thx

Answer 1

Znalazłem rozwiązanie. Jest oficjalnie zgłoszone bug

https://issues.apache.org/jira/browse/MAPREDUCE-4052

z obejścia wymienionej w dyskusji. Obejście działa dobrze dla mnie. Wydaje się, że te błędy z czymś rozwiązanym po stronie klienta są zawsze zielone.

Answer 2

Miałem podobny problem. Teraz to działa dla mnie. Sprawdź poniższy link

Error while running Mapreduce(yarn)from windows eclipse

Answer 3

conf.set("mapreduce.app-submission.cross-platform", "true");