2014-06-06 16 views
7

My MR praca wykonywana jest z powodzeniem .Ale kiedy jestem sprawdzenie jego historii dostaniem błąd jako:Yarn JobHistory Błąd: Nie udało przekierowanie do container_1400260444475_3309_01_000001

Failed redirect for container_1400260444475_3309_01_000001 

Failed while trying to construct the redirect url to the log server. Log Server url may not be  configured Unknown container. Container either has not started or has already completed or doesn't belong to this node at all. 

także mój HistoryServer działa prawidłowo. Dobrze, że starsze prace (na emeryturze) mogę przeglądać w interfejsie JobHistory. Brakuje go tylko w przypadku ostatnich zadań.

Czy muszę zmienić właściwości toczenia dziennika, okres przechowywania?

Z góry dziękuję !!!

+0

uzyskać to po kliknięciu na "dzienniki" link do dzienników aplikacji. I samo to nigdy nie prowadzi do interfejsu serwera historii logów. Zastanawiam się, czy to dlatego, że moja praca jest tak szybka (kilka sekund), że nie ma przerwy w odpytywaniu od serwera historii, który został pominięty. Jak długo trwało twoje? – harschware

+0

Opisz swoje środowisko. Jeśli byłeś (2.1.2.4) niewymieniony, możesz uderzać https://issues.apache.org/jira/browse/YARN-1206 – harschware

+0

mój jest hdp2.0.6 – neeraj

Odpowiedz

2

mam to naprawić dodając faktycznej nazwy hosta zamiast 0.0.0.0 w mapred-site.xml

<name>mapreduce.jobhistory.address </name> 
<value>hostName:10020</value> 

<name>mapreduce.jobhistory.webapp.address</name> 
<value>hostName:19888</value> 
0

i Double check że serwer map-zmniejszenie historia jest uruchomiony!

service hadoop-mapreduce-historyserver status 

i dostępne:

curl localhost:19888 -I 
2

Spróbuj kroki

  1. dodatek do mapred-site.xml
<name>mapreduce.jobhistory.address </name> 
<value>hostName:10020</value> 

<name>mapreduce.jobhistory.webapp.address</name> 
<value>hostName:19888</value> 
  1. dodaj do przędzy-s ite.xml
<property> 
     <name>yarn.log.server.url</name> 
     <value>http://<LOG_SERVER_HOSTNAME>:19888/jobhistory/logs</value> 
</property> 
  1. początek serwer historia z $ mr-jobhistory-daemon.sh rozpocząć historyserver
+0

Używam Hadoop 2.6.0- cdh5.7.1. Ustawiam te ustawienia (kroki 1,2) na moich węzłach za pomocą narzędzia resourcemanager oraz nodemanager i restartuj węzły; Po tym przekierowaniu zacznie działać. Również byłem zdezorientowany, ponieważ nie ma ustawienia "yarn.log.server.url" w [yarn-default.xml] (https://hadoop.apache.org/docs/r2.6.0/hadoop-yarn/hadoop- yarn-common/yarn-default.xml) –