Używam obrazu Hadoop 2.6.0 (emr-4.2.0). Wprowadziłem pewne zmiany w yarn-site.xml i chcę ponownie uruchomić przędzę, aby wprowadzić zmiany w życie.Jak ponownie uruchomić przędzę na AWS EMR
Czy istnieje polecenie, za pomocą którego mogę to zrobić?
Edit (26.10.2017): Bardziej szczegółowy artykuł Centrum wiedzy o tym, jak to zrobić tutaj został opublikowany przez AWS oficjalnie - https://aws.amazon.com/premiumsupport/knowledge-center/restart-service-emr/.
można ssh do węzła głównego w klastrze EMR i uruchomić -
"sudo /sbin/stop hadoop-yarn-resourcemanager"
"sudo /sbin/start hadoop-yarn-resourcemanager"
polecenia, aby ponownie uruchomić menedżera zasobów przędzy. EMR AMI 4.x.x używa upstart -/sbin/{start, stop, restart} to wszystkie dowiązania symboliczne do/sbin/initctl, które jest częścią upstart. Więcej informacji znajduje się na stronie man initctl.
Alternatywnie, można postępować zgodnie z instrukcjami tutaj, aby propagować zmiany do przędzy site.xml - yarn-change-configuration-on-yarn-site-xml
Jeśli to, co chcesz zrobić, to włączyć log-agregacji, to jest rzeczywiście łatwiej stworzyć klaster z log-agregacja już włączona, jak opisano w dokumentacji:
http://docs.aws.amazon.com/ElasticMapReduce/latest/ManagementGuide/emr-plan-debugging.html
(jest faktycznie domyślnie włączona, jeśli używasz emr-4.3.0).
Dla tych, którzy przyjdą z Google
W celu ponownego uruchomienia usługi w EMR, należy wykonać następujące czynności:
Znajdź nazwę usługi, uruchamiając następującą komendę:
initctl list
Na przykład usługa YARN Resource Manager jest nazwany hadoop-yarn-resourcemanager.
Zatrzymaj usługę, uruchamiając następującą komendę:
sudo stop hadoop-yarn-resourcemanager
odczekaj kilka sekund, a następnie uruchomić usługę, uruchamiając następującą komendę:
sudo start hadoop-yarn-resourcemanager
Note : Wymagane jest zatrzymanie/uruchomienie; nie używaj polecenia restartu.
Sprawdź, czy proces jest uruchomiony, uruchamiając następującą komendę:
sudo status hadoop-yarn-resourcemanager
Sprawdzenie procesu za pomocą PS, a następnie sprawdzić plik dziennika za ewentualne błędy w katalogu log/var/log /.
Źródło: https://aws.amazon.com/premiumsupport/knowledge-center/restart-service-emr/