HADOOP/YARN - Czy ResourceManager i NameNode hdf są zawsze zainstalowane na tym samym hoście?

Question

Czy "menedżer zasobów" i "nazwa pliku hdfs" są zawsze zainstalowane na tym samym hoście?

1) Kiedy chcę wysłać żądanie HTTP (przędza REST API) do Używam tego internetową URI:

http://<rm http address:port>/ws/v1/cluster/apps/new-application 

Ten port to port Web UI http Zasobami-Manager, to wartość domyślna to 8088, jak pokazano na img1: source for img1

2) gdy chcę wysłać żądanie hTTP (REST API WebHDFS) dla poleceń HDFS, na przykład do get file status Używam tego internetową URI:

http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=GETFILESTATUS 

Ten <PORT> jest NameNode WebUI port HTTP, to wartość domyślna to 50070, jak pokazano w img2: source for img2

są gospodarze tych składników (ResourceManager i NaneNode) zawsze są instalowane na tym samym serwerze?

Każda pomoc byłaby doceniona, dzięki!

Answer 1

Nie jest konieczne uruchamianie menedżera zasobów resourceManager i nameNode na pojedynczych maszynach, mamy taką konfigurację podczas pracy w jednym węźle/małym klastrze --- z kilkoma konfiguracjami węzłów ---. W przypadku dużego klastra główne węzły zwykle uruchamiają menedżer zasobów, nazwyNode i dodatkoweNamenode na różnych komputerach.

Wystarczy popatrzeć na te linki:

Master Nodes in Hadoop Clusters

HortonWorks: Typical Hadoop Cluster