Jak znaleźć główny adres URL iskry na Amazon EMR

Question

Jestem nowy, aby iskrzyć i próbować zainstalować iskrę na klastrze Amazon w wersji 1.3.1. kiedy robię

SparkConf sparkConfig = new SparkConf().setAppName("SparkSQLTest").setMaster("local[2]"); 

to nie praca dla mnie, ale poznałam, że to jest dla celów testowania mogę ustawić lokalny [2]

Kiedy próbowałem użyć trybu klastra i zmienił je na

SparkConf sparkConfig = new SparkConf().setAppName("SparkSQLTest").setMaster("spark://localhost:7077"); 

z tym otrzymuję poniżej błędu

próbował skojarzyć z nieosiągalny zdalny adres [akka.tcp: // sparkMaster @ localhost: 7077]. Adres jest teraz bramkowany na 5000 ms, wszystkie wiadomości na ten adres będą dostarczane do martwych liter. Powód: Połączenie odmówiono 15/06/10 15:22:21 INFO client.AppClient $ ClientActor: Łączenie z głównym akka.tcp: // sparkMaster @ localhost: 7077/user/Master ..

Czy ktoś mógłby proszę pozwolić jak ustawić adres główny.

Answer 1

Jeśli używana jest akcja ładowania początkowego z https://github.com/awslabs/emr-bootstrap-actions/tree/master/spark, konfiguracja jest skonfigurowana dla Spark na YARN. Po prostu ustaw master na yarn-client lub yarn-cluster. Pamiętaj, aby zdefiniować liczbę executorów z pamięcią i rdzeniami. Więcej szczegółów na temat Spark na przędzę w https://spark.apache.org/docs/latest/running-on-yarn.html

Dodawanie dotyczące ustawień wykonawcy testamentu pamięci i rdzenia wielkości:

Zapoznaj się z domyślnym PRZĘDZY configs Node Manager dla każdego typu w http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/TaskConfiguration_H2.html konkretnie yarn.scheduler.maximum-allocation-mb. Możesz określić liczbę rdzeni z podstawowego adresu URL informacji EC2 (http://aws.amazon.com/ec2/instance-types/). Maksymalny rozmiar pamięci executora musi mieścić się w maksymalnym przydziale, mniejszym narzut Sparka i w przyrostach 256 MB. Dobry opis tego obliczenia to http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/. Nie zapominaj, że nieco ponad połowa pamięci executora może być użyta dla pamięci podręcznej RDD.