Korzystałem z internetowej konsoli AWS, aby uruchomić mój klaster wraz z Apache Spark. Mam gruby pojemnik bazujący na mojej aplikacji Spark i przesłałem go do kubła S3. Kiedy próbuję wysłać jako Step with a Custom Jar
, proces kończy się niepowodzeniem. Wszelkie wskazówki byłyby bardzo mile widziane.Jak przesłać jar Spark do klastra EMR?
6
A
Odpowiedz
2
Zastosowanie EMR bootstrap to install Spark i przesłać pracę w sposób opisany w dokumentacji: https://github.com/awslabs/emr-bootstrap-actions/blob/master/spark/examples/spark-submit-via-step.md
Dzięki za wejście. Jednak moje wyjścia aws-cli nie zawierają żadnej metody dodawania. Czy powinienem użyć swojego klienta ruby? – dataker
W dokumentacji używana jest domyślna aws cli, która ma tę metodę: http://docs.aws.amazon.com/cli/latest/reference/emr/index.html Możesz użyć alternatywnego polecenia, które masz w swoim interfejsie CLI jeśli takowy istnieje, lub zaktualizuj najnowszą wersję domyślnej implementacji interfejsu CLI. –
Mam to! Wielkie dzięki – dataker