yarn

5Ciepło

2Odpowiedz

Jak określić, której wersji java użyć w poleceniu spark-submit?

Chcę uruchomić aplikację strumieniową iskrzenia w klastrze przędzy na serwerze zdalnym. Domyślną wersją java jest 1.7, ale chcę używać 1.8 dla mojej aplikacji, która również znajduje się na serwerze,

14Ciepło

3Odpowiedz

Jak ponownie uruchomić przędzę na AWS EMR

Używam obrazu Hadoop 2.6.0 (emr-4.2.0). Wprowadziłem pewne zmiany w yarn-site.xml i chcę ponownie uruchomić przędzę, aby wprowadzić zmiany w życie. Czy istnieje polecenie, za pomocą którego mogę to zr

9Ciepło

2Odpowiedz

Wykorzystanie pamięci Spark/przędzy Python

Mam aplikację świecy zapłonowej, która jest zabijana przez przędzę za przekroczenie limitów pamięci. Mam krok, który wymaga załadowania niektórych zasobów, które są nieco ciężkie (500+ MB), więc używa

5Ciepło

1Odpowiedz

jak zmienić wersję przędzy?

Użyłem homebrew do zainstalowania yarn. Uruchomienie yarn -v pokazuje, że obecnie używam 0.23.2. Uruchomiłem brew upgrade yarn, aby uzyskać najnowszą wersję, która jest 0.24.6. Po pomyślnym uaktualnie

5Ciepło

1Odpowiedz

Przędza robocza z iskrą nie działa z Javą 8

Mam klaster z 1 master i 6 slaves, który używa gotowej wersji hadoop 2.6.0 i iskry 1.6.2. Byłem uruchomiony MR MR i iskier pracy bez problemu z openjdk 7 zainstalowany na wszystkich węzłach. Jednak, g

7Ciepło

1Odpowiedz

Spark, Niepoprawne zachowanie podczas rzucania wyjątku SparkException w EMR

Uruchomiłem zadanie iskry w EMR z YARN jako menedżerem zasobów i na 2 węzłach. Muszę celowo nie wykonać kroku, jeśli mój warunek nie jest spełniony, więc następny krok nie zostanie wykonany zgodnie z

6Ciepło

2Odpowiedz

Hive zapytania zbyt powolny i nie udało

mam wykonać "grupy przez" kwerendy w Ulu txt stół select day,count(*) from mts_order where source="MTS_REG_ORDER" group by day; ale pokazuje: Error: Error while processing statement: FAILED: Executi

7Ciepło

1Odpowiedz

Spark na menedżerze zasobów YARN: Relacja między kontenerami YARN i sterownikami Spark

Jestem nowy w Spark on YARN i nie rozumiem relacji między YARN Containers a Spark Executors. Wypróbowałem następującą konfigurację, w oparciu o wyniki skryptu yarn-utils.py, które można wykorzystać do

11Ciepło

1Odpowiedz

Dlaczego praca Spark niepowodzeniem z „kodem wyjścia: 52”

miałem pracę Spark niepowodzeniem ze śladową jak ten: ./containers/application_1455622885057_0016/container_1455622885057_0016_01_000001/stderr-Container id: container_1455622885057_0016_01_000008 ./

7Ciepło

2Odpowiedz

przekaż niestandardowy kod wyjścia z iskry w trybie klastrowania przędzy do CLI

Rozpocząłem pracę w iskrze w trybie klastrowania przędzy poprzez przesyłanie iskier. Aby wskazać błąd częściowy itp. Chcę przekazać kod exitcode ze sterownika do skryptu wywołującego iskrzenie. Próbow