Jak ustawić niestandardową zmienną środowiskową w EMR, aby była dostępna dla aplikacji iskrowej

Question

Potrzebuję ustawić niestandardową zmienną środowiskową w EMR, aby była dostępna podczas uruchamiania aplikacji iskrowej.

Próbowałem dodając w ten sposób:

    ... 
        --configurations '[          
             { 
             "Classification": "spark-env", 
             "Configurations": [ 
             { 
             "Classification": "export", 
             "Configurations": [], 
             "Properties": { "SOME-ENV-VAR": "qa1" } 
             } 
             ], 
             "Properties": {} 
             } 
             ]' 
        ... 

a także starał się zastąpić „zapłonie env z hadoop-env ale nic nie wydaje się działać

Jest this odpowiedź od AWS forach ale.. Nie mogę się dowiedzieć, jak go zastosować Używam EMR 5.3.1 i uruchamiam go z prekonfigurowanym krokiem z cli:

Answer 1

Dodaj niestandardowy con figuracji jak poniżej JSON do pliku powiedzieć, custom_config.json

[ 
    { 
    "Classification": "spark-env", 
    "Properties": {}, 
    "Configurations": [ 
     { 
     "Classification": "export", 
     "Properties": { 
      "VARIABLE_NAME": VARIABLE_VALUE, 
     } 
     } 
    ] 
} 
] 

i na tworzenie klastra EMR, przechodzą odniesienie pliku do opcji

aws emr create-cluster --configurations file://custom_config.json --other-options... 

Answer 2

--configurations Dla mnie zastępując zapłonie env do przędza-env poprawiono problem.