Aktualizacja Apache Spark z wersji 1.5.2 do wersji 1.6.0 przy użyciu homebrew prowadząca do błędu odmowy uprawnień podczas wykonywania

Question

Właśnie zaktualizowałem Spark z wersji 1.5.2 na 1.6.0 używając Homebrew i zresetowałem zmienną środowiskową SPARK_HOME na /usr/local/Cellar/apache-spark/1.6.0. Teraz podczas wykonywania pyspark daje błąd odmowy uprawnień.
Jeśli przejdę do wcześniejszego katalogu instalacyjnego 1.5.2 i wykonam z niego pyspark, działa dobrze. Ale uruchomienie programu Pyspark z katalogu instalacyjnego 1.6.0 kończy się niepowodzeniem z tym błędem uprawnień.

/usr/local/Cellar/apache-spark/1.6.0/bin/load-spark-env.sh: line 2: /usr/local/Cellar/apache-spark/1.6.0/libexec/bin/load-spark-env.sh: Permission denied

/usr/local/Cellar/apache-spark/1.6.0/bin/load-spark-env.sh: line 2: exec: /usr/local/Cellar/apache-spark/1.6.0/libexec/bin/load-spark-env.sh: cannot execute: Undefined error: 0

Co może być tego przyczyną?

Answer 1

Pracował robiąc unset SPARK_HOME && pyspark (kredyt do Noli poniżej)

chciał uzyskać SparkContext uruchomiony w ipython, okazało się, być cicho, prosto.

unset SPARK_HOME IPYTHON=1 pyspark

Answer 2

Wpadłem na ten sam problem, a najłatwiejszym rozwiązaniem jest ustawienie $SPARK_HOME na /usr/local/Cellar/apache-spark/<your_spark_version>/libexec/.

Można również zbudować bezpośrednio ze źródła i można znaleźć instrukcje: here.

zasadzie tylko zrobić

git clone https://github.com/apache/spark/` 
cd spark 
git checkout origin/branch-X.Y 

build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package 

Musisz ustawić $SPARK_HOME w głównym katalogu z kodem źródłowym iskra.

Answer 3

Bilet na stronie projektu pomogły:

unset SPARK_HOME && spark-submit 

https://github.com/Homebrew/homebrew/issues/48898#issuecomment-180633967

Answer 4

I również w obliczu tego samego błędu jak odmówiono zgody na rozpoczęcie spark-shell. Zmieniłem uprawnienia do plików. Dla mnie zadziałało. Przejdź do katalogu nadrzędnego spark-1.6.x i wykonaj następujące czynności:

chmod 777 spark-1.6.x -R 

Będzie to zmienić uprawnienia pliku rekurencyjnie.