amazon-emr

7Ciepło

1Odpowiedz

Spark, Niepoprawne zachowanie podczas rzucania wyjątku SparkException w EMR

Uruchomiłem zadanie iskry w EMR z YARN jako menedżerem zasobów i na 2 węzłach. Muszę celowo nie wykonać kroku, jeśli mój warunek nie jest spełniony, więc następny krok nie zostanie wykonany zgodnie z

6Ciepło

1Odpowiedz

Odczytywanie losowej próbki plików na S3 z Pyspark

Mam wiadro na S3, które zawiera 1000 plików. Każda ma około 1 GB. Chciałbym przeczytać losową próbkę tych plików. Powiedzmy, że 5% wszystkich plików. To jak to zrobić fileDF = sqlContext.jsonRDD(self.

10Ciepło

1Odpowiedz

Spark on Amazon EMR: "Limit czasu oczekiwania na połączenie z puli"

Używam zadania Spark na małym trzyserwerowym klastrze Amazon EMR 5 (Spark 2.0). Moja praca trwa około godziny, kończy się niepowodzeniem z błędem poniżej. Mogę ręcznie zrestartować i to działa, przetw

8Ciepło

1Odpowiedz

Jak znaleźć główny adres URL iskry na Amazon EMR

Jestem nowy, aby iskrzyć i próbować zainstalować iskrę na klastrze Amazon w wersji 1.3.1. kiedy robię SparkConf sparkConfig = new SparkConf().setAppName("SparkSQLTest").setMaster("local[2]"); to nie

10Ciepło

1Odpowiedz

Jak uruchomić Spark kod Scala na Amazon EMR

próbuję uruchomić następujący kawałek kodu Spark napisane w Scala na Amazon EMR: import org.apache.spark.{SparkConf, SparkContext} object TestRunner { def main(args: Array[String]): Unit = {

5Ciepło

1Odpowiedz

Nie można utworzyć katalogu temp z odpowiednim zezwoleniem:/mnt1/s3

Poniżej znajduje się zrzut dziennika jednego z kontenerów. Dostałem wyjątek z informacją, że nie można utworzyć folderu z powodu pewnych uprawnień. Rozwiązywałem problemy w różnym czasie, ale wciąż is

6Ciepło

1Odpowiedz

Jak dostroić iskrownik do EMR, aby szybko pisać duże ilości danych na S3

Mam robotę iskrową, gdy robię zewnętrzne sprzężenie między dwiema ramkami danych. Rozmiar pierwszej ramki danych wynosi 260 GB, format pliku to pliki tekstowe podzielone na 2200 plików, a rozmiar drug

23Ciepło

1Odpowiedz

Jak skonfigurować wysoką wydajność BLAS/LAPACK dla Breeze na Amazon EMR, EC2

Próbuję skonfigurować środowisko do obsługi eksploracyjnych analiz danych w klastrze. Na podstawie wstępnej ankiety dotyczącej tego, co tam jest, moim celem jest użycie Scala/Spark z Amazon EMR do obs

8Ciepło

3Odpowiedz

Spark + EMR z ustawieniem "maximResourceAllocation" w Amazon nie używa wszystkich rdzeni/voidów

Używam klastra EMR (wersja emr-4.2.0) dla Sparka przy użyciu flagi Amazon specyficznej maximizeResourceAllocation, zgodnie z dokumentacją here. Zgodnie z tymi dokumentami "ta opcja oblicza maksymalne

7Ciepło

1Odpowiedz

AWS EMR importuj bibliotekę zewnętrzną od S3

Mam konfigurację klastra przy użyciu usługi Amazon EMR. Mam biblioteki Pythona (sklonowany z github i niedostępne na pip) na S3. Chcę przesłać pracę świni, która używa udf, który korzysta z biblioteki