apache-spark

19Ciepło

2Odpowiedz

Spark2.1.0 niekompatybilne wersje Jackson 2.7.6

Próbuję uruchomić prosty przykład zapłonową w IntelliJ, ale pojawia się błąd tak: Exception in thread "main" java.lang.ExceptionInInitializerError at org.apache.spark.SparkContext.withScope(SparkCont

5Ciepło

2Odpowiedz

Jak działa createOrReplaceTempView w Spark?

Jestem nowy w Spark i Spark SQL. Jak działa createOrReplaceTempView w Spark? Jeśli zarejestrujemy RDD obiektów jako stół, to spowoduje to zapisanie wszystkich danych w pamięci?

6Ciepło

1Odpowiedz

Kolejność wyjścia nie jest w porządku danego wejścia

oświadczenie Problem scalić dwa zbioru danych, które mają różne nazwy kolumn w Apache iskry po funkcją isin() kolejność uległa zmianie w zbiorze danych. Nawet próbowałem z sort, orderby, ale nie dział

5Ciepło

1Odpowiedz

Czy krok shuffle w programie MapReduce działa równolegle z mapowaniem?

Próbowałem zrozumieć program MapReduce. Robiąc to zauważyłem, że zadania redukujące rozpoczynają się niemal natychmiast po wykonaniu wszystkich map. Teraz jest to zaskakujące, ponieważ zadania redukuj

11Ciepło

2Odpowiedz

Enkoder dla typu wiersza Zestaw danych iskier

Chciałbym napisać koder dla typu Row w DataSet, dla operacji na mapie, którą wykonuję. Zasadniczo nie rozumiem, jak pisać enkodery. Poniżej jest przykład działania mapy: In the example below, instead

11Ciepło

7Odpowiedz

Uzyskiwanie wyjątku NullPointerException podczas działania kodu Spark w urządzeniu Zeppelin 0.7.1

Zainstalowałem Zeppelin 0.7.1. Kiedy próbowałem uruchomić program Przykład zapłonową (który był dostępny z Zeppelin Tutorial notebook), otrzymuję następujący błąd java.lang.NullPointerException a

5Ciepło

1Odpowiedz

Jak zastąpić wartości DataField dokładnymi nazwami kolumn w pliku Spark-MLlib PMML?

Używam Spark 2.1.0. Próbowałem wyeksportować model regresji liniowej Spark-MLlib jako plik PMML. Udało mi się również wyeksportować plik PMML. Ale w tym pliku nie widziałem w nim żadnej nazwy pola. Wi

5Ciepło

1Odpowiedz

Czy funkcja collect_list() zachowuje względną kolejność wierszy?

Wyobraź sobie, że mam DF po DataFrame: +---+-----------+------------+ | id|featureName|featureValue| +---+-----------+------------+ |id1| a| 3| |id1| b| 4| |id2| a| 2| |id2| c| 5

6Ciepło

1Odpowiedz

importowany przez użytkownika moduł pyspark lub pliki .py

Zbudowałem numer python module i chcę go zaimportować do aplikacji Pyspark. Moja struktura katalogów jest pakiet: wesam/ |-- data.py `-- __init__.py Prosty import wesam na szczycie mojego skryptu

5Ciepło

1Odpowiedz

Konfiguracja i konfiguracja JanusGraph dla klastra Spark i Cassandra

Używam JanusGraph (0.1.0) ze Spark (1.6.1) na jednej maszynie. Zrobiłem moją konfigurację zgodnie z opisem here. Podczas uzyskiwania dostępu do wykresu na konsoli gremlin za pomocą SparkGraphComputer,