apache-spark

8Ciepło

1Odpowiedz

W pyspark 1.6.2, mogę importować col funkcję from pyspark.sql.functions import col ale gdy próbuję szukać go w Github source code nie znajduję col funkcję w functions.py pliku, w jaki sposób python

10Ciepło

1Odpowiedz

Jak uruchomić Spark kod Scala na Amazon EMR

próbuję uruchomić następujący kawałek kodu Spark napisane w Scala na Amazon EMR: import org.apache.spark.{SparkConf, SparkContext} object TestRunner { def main(args: Array[String]): Unit = {

6Ciepło

2Odpowiedz

Apache Spark vs Apache Spark 2

Jakie ulepszenia oferuje Apache Spark2 w porównaniu do Apache Spark? Od architektury perspektywy Z punktu widzenia aplikacji lub więcej

18Ciepło

1Odpowiedz

Dlaczego Apache Spark odczytuje niepotrzebne kolumny parkietu w strukturach zagnieżdżonych?

Mój zespół buduje proces ETL, który ładuje nieprzetworzone pliki tekstowe do "jeziora danych" opartego na parkiecie za pomocą Sparka. Jedną z obietnic magazynu kolumn Parquet jest to, że zapytanie odc

6Ciepło

3Odpowiedz

iskka: SAXParseException podczas pisania do parkietu na s3

Próbuję przeczytać w jakimś jsonie, wywnioskować schemat i napisać go ponownie jako parkiet do s3 (s3a). Z jakiegoś powodu, około jednej trzeciej drogi przez część zapisu przebiegu, iskry zawsze błędy

8Ciepło

2Odpowiedz

(Spark) object {nazwa} nie jest członkiem pakietu org.apache.spark.ml

Próbuję uruchomić aplikację samodzielne przy użyciu Scala na Apache iskry oparty na przykład tutaj: http://spark.apache.org/docs/latest/ml-pipeline.html Oto mój pełny kod: import org.apache.spark.ml.c

6Ciepło

2Odpowiedz

Spark UDF wywoływany więcej niż jeden raz na rekord, gdy DF ma zbyt wiele kolumn

Używam Spark 1.6.1 i napotykam dziwne zachowanie: Używam UDF z ciężkimi obliczeniami (symulacje fizyki) na ramie zawierającej dane niektóre dane wejściowe i budowanie wyników - Dataframe zawierające w

7Ciepło

2Odpowiedz

Jak ustawić właściwość spark.local.dir z powłoki iskrzenia?

Próbuję ustawić spark.local.dir z iskry-powłoki za pomocą sc.getconf.set("spark.local.dir","/temp/spark"), Ale to nie działa. Czy jest jakikolwiek inny sposób na ustawienie tej właściwości z iskierki.

6Ciepło

1Odpowiedz

używać więcej niż jeden collect_list w jednej kwerendzie w Spark SQL

Mam następujący dataframe data: root |-- userId: string |-- product: string |-- rating: double oraz następujące zapytanie: val result = sqlContext.sql("select userId, collect_list(product), colle

6Ciepło

3Odpowiedz

zapłonowe 2.0.x zrzucić plik CSV z pomocą dataframe zawierającego jedną tablicę typu string

Mam dataframe df który zawiera jedną kolumnę typu tablicy df.show() wygląda |ID|ArrayOfString|Age|Gender| +--+-------------+---+------+ |1 | [A,B,D] |22 | F | |2 | [A,Y] |42 | M | |3 | [X] |60