apache-spark-sql

19Ciepło

1Odpowiedz

Czy struktura zagnieżdżona DataFrame Spark jest ograniczona do selekcji?

Mam plik json z niektórych danych, jestem w stanie stworzyć DataFrame z niego i schemat konkretnej części tego jestem zainteresowany wygląda jak następuje: val json: DataFrame = sqlc.load("entities_wi

15Ciepło

4Odpowiedz

Apache Spark, dodaj kolumnę "CASE WHEN ... ELSE ..." do istniejącej DataFrame

Próbuję dodać kolumnę "CASE WHEN ... ELSE ..." do istniejącej DataFrame, używanie interfejsów API Scala. Zaczynając dataframe: color Red Green Blue Pożądany dataframe (składnia SQL: przypadek, gd

5Ciepło

3Odpowiedz

Jak zrobić flatMap wiersz z tablic na wiele wierszy?

Po przetwarzania pewnych jsons mam DataFrame jednej kolumny macierzy scala> val jj =sqlContext.jsonFile("/home/aahu/jj2.json") res68: org.apache.spark.sql.DataFrame = [r: array<bigint>] scala> jj.fi

7Ciepło

2Odpowiedz

Jak określić ścieżkę, w której zapisuje pliki plik saveAsTable?

Próbuję zapisać DataFrame do S3 w pyspark w Spark1.4 użyciu DataFrameWriter df = sqlContext.read.format("json").load("s3a://somefile") df_writer = pyspark.sql.DataFrameWriter(df) df_writer.partition

14Ciepło

1Odpowiedz

PySpark dodać kolumnę do DataFrame z kolumny TimeStampType

Mam DataFrame, które wyglądają podobnie. Chcę działać w dniu pola date_time. root |-- host: string (nullable = true) |-- user_id: string (nullable = true) |-- date_time: timestamp (nullable = true)

12Ciepło

1Odpowiedz

Iskrzenie strumieniowe z wielu źródeł, przeładowanie ramek danych

Mam kontekst strumieniowania iskrowym odczytujący dane zdarzeń z kafki w odstępach 10-sekundowych. Chciałbym uzupełnić dane tego wydarzenia istniejącymi danymi na tablicy postgres. mogę załadować tabe

17Ciepło

1Odpowiedz

Spark: Jak tłumaczyć count (odrębny (wartość)) w API Dataframe API

Próbuję porównać różne sposoby agregowania moich danych. To moje dane wejściowe z 2 elementów (strona, gość): (PAG1,V1) (PAG1,V1) (PAG2,V1) (PAG2,V2) (PAG2,V1) (PAG1,V1) (PAG1,V2) (PAG1,V1) (P

21Ciepło

6Odpowiedz

Czy istnieje lepszy sposób wyświetlania całego DataFrame SQL klasy Spark?

Chciałbym wyświetlić całą SQL DataFrame Apache Spark z interfejsem API Scala. Mogę użyć metody show(): myDataFrame.show(Int.MaxValue) Czy istnieje lepszy sposób, aby wyświetlić całą DataFrame niż uż

57Ciepło

4Odpowiedz

Jak sortować według kolumny w porządku malejącym w Spark SQL?

Próbowałem df.orderBy("col1").show(10), ale sortowałem je w kolejności rosnącej. df.sort("col1").show(10) sortuje również w porządku malejącym. Spojrzałem na stackoverflow i odpowiedzi, które znalazłe

5Ciepło

3Odpowiedz

Uruchom iskrowi SQL na CHD5.4.1 NoClassDefFoundError

Konfiguruję mój CHD5.4.1, aby uruchomić jakiś test Spark SQL na Spark. Spark działa dobrze, ale Spark SQL ma pewne problemy. zacznę pyspark jak poniżej: /opt/cloudera/parcels/CDH-5.4.1-1.cdh5.4.1.p0.6