apache-spark-sql

9Ciepło

4Odpowiedz

Spark Dataframes UPSERT do Postgres Tabela

Używam Apache Spark DataFrames, aby połączyć dwa źródła danych i uzyskać wynik jako inny DataFrame. Chcę zapisać wynik do innej tabeli PostgreSQL. Widzę tę opcję: myDataFrame.write.jdbc(url, table, co

6Ciepło

1Odpowiedz

Konwertuj wartości puste na pustą tablicę w Spark DataFrame

Mam ramkę danych Spark, w której jedna kolumna jest tablicą liczb całkowitych. Kolumna jest zerowalna, ponieważ pochodzi z lewego sprzężenia zewnętrznego. Chcę przekonwertować wszystkie wartości null

15Ciepło

3Odpowiedz

Spark 1.6: java.lang.IllegalArgumentException: spark.sql.execution.id jest już ustawiony

Używam iskrę 1.6 i uruchomić w kwestii powyższej kiedy uruchomić poniższy kod: // Imports import org.apache.spark.sql.hive.HiveContext import org.apache.spark.{SparkConf, SparkContext} import org.a

5Ciepło

2Odpowiedz

Nie znaleziono odpowiedni sterownik JDBC w Spark

Używam df.write.mode("append").jdbc("jdbc:mysql://ip:port/database", "table_name", properties) wstawić do tabeli w MySQL. Dodałem również kod Class.forName("com.mysql.jdbc.Driver"). Kiedy złożyć mój

7Ciepło

2Odpowiedz

Pyspark DataFrame UDF na kolumnie tekstu

Próbuję zrobić trochę tekstu NLP wyczyścić niektóre kolumny Unicode w DataFrame PySpark. Próbowałem już w Spark 1.3, 1.5 i 1.6 i nie mogę sprawić, żeby rzeczy działały w moim życiu. Próbowałem również

5Ciepło

2Odpowiedz

Filtr niewrażliwy na wielkość liter Spark'a SQL dla warunków kolumnowych

Sposób korzystania z iskrzącego filtra sql jako filtra niewrażliwego na wielkość znaków. na przykład: dataFrame.filter(dataFrame.col("vendor").equalTo("fortinet")); prostu wrócić wiersze 'vendor' ko

13Ciepło

3Odpowiedz

Spark: Dodaj kolumnę dataframe warunkowo

Próbuję wziąć mój danych wejściowych: A B C -------------- 4 blah 2 2 3 56 foo 3 i dodać kolumnę do końca na podstawie tego, czy B jest pusta lub nie: A B C D -------------------- 4 blah

27Ciepło

4Odpowiedz

Upuszczanie listy, aby wybrać wiele kolumn z ramki danych iskry

Mam ramkę danych iskrzenia df. Czy istnieje sposób na podwybór kilku kolumn za pomocą listy tych kolumn? scala> df.columns res0: Array[String] = Array("a", "b", "c", "d") Wiem, że mogę zrobić coś t

7Ciepło

2Odpowiedz

Grupowa iskierna data według daty

Załadowałem DataFrame z tabeli SQLServer. Wygląda to tak: >>> df.show() +--------------------+----------+ | timestamp| Value | +--------------------+----------+ |2015-12-02 00:10:...| 652.8| |

13Ciepło

1Odpowiedz

Wiele agregujące operacje na tej samej kolumnie dataframe zapłonowej

Mam trzy tablice typu string zawierający następujące informacje: GroupBy tablicy: zawierające nazwy kolumn chcę grupy moich danych przez. agregowana tablica: zawierająca nazwy kolumn, które chcę agreg