spark-dataframe

13Ciepło

3Odpowiedz

Spark DataFrame groupBy i sortuj w porządku malejącym (pyspark)

Używam pyspark (Python 2.7.9/Spark 1.3.1) i mam ramkę danych GroupObject, którą muszę przefiltrować w porządku malejącym według sortowania &. Próbuje to osiągnąć za pomocą tego kawałka kodu. group_by_

5Ciepło

2Odpowiedz

Jak zastosować funkcję do kolumny w Spark DataFrame?

Załóżmy, że mamy DataFrame Spark df.getClass Class[_ <: org.apache.spark.sql.DataFrame] = class org.apache.spark.sql.DataFrame z następującym schematem df.printSchema root |-- rawFV: string (null

9Ciepło

4Odpowiedz

Spark Dataframes UPSERT do Postgres Tabela

Używam Apache Spark DataFrames, aby połączyć dwa źródła danych i uzyskać wynik jako inny DataFrame. Chcę zapisać wynik do innej tabeli PostgreSQL. Widzę tę opcję: myDataFrame.write.jdbc(url, table, co

21Ciepło

4Odpowiedz

Spark Dataframe odróżnić kolumny z powtórzoną nazwą

Więc co wiem w Spark Dataframe, że dla wielu kolumn mogą mieć taką samą nazwę jak pokazano poniżej dataframe migawka: [ Row(a=107831, f=SparseVector(5, {0: 0.0, 1: 0.0, 2: 0.0, 3: 0.0, 4: 0.0}), a=10

6Ciepło

1Odpowiedz

Konwertuj wartości puste na pustą tablicę w Spark DataFrame

Mam ramkę danych Spark, w której jedna kolumna jest tablicą liczb całkowitych. Kolumna jest zerowalna, ponieważ pochodzi z lewego sprzężenia zewnętrznego. Chcę przekonwertować wszystkie wartości null

15Ciepło

3Odpowiedz

Spark 1.6: java.lang.IllegalArgumentException: spark.sql.execution.id jest już ustawiony

Używam iskrę 1.6 i uruchomić w kwestii powyższej kiedy uruchomić poniższy kod: // Imports import org.apache.spark.sql.hive.HiveContext import org.apache.spark.{SparkConf, SparkContext} import org.a

12Ciepło

2Odpowiedz

Jak zdefiniować niestandardową funkcję agregacji, aby podsumować kolumnę wektorów?

Mam DataFrame dwóch kolumn, ID typu Int i Vec typu Vector (org.apache.spark.mllib.linalg.Vector). DataFrame wygląda następująco: ID,Vec 1,[0,0,5] 1,[4,0,1] 1,[1,2,1] 2,[7,5,0] 2,[3,3,4] 3,[0,8,1

5Ciepło

2Odpowiedz

Filtr niewrażliwy na wielkość liter Spark'a SQL dla warunków kolumnowych

Sposób korzystania z iskrzącego filtra sql jako filtra niewrażliwego na wielkość znaków. na przykład: dataFrame.filter(dataFrame.col("vendor").equalTo("fortinet")); prostu wrócić wiersze 'vendor' ko

13Ciepło

3Odpowiedz

Spark: Dodaj kolumnę dataframe warunkowo

Próbuję wziąć mój danych wejściowych: A B C -------------- 4 blah 2 2 3 56 foo 3 i dodać kolumnę do końca na podstawie tego, czy B jest pusta lub nie: A B C D -------------------- 4 blah

10Ciepło

3Odpowiedz

Jak wysłać zapytanie do kolumny danych JSON za pomocą Spark DataFrames?

Mam tabeli Cassandra że dla uproszczenia wyglądał: key: text jsonData: text blobData: blob mogę utworzyć podstawowy ramkę danych dla tej użyciem iskry i Iskra-Cassandra złącza za pomocą: val df =