spark-dataframe

15Ciepło

1Odpowiedz

Podziałowa kolumna łańcucha danych Datastrame na wiele kolumn

Widziałem różne osoby sugerujące, że Dataframe.explode jest przydatnym sposobem, aby to zrobić, ale powoduje to więcej wierszy niż oryginalna ramka danych, co nie jest tym, czego w ogóle chcę. Ja po p

11Ciepło

2Odpowiedz

Rozbijanie zagnieżdżonych struktur w ramce danych Spark

Pracuję poprzez Databricks example. Schemat dla dataframe wygląda następująco: > parquetDF.printSchema root |-- department: struct (nullable = true) | |-- id: string (nullable = true) | |-- name:

7Ciepło

2Odpowiedz

Utwórz DataFrame z wartością pustą dla kilku kolumn

Próbuję utworzyć DataFrame przy użyciu RDD. Pierwszy Tworzę RDD za pomocą poniższego kodu - val account = sc.parallelize(Seq( (1, null, 2,"F"), (2, 2, 4, "F"), (3, 3

7Ciepło

3Odpowiedz

Spark DataFrame: czy groupBy po zamówieniu Czy utrzymujesz tę kolejność?

mam iskrę 2,0 dataframe example o następującej strukturze: id, hour, count id1, 0, 12 id1, 1, 55 .. id1, 23, 44 id2, 0, 12 id2, 1, 89 .. id2, 23, 34 etc. 24 zawiera dane dla każdego identyf

14Ciepło

1Odpowiedz

AttributeError: obiekt „DataFrame” nie ma atrybutu „mapy”

chciałem przekonwertować ramkę danych iskra, aby dodać za pomocą poniższego kodu: from pyspark.mllib.clustering import KMeans spark_df = sqlContext.createDataFrame(pandas_df) rdd = spark_df.map(lamb

6Ciepło

1Odpowiedz

Jak uzyskać dostęp do elementu kolumny VectorUDT w Spark DataFrame?

Mam ramkę danych df z kolumną VectorUDT o nazwie features. Jak uzyskać element kolumny, powiedzmy pierwszy element? Próbowałem robić następujące from pyspark.sql.functions import udf first_elem_udf =

7Ciepło

2Odpowiedz

Jak upuścić kolumny, które mają te same wartości we wszystkich wierszach, za pośrednictwem pand lub iskiernika?

Załóżmy mam dane podobne do następujących: index id name value value2 value3 data1 val5 0 345 name1 1 99 23 3 66 1 12 name2 1 99 23 2 66 5 2 name6 1 99 23 7 66 Jak możemy

7Ciepło

3Odpowiedz

Wnioskując Spark TypDanych z napisowych

Próbuję napisać funkcję Scala, które można wywnioskować Spark DataTypes na podstawie dostarczonych ciągu wejściowego: /** * Example: * ======== * toSparkType("string") => StringType * toSparkType(

6Ciepło

1Odpowiedz

Jak napisać ramkę danych (uzyskaną z tabeli gałęzi) do hadoop SequenceFile i RCFile?

jestem w stanie napisać to w ORC PARQUET bezpośrednio i TEXTFILE AVRO użycie dodatkowych zależności z databricks. <dependency> <groupId>com.databricks</groupId> <artifactId>spark-csv_2.10<

5Ciepło

1Odpowiedz

Spark: equivelant z zipwithindex w dataframe

Zakładając Mam następujący dataframe: dummy_data = [('a',1),('b',25),('c',3),('d',8),('e',1)] df = sc.parallelize(dummy_data).toDF(['letter','number']) i chcę utworzyć następujący dataframe: [('a',