spark-dataframe

6Ciepło

1Odpowiedz

Konwertuj ciąg znaków SQL na znacznik czasu

Jestem nowy w Spark SQL i próbuję przekonwertować ciąg znaków na znacznik czasu w ramce danych iskry. Mam ciąg znaków, który wygląda jak '2017-08-01T02:26:59.000Z' w kolumnie o nazwie time_string mój

7Ciepło

1Odpowiedz

opuszczając puste przegródki DataFrame Apache Spark

staram się ponownego dzielenia DataFrame według columnm The DataFrame ma N (powiedzmy N=3) różne wartości w partycji kolumnie x, np: val myDF = sc.parallelize(Seq(1,1,2,2,3,3)).toDF("x") // create dum

6Ciepło

1Odpowiedz

Filtruj df, gdy wartości pasują do fragmentu ciągu znaków w pyspark

Mam duży pyspark.sql.dataframe.DataFrame i chcę zachować (tak filter) wszystkie wiersze, w których adres URL zapisany w kolumnie location zawiera wstępnie określony ciąg znaków, np. "google.com". Prób

5Ciepło

2Odpowiedz

Jak działa createOrReplaceTempView w Spark?

Jestem nowy w Spark i Spark SQL. Jak działa createOrReplaceTempView w Spark? Jeśli zarejestrujemy RDD obiektów jako stół, to spowoduje to zapisanie wszystkich danych w pamięci?

6Ciepło

1Odpowiedz

Jak dostroić iskrownik do EMR, aby szybko pisać duże ilości danych na S3

Mam robotę iskrową, gdy robię zewnętrzne sprzężenie między dwiema ramkami danych. Rozmiar pierwszej ramki danych wynosi 260 GB, format pliku to pliki tekstowe podzielone na 2200 plików, a rozmiar drug

6Ciepło

1Odpowiedz

Spark - jak pominąć lub zignorować puste pliki gzip podczas czytania

Mam kilkaset folderów z kilkoma tysiącami spakowanych plików tekstowych w s3 i próbuję je odczytać w ramce danych z spark.read.csv(). Wśród plików, istnieją pewne z zerowej długości, w wyniku błędu: j

12Ciepło

2Odpowiedz

Jak podzielić i napisać DataFrame w Spark bez usuwania partycji bez nowych danych?

Próbuję zapisać DataFrame do HDFS w formacie parkietu przy użyciu DataFrameWriter, podzielona przez trzy wartości kolumn, tak: dataFrame.write.mode(SaveMode.Overwrite).partitionBy("eventdate", "hour",

5Ciepło

1Odpowiedz

Czy funkcja collect_list() zachowuje względną kolejność wierszy?

Wyobraź sobie, że mam DF po DataFrame: +---+-----------+------------+ | id|featureName|featureValue| +---+-----------+------------+ |id1| a| 3| |id1| b| 4| |id2| a| 2| |id2| c| 5

6Ciepło

1Odpowiedz

Dodawanie kolumny zagnieżdżonej do Spark DataFrame

Jak mogę dodać lub zamienić pola w strukturze na dowolnym poziomie zagnieżdżonym? Wejście: val rdd = sc.parallelize(Seq( """{"a": {"xX": 1,"XX": 2},"b": {"z": 0}}""", """{"a": {"xX": 3},"b":

10Ciepło

1Odpowiedz

funkcja agregacji Zliczanie użycia z groupBy w Spark

Próbuję wykonać wiele operacji w jednym wierszu kodu w pySpark, i nie jestem pewien, czy jest to możliwe w moim przypadku. Moim zamiarem nie jest zapisywanie wyniku jako nowej ramki danych. Mój obecny