spark-dataframe

8Ciepło

2Odpowiedz

Jak mogę przekazać dodatkowe parametry do UDF w SparkSql?

Chcę przeanalizować kolumny z datami w DataFrame, a dla każdej kolumny daty może się zmienić rozdzielczość daty (tj. 2011/01/10 => 2011/01, jeśli rozdzielczość jest ustawiona na "Miesiąc"). Napisałem

27Ciepło

4Odpowiedz

Upuszczanie listy, aby wybrać wiele kolumn z ramki danych iskry

Mam ramkę danych iskrzenia df. Czy istnieje sposób na podwybór kilku kolumn za pomocą listy tych kolumn? scala> df.columns res0: Array[String] = Array("a", "b", "c", "d") Wiem, że mogę zrobić coś t

18Ciepło

2Odpowiedz

Znajdź maksymalną liczbę wierszy na grupę w Spark DataFrame

Próbuję użyć ramek danych Spark zamiast RDD, ponieważ wydają się być bardziej zaawansowane niż RDD i mają tendencję do tworzenia bardziej czytelnego kodu, ale byłbym bardziej niż szczęśliwy, aby uzysk

5Ciepło

2Odpowiedz

spark.ml StringIndexer rzuca "Niewidoczna etykieta" na dopasowanie()

Przygotowuję przykład zabawki spark.ml. Spark version 1.6.0, uruchomiony na szczycie Oracle JDK version 1.8.0_65, pyspark, notatnik ipython. Po pierwsze, nie ma to nic wspólnego z Spark, ML, StringInd

5Ciepło

1Odpowiedz

Emisja nie ma miejsca podczas dołączania do ramek danych w programie Spark 1.6

Poniżej znajduje się przykładowy kod, który jest uruchomiony. kiedy działa to iskrzenie, łączenie Dataframe odbywa się za pomocą sortmergejoin zamiast broadcastjoin. def joinedDf (sqlContext: SQLConte

15Ciepło

1Odpowiedz

Apache Spark - Przypisywanie wyniku UDF do wielu kolumn kolumny danych

Używam pyspark, ładowanie dużego pliku csv do ramki danych z iskrowym csv, a jako etap wstępnego przetwarzania muszę zastosować różne operacje do danych dostępnych w jednej z kolumn (zawierającej ciąg

5Ciepło

1Odpowiedz

Spark, DataFrame: zastosować transformator/Estymator na grupach

Mam DataFrame że wygląda następująco: +-----------+-----+------------+ | userID|group| features| +-----------+-----+------------+ |12462563356| 1| [5.0,43.0]| |12462563701| 2| [1.0,8.0]| |124625

8Ciepło

1Odpowiedz

Spark: zapisz DataFrame podzieloną na partycje przez "wirtualną" kolumnę

Używam PySpark do klasycznego zadania ETL (ładuję zbiór danych, przetwarzam go, zapisuję) i chcę zapisać moją ramkę danych jako pliki/katalog partycjonowany przez "wirtualną" kolumnę ; co mam na myśli

11Ciepło

1Odpowiedz

Dlaczego praca Spark niepowodzeniem z „kodem wyjścia: 52”

miałem pracę Spark niepowodzeniem ze śladową jak ten: ./containers/application_1455622885057_0016/container_1455622885057_0016_01_000001/stderr-Container id: container_1455622885057_0016_01_000008 ./

7Ciepło

1Odpowiedz

Jak mogę zebrać pojedynczą kolumnę w Spark?

Chciałbym wykonać akcję na pojedynczej kolumnie. Niestety, po przekształceniu tej kolumny, nie jest ona już częścią struktury danych, z której pochodził, ale obiektem kolumny. W związku z tym nie możn