apache-spark-sql

18Ciepło

2Odpowiedz

Znajdź maksymalną liczbę wierszy na grupę w Spark DataFrame

Próbuję użyć ramek danych Spark zamiast RDD, ponieważ wydają się być bardziej zaawansowane niż RDD i mają tendencję do tworzenia bardziej czytelnego kodu, ale byłbym bardziej niż szczęśliwy, aby uzysk

5Ciepło

2Odpowiedz

spark.ml StringIndexer rzuca "Niewidoczna etykieta" na dopasowanie()

Przygotowuję przykład zabawki spark.ml. Spark version 1.6.0, uruchomiony na szczycie Oracle JDK version 1.8.0_65, pyspark, notatnik ipython. Po pierwsze, nie ma to nic wspólnego z Spark, ML, StringInd

5Ciepło

1Odpowiedz

Emisja nie ma miejsca podczas dołączania do ramek danych w programie Spark 1.6

Poniżej znajduje się przykładowy kod, który jest uruchomiony. kiedy działa to iskrzenie, łączenie Dataframe odbywa się za pomocą sortmergejoin zamiast broadcastjoin. def joinedDf (sqlContext: SQLConte

5Ciepło

1Odpowiedz

java.lang.UnsupportedOperationException: "Zapisywanie do pustej tabeli Cassandra jest niedozwolone

Mam scenariusz, w którym będę otrzymywać dane strumieniowe, które są przetwarzane przez mój program strumieniowania iskier, a dane wyjściowe dla każdego interwału są dołączane do mojego istniejący stó

8Ciepło

1Odpowiedz

Spark: zapisz DataFrame podzieloną na partycje przez "wirtualną" kolumnę

Używam PySpark do klasycznego zadania ETL (ładuję zbiór danych, przetwarzam go, zapisuję) i chcę zapisać moją ramkę danych jako pliki/katalog partycjonowany przez "wirtualną" kolumnę ; co mam na myśli

5Ciepło

1Odpowiedz

Integracja Spark SQL i Apache Drill poprzez JDBC

Chciałbym stworzyć Spark SQL DataFrame z wyników zapytania wykonanego na danych CSV (na HDFS) za pomocą Apache Drill. Pomyślnym skonfigurowaniu Spark SQL, aby połączyć się wywiercić poprzez JDBC: Map<

7Ciepło

1Odpowiedz

Jak mogę zebrać pojedynczą kolumnę w Spark?

Chciałbym wykonać akcję na pojedynczej kolumnie. Niestety, po przekształceniu tej kolumny, nie jest ona już częścią struktury danych, z której pochodził, ale obiektem kolumny. W związku z tym nie możn

12Ciepło

1Odpowiedz

Użyj opcji collect_list i collect_set w Spark SQL

Zgodnie z docs funkcje collect_set i collect_list powinny być dostępne w Spark SQL. Jednak nie mogę go uruchomić. Używam Spark 1.6.0 przy użyciu Docker image. Staram się robić to w Scala: import org.a

8Ciepło

2Odpowiedz

Jak mogę przekazać dodatkowe parametry do UDF w SparkSql?

Chcę przeanalizować kolumny z datami w DataFrame, a dla każdej kolumny daty może się zmienić rozdzielczość daty (tj. 2011/01/10 => 2011/01, jeśli rozdzielczość jest ustawiona na "Miesiąc"). Napisałem

6Ciepło

2Odpowiedz

Jak wykonać „Lookup” operacja na dataframes Spark podano wiele warunków

Jestem newbie na Spark (Moja wersja to 1.6.0) i teraz staram się rozwiązać problem poniżej: Załóżmy, że istnieje są dwa pliki źródłowe: Pierwszy (w skrócie) jest dużym, który zawiera kolumny o nazwach