apache-spark-sql

11Ciepło

2Odpowiedz

Pyspark: Podział wielu kolumn tablicy na wiersze

Mam ramkę danych, która ma jeden wiersz i kilka kolumn. Niektóre z kolumn są pojedynczymi wartościami, a inne są listami. Wszystkie kolumny listy mają tę samą długość. Chcę podzielić każdą kolumnę lis

8Ciepło

1Odpowiedz

Nie można znaleźć col funkcję w pyspark

W pyspark 1.6.2, mogę importować col funkcję from pyspark.sql.functions import col ale gdy próbuję szukać go w Github source code nie znajduję col funkcję w functions.py pliku, w jaki sposób python

6Ciepło

2Odpowiedz

Spark UDF wywoływany więcej niż jeden raz na rekord, gdy DF ma zbyt wiele kolumn

Używam Spark 1.6.1 i napotykam dziwne zachowanie: Używam UDF z ciężkimi obliczeniami (symulacje fizyki) na ramie zawierającej dane niektóre dane wejściowe i budowanie wyników - Dataframe zawierające w

6Ciepło

1Odpowiedz

używać więcej niż jeden collect_list w jednej kwerendzie w Spark SQL

Mam następujący dataframe data: root |-- userId: string |-- product: string |-- rating: double oraz następujące zapytanie: val result = sqlContext.sql("select userId, collect_list(product), colle

5Ciepło

2Odpowiedz

Jak obliczyć sumę i liczyć w jednym groupBy?

podstawie poniższego dataframe: val client = Seq((1,"A",10),(2,"A",5),(3,"B",56)).toDF("ID","Categ","Amnt") +---+-----+----+ | ID|Categ|Amnt| +---+-----+----+ | 1| A| 10| | 2| A| 5| | 3| B| 56|

9Ciepło

2Odpowiedz

Jakie są możliwe przyczyny otrzymania TimeoutException: Futures timed out po [n sekund] podczas pracy z Spark

pracuję nad programem Spark SQL, a ja dostaję następujący wyjątek: 16/11/07 15:58:25 ERROR yarn.ApplicationMaster: User class threw exception: java.util.concurrent.TimeoutException: Futures timed out

6Ciepło

2Odpowiedz

Take n wierszy z dataframe zapłonowej i przekazywanie toPandas()

mam ten kod: l = [('Alice', 1),('Jim',2),('Sandra',3)] df = sqlContext.createDataFrame(l, ['name', 'age']) df.withColumn('age2', df.age + 2).toPandas() działa dobrze, robi to, co musi. Załóżmy jed

6Ciepło

1Odpowiedz

iskrzenie dlaczego kolumny zmieniają się na wartości zerowe true

dlaczego jest pusta = true po wykonaniu niektórych funkcji? Nadal nie ma wartości nan w df. val myDf = Seq((2,"A"),(2,"B"),(1,"C")) .toDF("foo","bar") .withColumn("foo", 'foo.cast("Int"))

14Ciepło

1Odpowiedz

pyspark przy użyciu jednego zadania dla mapPartitions podczas konwersji rdd na ramkę danych

Nie rozumiem, dlaczego wydaje się, że Spark używa 1 zadania dla rdd.mapPartitions podczas przekształcania wynikowego RDD w DataFrame. Jest to problem dla mnie, bo chciałbym przejść od: DataFrame -> ->

7Ciepło

3Odpowiedz

Podaj schemat podczas odczytu pliku csv jako ramka danych

Próbuję odczytać plik csv do ramki danych. Wiem, jaki powinien być schemat mojej ramki danych, ponieważ znam mój plik CSV. Używam również pakietu csv do odczytywania pliku. Próbuję określić schemat ja