spark-dataframe

8Ciepło

2Odpowiedz

Używając Spark 2.0, widzę, że można zmienić ramkę danych wiersza w ramkę danych klas przypadków. Kiedy próbowałem to zrobić, witałem się z komunikatem o zaimportowaniu spark.implicits._. Problem, któr

9Ciepło

1Odpowiedz

„rozwiązany atrybut (s) missing” podczas wykonywania przyłączenia na pySpark

Mam następujące dwa pySpark dataframe: > df_lag_pre.columns ['date','sku','name','country','ccy_code','quantity','usd_price','usd_lag','lag_quantity'] > df_unmatched.columns ['alt_sku', 'alt_lag_q

18Ciepło

1Odpowiedz

Dlaczego Apache Spark odczytuje niepotrzebne kolumny parkietu w strukturach zagnieżdżonych?

Mój zespół buduje proces ETL, który ładuje nieprzetworzone pliki tekstowe do "jeziora danych" opartego na parkiecie za pomocą Sparka. Jedną z obietnic magazynu kolumn Parquet jest to, że zapytanie odc

5Ciepło

2Odpowiedz

islowe okno funkcji sql opóźnienie

Patrzę na funkcję przesuwania okna dla Spark DataFrame w Spark SQL, Scala. Mam ramkę danych z kolumnami Col1, Col1, Col1, data. Col1 Col2 Col3 date volume new_col 201601 100.5 201

6Ciepło

1Odpowiedz

używać więcej niż jeden collect_list w jednej kwerendzie w Spark SQL

Mam następujący dataframe data: root |-- userId: string |-- product: string |-- rating: double oraz następujące zapytanie: val result = sqlContext.sql("select userId, collect_list(product), colle

7Ciepło

4Odpowiedz

Konwersja JavaRDD do DataFrame w Spark java

Próbuję przetworzyć plik dziennika. Najpierw odczytałem plik dziennika i podzieliłem te pliki zgodnie z moimi wymaganiami i zapisałem każdą kolumnę w oddzielnym JavaRDD. Teraz muszę przekonwertować te

9Ciepło

2Odpowiedz

Jakie są możliwe przyczyny otrzymania TimeoutException: Futures timed out po [n sekund] podczas pracy z Spark

pracuję nad programem Spark SQL, a ja dostaję następujący wyjątek: 16/11/07 15:58:25 ERROR yarn.ApplicationMaster: User class threw exception: java.util.concurrent.TimeoutException: Futures timed out

8Ciepło

2Odpowiedz

pyspark: ValueError: Niektóre z typów nie można ustalić po wnioskowaniu

Mam ramki danych pandy my_df i my_df.dtypes daje nam: ts int64 fieldA object fieldB object fieldC object fieldD object fieldE object dtype: object Potem próbuję przekonwertować ra

6Ciepło

2Odpowiedz

Take n wierszy z dataframe zapłonowej i przekazywanie toPandas()

mam ten kod: l = [('Alice', 1),('Jim',2),('Sandra',3)] df = sqlContext.createDataFrame(l, ['name', 'age']) df.withColumn('age2', df.age + 2).toPandas() działa dobrze, robi to, co musi. Załóżmy jed

5Ciepło

2Odpowiedz

Różnica między === nieważną i IsNull w Spark DataDrame

Jestem nieco mylić z tą różnicą, gdy używamy df.filter(col("c1") === null) and df.filter(col("c1").isNull) samo dataframe jestem coraz liczy w === zerowa ale zerowej liczby w IsNull. Pomóż mi zrozum