spark-dataframe

6Ciepło

2Odpowiedz

Jak wykonać „Lookup” operacja na dataframes Spark podano wiele warunków

Jestem newbie na Spark (Moja wersja to 1.6.0) i teraz staram się rozwiązać problem poniżej: Załóżmy, że istnieje są dwa pliki źródłowe: Pierwszy (w skrócie) jest dużym, który zawiera kolumny o nazwach

7Ciepło

4Odpowiedz

Spark saveAsTextFile() powoduje Mkdirs udało się stworzyć dla połowie katalogu

Ja obecnie pracuje Java Spark aplikacji w Tomcat i odbieranie następujący wyjątek: Caused by: java.io.IOException: Mkdirs failed to create file:/opt/folder/tmp/file.json/_temporary/0/_temporary/attemp

16Ciepło

2Odpowiedz

wiele warunków dla filtra w ramkach danych iskrowych

Mam ramkę danych z czterema polami. jedną z nazw pól jest Status i próbuję użyć warunku OR w .filter dla ramki danych. Wypróbowałem poniższe zapytania, ale bez powodzenia. df2 = df1.filter(("Status=2"

5Ciepło

1Odpowiedz

Spark DataFrame nie szanuje schematu i traktuje wszystko jako ciąg

Mam do czynienia z problemem, któremu nie udało mi się przejść od wieków. 1) Jestem na Spark 1.4 i Scala 2.10. Nie mogę uaktualnić w tej chwili (duża rozproszona infrastruktura) 2) Mam plik z kilkoma

10Ciepło

1Odpowiedz

Jak korzystać z klasy Scala w Pyspark

Szukałem od jakiegoś czasu, jeśli jest jakiś sposób, aby użyć klasy Scala w Pyspark i nie znalazłem żadnej dokumentacji ani przewodnika na ten temat. Powiedzmy utworzyć prostą klasę w Scala który używ

6Ciepło

3Odpowiedz

Jak odjąć kolumnę dni od kolumny dat w Pyspark?

Biorąc pod uwagę następujące PySpark DataFrame df = sqlContext.createDataFrame([('2015-01-15', 10), ('2015-02-15', 5)], ('date_col', 'days_col')) Jak kolumna dni zostaną odję

5Ciepło

4Odpowiedz

Jak upuszczać wiersze ze zbyt dużą liczbą wartości NULL?

Chcę wykonać niektóre preprocessing na moje dane i chcę upuścić wiersze, które są rzadkie (dla niektórych wartości progowych). Na przykład mam tabeli ramek danych z 10 funkcji i mam wiersz z 8 wartośc

10Ciepło

2Odpowiedz

Prevent DataFrame.partitionBy() od usuwania kolumn podzielonych na partycje od schematu

ja partycjonowanie DataFrame następująco: df.write.partitionBy("type", "category").parquet(config.outpath) Kod daje oczekiwanych rezultatów (czyli danych podzielono według rodzaju & kategorii). Jedn

5Ciepło

1Odpowiedz

Jak podzielić kolumnę?

Chciałbym zobaczyć, czy mogę podzielić kolumnę na dane ramowe iskier. Tak, Select employee, split(department,"_") from Employee

7Ciepło

2Odpowiedz

Filtrowanie według wartości kolumny równej liście w iskrze

Próbuję filtrować iskrową ramkę danych na podstawie tego, czy wartości w kolumnie są równe liście. Chciałbym zrobić coś takiego: filtered_df = df.where(df.a == ['list','of' , 'stuff']) Gdzie filtere