apache-spark-sql

12Ciepło

1Odpowiedz

Czy znamy jakieś odwołanie do składni dla spark-sql? Mam na myśli styl taki jak MySQL SELECT syntax lub PostgreSQL Documentation: SELECT. Jeśli nie, jakie jest najlepsze źródło, do którego możemy uzys

10Ciepło

3Odpowiedz

Jak uciec nazwy kolumn z myślnikiem w Spark SQL

Mam importowanego pliku json w Spark i convertd go do tabeli jako myDF.registerTempTable("myDF") Następnie chcę uruchomić zapytań SQL na tej wynikającej tabeli val newTable = sqlContext.sql("select

32Ciepło

3Odpowiedz

Jak utworzyć poprawną ramkę danych do klasyfikacji w Spark ML

Próbuję uruchomić losową klasyfikację lasu za pomocą Spark ML api, ale mam problemy z utworzeniem właściwego wejścia ramki danych do potoku. Oto przykładowe dane: age,hours_per_week,education,sex,sala

8Ciepło

1Odpowiedz

Prześlij tablicę jako parametr UDF w Spark SQL

Próbuję przekształcić ramkę danych za pomocą funkcji, która pobiera tablicę jako parametr. Mój kod wygląda mniej więcej tak: def getCategory(categories:Array[String], input:String): String = { ca

5Ciepło

1Odpowiedz

Scala DataFrame: Eksplodować macierz

Używam bibliotek iskier w Scali. Stworzyłem DataFrame korzystając val searchArr = Array( StructField("log",IntegerType,true), StructField("user", StructType(Array( StructField("date",Stri

8Ciepło

5Odpowiedz

Równość DataFrame w Apache Spark

Założenie, że df1 i df2 są dwoma DataFrame w Apache Spark, obliczone przy użyciu dwóch różnych mechanizmów, np. Spark SQL vs. API Scala/Java/Python. Czy istnieje idiomatyczny sposób określania, czy ob

6Ciepło

3Odpowiedz

Jak odczytać CSV na iskry w wersji 1.4?

W związku z wydaniem nowej wersji spark (1.4) pojawiła się przyjemna interferencja interfejsu do spark z R pakietu o nazwie sparkR. Na documentation page of R for spark jest polecenie, które umożliwia

27Ciepło

7Odpowiedz

Jak sprawdzić równość przy użyciu Iskry Dataframe bez zapytania SQL?

Chcę wybrać kolumnę, która jest równa określonej wartości. Robię to w scala i mam małe kłopoty. Herezje mój kod df.select(df("state")==="TX").show() to zwraca kolumnę stanu z wartości logicznych zam

10Ciepło

2Odpowiedz

Dodanie nowej kolumny w ramce danych pochodzących z innych kolumn (Spark)

Używam Spark 1.3.0 i Python. Mam ramkę danych i chcę dodać dodatkową kolumnę, która pochodzi z innych kolumn. Tak, >>old_df.columns [col_1, col_2, ..., col_m] >>new_df.columns [col_1, col_2, ...,

15Ciepło

3Odpowiedz

Zapisz ramkę danych Spark jako dynamicznie podzieloną tabelę w Hive

Mam przykładową aplikację do odczytu z plików CSV do ramki danych. Ramka danych może być przechowywana w tabeli Hive w formacie parkietu, przy użyciu metody: . Powyższy kod działa poprawnie, ale mam t