apache-spark-sql

12Ciepło

1Odpowiedz

Czy są jakieś implementacje źródeł danych Spark SQL, które oferują łączenie partycji - najprawdopodobniej za pośrednictwem CoGroupRDD? Nie widziałem żadnych zastosowań w istniejącej bazie kodów Spark.

15Ciepło

5Odpowiedz

Lepszy sposób konwertowania pola ciągu na znacznik czasu w Spark

Mam plik CSV, w którym pole jest datetime w określonym formacie. Nie mogę zaimportować go bezpośrednio do Mojego Dataframe, ponieważ musi to być znacznik czasu. Więc zaimportować go jako ciąg znaków i

10Ciepło

4Odpowiedz

Wykrywanie java.sql.SQLException: Nie znaleziono odpowiedniego sterownika podczas ładowania DataFrame do Spark SQL

Mam bardzo dziwny problem przy próbie załadowania JDBC DataFrame do Spark SQL. Próbowałem już kilka klastrów Spark - PRZEGLĄD, samodzielny klaster i tryb pseudo rozproszony na moim laptopie. Jest powt

68Ciepło

2Odpowiedz

Błędy podczas korzystania z OFF_HEAP Storage Spark 1.4.0 i 0.6.4 Tachyon

staram się utrzymywać mój RDD użyciu wyłączyć przechowywanie sterty na iskrowym 1.4.0 i 0.6.4 tachyon'y robi to tak: val a = sqlContext.parquetFile("a1.parquet") a.persist(org.apache.spark.storage.St

14Ciepło

1Odpowiedz

Scala/Spark App z "No TypeTag available" Błąd w stylu "def main" App

Jestem nowy w stosie Scala/Spark i próbuję wymyślić jak przetestować swoje podstawowe umiejętności, używając SparkSql do "mapowania" RDD w TempTables i viceversa. Mam 2 różne pliki .scala z tym samym

5Ciepło

1Odpowiedz

Czy jest to błąd regresji w programie Spark 1.3?

bez ostrzeżeń amortyzacyjne w zapłonowej SQL 1.2.1 następujący kod przestał działać 1,3 pracował w 1.2.1 (bez ostrzeżenia amortyzacyjne) val sqlContext = new HiveContext(sc) import sqlContext._ val

7Ciepło

2Odpowiedz

Jaki jest właściwy format Data/Datetime w JSON dla Spark SQL, aby automatycznie uzyskać jego schemat?

Spark SQL obsługuje automatyczne wnioskowanie schematu ze źródła wejściowego JSON (każdy wiersz jest samodzielnym plikiem JSON) - robi to poprzez skanowanie całego zestawu danych w celu utworzenia sch

5Ciepło

2Odpowiedz

jak zebrać wynik iskry sql do pliku?

Poniżej znajduje się mój iskrowy skrypt sql, który ładuje plik i używa na nim kodu SQL, chcę zebrać dane wyjściowe z kwerendy sql i zapisać je w pliku, nie wiem, jak komukolwiek pomóc. //import classe

5Ciepło

1Odpowiedz

Jaki jest preferowany sposób uniknięcia zastrzyków SQL w Spark-SQL (w ulu)

Założenie SchemaRDD rdd z zarejestrowaną tabelą customer. Chcesz odfiltrować rekordy zgodnie z danymi wprowadzonymi przez użytkownika. Jednym z pomysłów może mieć, jak to zrobić jest następujący: rdd.

8Ciepło

3Odpowiedz

Jak wydajniej ładować pliki parkietu w Spark (pySpark v1.2.0)

Ładowanie w plikach parkietu wielowymiarowego, ale potrzebuję tylko kilku kolumn. Mój obecny kod wygląda następująco: dat = sqc.parquetFile(path) \ .filter(lambda r: len(r.a)>0) \ .map(l