apache-spark-sql

5Ciepło

1Odpowiedz

Błąd inicjalizacji SparkSession - Nie można użyć spark.read

Próbowałem utworzyć samodzielny program PySpark, który odczytuje csv i zapisuje go w tabeli ula. Mam problem z konfiguracją obiektów sesji, konferencji i kontekstów Spark. Tu jest mój kodu: from pyspa

6Ciepło

1Odpowiedz

Konwertuj ciąg znaków SQL na znacznik czasu

Jestem nowy w Spark SQL i próbuję przekonwertować ciąg znaków na znacznik czasu w ramce danych iskry. Mam ciąg znaków, który wygląda jak '2017-08-01T02:26:59.000Z' w kolumnie o nazwie time_string mój

8Ciepło

1Odpowiedz

Jaka jest różnica między spark.sql.shuffle.partitions a spark.default.parallelism?

Jaka jest różnica między spark.sql.shuffle.partitions i spark.default.parallelism? Próbowałem ustawić oba w SparkSQL, ale liczba Zadaniem drugiego etapu jest zawsze 200.

10Ciepło

1Odpowiedz

buforowanie nakazał Spark DataFrame tworzy niechciane zadanie

chcę przekonwertować RDD do DataFrame i chcą buforować wyniki RDD: from pyspark.sql import * from pyspark.sql.types import * import pyspark.sql.functions as fn schema = StructType([StructField('t'

5Ciepło

2Odpowiedz

Jak działa createOrReplaceTempView w Spark?

Jestem nowy w Spark i Spark SQL. Jak działa createOrReplaceTempView w Spark? Jeśli zarejestrujemy RDD obiektów jako stół, to spowoduje to zapisanie wszystkich danych w pamięci?

6Ciepło

1Odpowiedz

Kolejność wyjścia nie jest w porządku danego wejścia

oświadczenie Problem scalić dwa zbioru danych, które mają różne nazwy kolumn w Apache iskry po funkcją isin() kolejność uległa zmianie w zbiorze danych. Nawet próbowałem z sort, orderby, ale nie dział

6Ciepło

1Odpowiedz

Jak dostroić iskrownik do EMR, aby szybko pisać duże ilości danych na S3

Mam robotę iskrową, gdy robię zewnętrzne sprzężenie między dwiema ramkami danych. Rozmiar pierwszej ramki danych wynosi 260 GB, format pliku to pliki tekstowe podzielone na 2200 plików, a rozmiar drug

8Ciepło

1Odpowiedz

Wyjątek NullPointerException po wyodrębnieniu tabeli Teradata za pomocą Scala/Spark

Potrzebuję wyodrębnić tabelę z Teradata (dostęp tylko do odczytu) do parkietu za pomocą Scala (2.11)/Spark (2.1.0). Buduję dataframe że mogę załadować pomyślnie val df = spark.read.format("jdbc").opti

11Ciepło

2Odpowiedz

Enkoder dla typu wiersza Zestaw danych iskier

Chciałbym napisać koder dla typu Row w DataSet, dla operacji na mapie, którą wykonuję. Zasadniczo nie rozumiem, jak pisać enkodery. Poniżej jest przykład działania mapy: In the example below, instead

5Ciepło

1Odpowiedz

Jak odczytać dane wyjściowe operatora show do zestawu danych?

Zakładając mamy następujący plik tekstowy (wyjście polecenia df.show()): +----+---------+--------+ |col1| col2| col3| +----+---------+--------+ | 1|pi number|3.141592| | 2| e number| 2.71828| +-