apache-spark-sql

15Ciepło

1Odpowiedz

Podziałowa kolumna łańcucha danych Datastrame na wiele kolumn

Widziałem różne osoby sugerujące, że Dataframe.explode jest przydatnym sposobem, aby to zrobić, ale powoduje to więcej wierszy niż oryginalna ramka danych, co nie jest tym, czego w ogóle chcę. Ja po p

apache-spark pyspark apache-spark-sql spark-dataframe pyspark-sql 2016-08-30

---

8Ciepło

3Odpowiedz

Jak utworzyć SparkSession z obsługą Hive (kończy się niepowodzeniem z "nie znaleziono klas Hive")?

Otrzymuję ten błąd, gdy próbuję uruchomić ten kod. import org.apache.spark.sql.Dataset; import org.apache.spark.sql.Row; import org.apache.spark.sql.SparkSession; public class App { public st

java apache-spark hive apache-spark-sql 2016-09-12

---

7Ciepło

3Odpowiedz

Spark DataFrame: czy groupBy po zamówieniu Czy utrzymujesz tę kolejność?

mam iskrę 2,0 dataframe example o następującej strukturze: id, hour, count id1, 0, 12 id1, 1, 55 .. id1, 23, 44 id2, 0, 12 id2, 1, 89 .. id2, 23, 34 etc. 24 zawiera dane dla każdego identyf

scala apache-spark apache-spark-sql spark-streaming spark-dataframe 2016-09-15

---

6Ciepło

1Odpowiedz

Jak uzyskać dostęp do elementu kolumny VectorUDT w Spark DataFrame?

Mam ramkę danych df z kolumną VectorUDT o nazwie features. Jak uzyskać element kolumny, powiedzmy pierwszy element? Próbowałem robić następujące from pyspark.sql.functions import udf first_elem_udf =

apache-spark pyspark apache-spark-sql spark-dataframe apache-spark-ml 2016-09-18

---

5Ciepło

1Odpowiedz

Dlaczego wydajność zapytania różni się w kolumnach zagnieżdżonych w Spark SQL?

piszę niektóre dane w formacie parkietu przy użyciu Spark SQL gdzie powstały schemat wygląda tak: root |-- stateLevel: struct (nullable = true) | |-- count1: integer (nullable = false) | |-- count2

apache-spark-sql parquet 2016-09-21

---

10Ciepło

1Odpowiedz

Apache Spark 2.0: java.lang.UnsupportedOperationException: Nie znaleziono kodera dla java.time.LocalDate

Używam Apache Spark 2.0 i tworzę case class dla wzmianki o schemacie dla DetaSet. Kiedy próbuję zdefiniować niestandardową Koder według How to store custom objects in Dataset? dla java.time.LocalDate

scala apache-spark encoding dataset apache-spark-sql 2016-08-03

---

8Ciepło

2Odpowiedz

Jak spłaszczyć strukturę w iskrowegowej ramce danych?

Mam dataframe o następującej strukturze: |-- data: struct (nullable = true) | |-- id: long (nullable = true) | |-- keyNote: struct (nullable = true) | | |-- key: string (nullable = true) | | |-- n

java apache-spark apache-spark-sql 2016-08-03

---

11Ciepło

1Odpowiedz

Scala & Spark: Recykling instrukcji SQL

Spędziłem sporo czasu, aby zakodować wiele zapytań SQL, które były wcześniej używane do pobierania danych dla różnych skryptów R. Jak to działa sqlContent = readSQLFile("file1.sql") sqlContent = setS

scala apache-spark apache-spark-sql 2016-09-23

---

6Ciepło

1Odpowiedz

Jak napisać ramkę danych (uzyskaną z tabeli gałęzi) do hadoop SequenceFile i RCFile?

jestem w stanie napisać to w ORC PARQUET bezpośrednio i TEXTFILE AVRO użycie dodatkowych zależności z databricks. <dependency> <groupId>com.databricks</groupId> <artifactId>spark-csv_2.10<

apache-spark apache-spark-sql spark-dataframe 2016-10-03

---

5Ciepło

1Odpowiedz

Masowa migracja danych przez Spark SQL

Obecnie próbuję zbiorczo migrować zawartość bardzo dużej tabeli MySQL do pliku parkietu przez Spark SQL. Ale gdy tak się stanie, szybko zabraknie mi pamięci, nawet jeśli ustawię wyższy limit pamięci s

apache-spark apache-spark-sql spark-dataframe 2016-08-19

---