databricks

11Ciepło

2Odpowiedz

Rozbijanie zagnieżdżonych struktur w ramce danych Spark

Pracuję poprzez Databricks example. Schemat dla dataframe wygląda następująco: > parquetDF.printSchema root |-- department: struct (nullable = true) | |-- id: string (nullable = true) | |-- name:

scala apache-spark distributed-computing spark-dataframe databricks 2016-09-01

---

6Ciepło

1Odpowiedz

Spark: Czytaj inputStream zamiast File

Używam SparkSQL w aplikacji Java do przetwarzania plików CSV przy użyciu Databricks do parsowania. Dane, które przetwarzam, pochodzą z różnych źródeł (zdalny adres URL, plik lokalny, Google Cloud Stor

java apache-spark apache-spark-sql spark-dataframe databricks 2016-07-20

---