apache-spark-2.0

5Ciepło

1Odpowiedz

Jak przekształcić zestaw danych <Tuple2 <String, DeviceData >> na Iterator <DeviceData>

Mam Dataset<Tuple2<String,DeviceData>> i chcę go przetransformować na Iterator<DeviceData>. Poniżej znajduje się mój kod, w którym używam metody collectAsList(), a następnie otrzymuję Iterator<DeviceD

5Ciepło

1Odpowiedz

analizowania zestawu danych kolumnę JSON do DataSet <Row>

Mając Dataset<Row> z pojedynczej kolumny ciągów json: +--------------------+ | value| +--------------------+ |{"Context":"00AA0...| +--------------------+ Json próbki: {"Context":"00AA00AA","

6Ciepło

2Odpowiedz

Apache Spark vs Apache Spark 2

Jakie ulepszenia oferuje Apache Spark2 w porównaniu do Apache Spark? Od architektury perspektywy Z punktu widzenia aplikacji lub więcej

5Ciepło

3Odpowiedz

Jak zbudować Spark ze źródeł ze strony Download Spark?

Próbowałem zainstalować i zbudować Spark 2.0.0 na Ubuntu VM z Ubuntu 16.04, co następuje: Instalacja Java sudo apt-add-repository ppa:webupd8team/java sudo apt-get update sudo apt-get install oracl

10Ciepło

1Odpowiedz

Dlaczego korzystanie z pamięci podręcznej podczas przesyłania strumieniowego zestawów danych kończy się niepowodzeniem z "AnalysisException: Zapytania ze źródłami strumieniowymi muszą być wykonywane za pomocą metody writeStream.start()"?

SparkSession .builder .master("local[*]") .config("spark.sql.warehouse.dir", "C:/tmp/spark") .config("spark.sql.streaming.checkpointLocation", "C:/tmp/spark/spark-checkpoint")

6Ciepło

1Odpowiedz

Klasa obudowy Scala ignorująca import w powłoce Spark

Mam nadzieję, że istnieje oczywista odpowiedź na to pytanie! Właśnie zaktualizowałem do wersji Spark v2.0 i mam dziwny problem z (Scala 2.11 kompilacja). Gdybym wprowadź następujące minimalne Scala, i