apache-spark

10Ciepło

1Odpowiedz

Wysyłanie danych strumieniowych Spark, aby otworzyć tsdb

Jak mogę wysłać dane z mojego zadania strumieniowania iskier, aby otworzyć bazę danych tsdb? Próbuję użyć open tsdb jako źródła danych w Grafana. Czy możesz mi pomóc z referencjami, od których mogę za

8Ciepło

1Odpowiedz

Wyjątek NullPointerException po wyodrębnieniu tabeli Teradata za pomocą Scala/Spark

Potrzebuję wyodrębnić tabelę z Teradata (dostęp tylko do odczytu) do parkietu za pomocą Scala (2.11)/Spark (2.1.0). Buduję dataframe że mogę załadować pomyślnie val df = spark.read.format("jdbc").opti

5Ciepło

1Odpowiedz

Jak odczytać dane wyjściowe operatora show do zestawu danych?

Zakładając mamy następujący plik tekstowy (wyjście polecenia df.show()): +----+---------+--------+ |col1| col2| col3| +----+---------+--------+ | 1|pi number|3.141592| | 2| e number| 2.71828| +-

5Ciepło

1Odpowiedz

Błąd inicjalizacji SparkSession - Nie można użyć spark.read

Próbowałem utworzyć samodzielny program PySpark, który odczytuje csv i zapisuje go w tabeli ula. Mam problem z konfiguracją obiektów sesji, konferencji i kontekstów Spark. Tu jest mój kodu: from pyspa

6Ciepło

1Odpowiedz

Dlaczego Kafka Direct Stream tworzy nowy dekoder dla każdej wiadomości?

Mam aplikację do przesyłania strumieniowego Spark napisaną w Javie i używanie Sparka 2.1. Używam KafkaUtils.createDirectStream do czytania wiadomości od Kafki. Używam kodera/dekodera kryo dla wiadomoś

6Ciepło

1Odpowiedz

Jak używać indeksów Spark ORC?

Co to jest opcja włączenia indeksowania z iskry? df .write() .option("mode", "DROPMALFORMED") .option("compression", "snappy") .mode("overwrite") .format("orc")

7Ciepło

2Odpowiedz

Co dokładnie robi funkcja .select()?

wpadłem na zaskakującą zachowań podczas korzystania .select(): >>> my_df.show() +---+---+---+ | a| b| c| +---+---+---+ | 1| 3| 5| | 2| 4| 6| +---+---+---+ >>> a_c = s_df.select(col("a"), col("

5Ciepło

1Odpowiedz

Spark/Neo4j wyrzuca błąd: RuntimeException: java.util.Collections $ UnmodifiableRandomAccessList nie jest ważny rodzaj zewnętrznego dla schematu sznurka

Dokładne zapytania: set call spatial.bbox('geom', {lat:37.5,lon:43.4}, {lat:37.6,lon:43.5}) yield node return node.altitude as altitude, node.detect_type as detect_type, node.gtype as gtype, node.toDa

7Ciepło

1Odpowiedz

Spark, Niepoprawne zachowanie podczas rzucania wyjątku SparkException w EMR

Uruchomiłem zadanie iskry w EMR z YARN jako menedżerem zasobów i na 2 węzłach. Muszę celowo nie wykonać kroku, jeśli mój warunek nie jest spełniony, więc następny krok nie zostanie wykonany zgodnie z

8Ciepło

3Odpowiedz

Spark Shell "Nie można zainicjować kompilatora" Błąd na komputerze Mac

Właśnie zainstalowałem iskry na mojej nowej maszynie i otrzymałem następujący błąd po zainstalowaniu Java, Scala i Apache-spark przy użyciu homebrew. Proces instalowania podano poniżej: $ brew cask in