apache-spark-dataset

13Ciepło

3Odpowiedz

Próbuję użyć interfejsu API Spark Dataset, ale mam pewne problemy z prostym łączeniem. Powiedzmy mam dwa zestawu danych z polami: date | value, a następnie w przypadku DataFrame moich przyłączenia wyg

12Ciepło

1Odpowiedz

Jak utworzyć zestaw danych Spark z RDD

Mam RDD[LabeledPoint] przeznaczony do użycia w ramach uczenia maszynowego. Jak przekonwertować ten RDD na DataSet? Uwaga: nowszy numer spark.ml wymaga wejść w formacie Dataset.

6Ciepło

1Odpowiedz

Kolejność wyjścia nie jest w porządku danego wejścia

oświadczenie Problem scalić dwa zbioru danych, które mają różne nazwy kolumn w Apache iskry po funkcją isin() kolejność uległa zmianie w zbiorze danych. Nawet próbowałem z sort, orderby, ale nie dział

7Ciepło

2Odpowiedz

Utwórz DataFrame z wartością pustą dla kilku kolumn

Próbuję utworzyć DataFrame przy użyciu RDD. Pierwszy Tworzę RDD za pomocą poniższego kodu - val account = sc.parallelize(Seq( (1, null, 2,"F"), (2, 2, 4, "F"), (3, 3

11Ciepło

2Odpowiedz

Enkoder dla typu wiersza Zestaw danych iskier

Chciałbym napisać koder dla typu Row w DataSet, dla operacji na mapie, którą wykonuję. Zasadniczo nie rozumiem, jak pisać enkodery. Poniżej jest przykład działania mapy: In the example below, instead

6Ciepło

1Odpowiedz

iskrzenie dlaczego kolumny zmieniają się na wartości zerowe true

dlaczego jest pusta = true po wykonaniu niektórych funkcji? Nadal nie ma wartości nan w df. val myDf = Seq((2,"A"),(2,"B"),(1,"C")) .toDF("foo","bar") .withColumn("foo", 'foo.cast("Int"))

5Ciepło

1Odpowiedz

Jak przekształcić zestaw danych <Tuple2 <String, DeviceData >> na Iterator <DeviceData>

Mam Dataset<Tuple2<String,DeviceData>> i chcę go przetransformować na Iterator<DeviceData>. Poniżej znajduje się mój kod, w którym używam metody collectAsList(), a następnie otrzymuję Iterator<DeviceD