rdd

10Ciepło

2Odpowiedz

Spark: RDD do listy

Mam strukturę RDD RDD[(String, String)] i chcę utworzyć 2 listy (po jednym dla każdego wymiaru RDD). Próbowałem użyć rdd.foreach() i wypełnić dwa ListBuffers, a następnie przekonwertować je na listy

scala list apache-spark rdd 2016-11-30

---

6Ciepło

2Odpowiedz

Jak zapisać RDD w HDFS, a potem go odczytać?

Mam RDD, którego elementy są typu (Long, String). Z jakiegoś powodu chcę zapisać cały RDD w HDFS, a później także przeczytać RDD z powrotem w programie Spark. czy jest to możliwe do zrobienia? A jeśli

scala apache-spark hdfs rdd bigdata 2016-10-16

---

12Ciepło

1Odpowiedz

Wyczyść nieprawidłowe znaki z danych przechowywanych w Spark RDD

Mam PySpark RDD zaimportowany z plików JSON. Elementy danych zawierają pewną liczbę wartości, które nie są pożądane. Ze względu na argumenty tylko te znaki, które są string.printable powinny znajdować

python-3.x apache-spark pyspark rdd 2017-01-24

---

5Ciepło

1Odpowiedz

Wskazówki dotyczące poprawnego używania dużych zmiennych rozgłoszeniowych?

Używam nadawania zmiennej około 100 MB marynowanych w rozmiarze, który mam zbliżoną z: >>> data = list(range(int(10*1e6))) >>> import cPickle as pickle >>> len(pickle.dumps(data)) 98888896 biegan

python apache-spark pyspark pickle rdd 2016-05-26

---

6Ciepło

1Odpowiedz

Klasy typu Scalaz dla Apache Spark RDD

Celem jest zaimplementowanie różnych klas typów (takich jak półgrupa, monada, funktor itp.) Dostarczonych przez Scalaz dla RDD Sparka (kolekcja rozproszona). Niestety, nie mogę wykonać żadnej z klas,

scala apache-spark functional-programming rdd scalaz 2016-04-17

---

7Ciepło

4Odpowiedz

Konwersja JavaRDD do DataFrame w Spark java

Próbuję przetworzyć plik dziennika. Najpierw odczytałem plik dziennika i podzieliłem te pliki zgodnie z moimi wymaganiami i zapisałem każdą kolumnę w oddzielnym JavaRDD. Teraz muszę przekonwertować te

java hadoop apache-spark spark-dataframe rdd 2016-12-23

---

6Ciepło

2Odpowiedz

Czy w RDD są jakieś działania dotyczące zamówienia?

Chcę wykonać działanie w trybie RDD, takie jak reduce, ale nie trzeba, aby operator był przemienny. tj. chcę, aby result na następnej stronie zawsze będzie "123456789". scala> val rdd = sc.parallelize

scala apache-spark rdd reduce fold 2016-08-05

---

7Ciepło

3Odpowiedz

Jak przekonwertować RDD z klasy na klasy do DataFrame?

W dokumencie Spark documentation pokazano, jak utworzyć obiekt DataFrame z RDD, używając klas przypadków Scala do wyprowadzania schematu. Próbuję odtworzyć tę koncepcję za pomocą sqlContext.createData

scala apache-spark rdd spark-dataframe 2016-05-03

---

5Ciepło

1Odpowiedz

Uzyskaj maksymalną wartość dla każdego klucza w Spark RDD

Jaki jest najlepszy sposób na zwrócenie maksymalnego wiersza (wartości) powiązanego z każdym unikalnym kluczem w iskrowym RDD? Używam Pythona i próbowałem Math max, mapowanie i zmniejszanie o klucze i

python apache-spark pyspark rdd 2016-05-04

---

9Ciepło

2Odpowiedz

RDD Agregacja w iskrze

Jestem uczniem Apache Spark i natknąłem się na RDD akcję aggregate, której nie mam pojęcia, jak to działa. Może ktoś przeliterować i szczegółowo wyjaśnić krok po kroku w jaki sposób dochodzimy do poni

scala apache-spark rdd 2016-05-04

---