rdd

13Ciepło

1Odpowiedz

Stackoverflow z powodu długiej linii RDD

Mam tysiące małych plików w HDFS. Musisz przetworzyć nieco mniejszy podzbiór plików (który jest ponownie w tysiącach), lista plików zawiera listę ścieżek do plików, które należy przetworzyć. // fileLi

9Ciepło

1Odpowiedz

Co to jest glom ?. Czym różni się od mapPartitions?

Znalazłem metodę glom() na RDD. Zgodnie z dokumentacją zwróci RDD stworzony przez koalescencyjny wszystkie elementy wewnątrz każdej partycji na tablicę Czy glom przetasować danych między partycjami cz

5Ciepło

1Odpowiedz

W jaki sposób Spark decyduje, jak podzielić partycję RDD?

Załóżmy tworzę takie RDD (używam Pyspark): list_rdd = sc.parallelize(xrange(0, 20, 2), 6) następnie wydrukować partycjonowanej elementy z metodą glom() i uzyskiwania [[0], [2, 4], [6, 8], [10], [12,

10Ciepło

2Odpowiedz

Jak przekonwertować Spark RDD na pandasową ramkę danych w ipython?

Mam RDD i chcę go przekonwertować na pandasdataframe. Wiem, że do konwersji i RDD do normalnego dataframe możemy zrobić df = rdd1.toDF() Ale chcę przekonwertować RDD do pandasdataframe a nie normaln

5Ciepło

2Odpowiedz

Scal wiele RDD generowanych w pętli

Wywołuję funkcję w scala, która daje RDD[(Long,Long,Double)] jako wyjście. def helperfunction(): RDD[(Long, Long, Double)] nazywam tę funkcję w pętli w innej części kodu i chcę, aby scalić wszystkie w

9Ciepło

1Odpowiedz

Konwertowanie Scala Iterable [tuple] na RDD

Mam listę krotek (String, String, Int, Double), które chcę przekonwertować na Spark RDD. Ogólnie, w jaki sposób mogę przekonwertować Scala Iterable [(a1, a2, a3, ..., an)] na Spark RDD?

11Ciepło

2Odpowiedz

Spark: różnica semantyki między redukuj i redukujByKey

W dokumentacji Sparka mówi, że metoda RDDs reduce wymaga asocjacyjnej i komutatywnej funkcji binarnej. Jednak metoda TYLKO wymaga reduceByKey asocjacyjnej funkcji binarnej. sc.textFile("file4kB", 4)

10Ciepło

1Odpowiedz

Równość klasy Case w Apache Spark

Dlaczego dopasowywanie wzorców w Spark nie działa tak samo jak w Scali? Zobacz przykład poniżej ... funkcja f() próbuje dopasować do wzorca na klasie, która działa w Scala REPL, ale kończy się niepowo

12Ciepło

1Odpowiedz

Mnożenie macierzy w Apache Spark

Próbuję wykonać mnożenie macierzy za pomocą Apache Spark i Java. Mam 2 główne pytania: Jak stworzyć RDD, które mogą reprezentować matrycy w Apache Spark? Jak pomnożyć dwa takie RDD?

8Ciepło

1Odpowiedz

Domyślny układ partycji w Spark

Kiedy wykonać poniżej polecenia: scala> val rdd = sc.parallelize(List((1,2),(3,4),(3,6)),4).partitionBy(new HashPartitioner(10)).persist() rdd: org.apache.spark.rdd.RDD[(Int, Int)] = ShuffledRDD[10]