apache-spark

7Ciepło

4Odpowiedz

Konwersja JavaRDD do DataFrame w Spark java

Próbuję przetworzyć plik dziennika. Najpierw odczytałem plik dziennika i podzieliłem te pliki zgodnie z moimi wymaganiami i zapisałem każdą kolumnę w oddzielnym JavaRDD. Teraz muszę przekonwertować te

6Ciepło

1Odpowiedz

Unikaj wpływu wydajności trybu pojedynczej partycji w funkcjach okna Spark

Moje pytanie jest wyzwalane przez przypadek użycia obliczania różnic między kolejnymi rzędami w iskrowegowej ramce danych. Na przykład mam: >>> df.show() +-----+----------+ |index| col1| +-----+--

6Ciepło

1Odpowiedz

Partycjonowanie za pomocą Spark Graphframes

Pracuję z dużym (?) Wykresem (60 milionów wierzchołków i 9,5 miliarda krawędzi) za pomocą Spark Graphframes. Podstawowe dane nie są duże - wierzchołki zajmują około 500 MB na dysku, a krawędzie około

7Ciepło

2Odpowiedz

przekaż niestandardowy kod wyjścia z iskry w trybie klastrowania przędzy do CLI

Rozpocząłem pracę w iskrze w trybie klastrowania przędzy poprzez przesyłanie iskier. Aby wskazać błąd częściowy itp. Chcę przekazać kod exitcode ze sterownika do skryptu wywołującego iskrzenie. Próbow

7Ciepło

2Odpowiedz

Dlaczego transformacja sortBy wyzwala zadanie Spark?

Zgodnie z dokumentacją Spark tylko działania RDD mogą wyzwalać zadanie Spark, a transformacje są leniwie oceniane, gdy zostanie wywołana akcja. Widzę, że funkcja transformacji sortBy jest zastosowana

12Ciepło

1Odpowiedz

Graj! i Spark niekompatybilne wersje Jackson

Mam problem z uruchomieniem Sparka 2.1 z Play! 2.5.9. otrzymuję następujący wyjątek środowiska wykonawczego: com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.7.6

14Ciepło

1Odpowiedz

Różnica w używanej, zatwierdzonej i maksymalnej pamięci stertowej

Monitoruję JVM wykonawczy iskra wykonawczy wyjątku OutOfMemoryException. Użyłem Jconsole do połączenia z executorem JVM. Poniżej znajduje się zrzut JConsole: na obraz wybranej pamięci jest pokazany ja

5Ciepło

2Odpowiedz

Różnica między === nieważną i IsNull w Spark DataDrame

Jestem nieco mylić z tą różnicą, gdy używamy df.filter(col("c1") === null) and df.filter(col("c1").isNull) samo dataframe jestem coraz liczy w === zerowa ale zerowej liczby w IsNull. Pomóż mi zrozum

14Ciepło

2Odpowiedz

Dlaczego funkcja Spark działa gorzej podczas korzystania z serializacji Kryo?

Włączyłem serializację Kryo dla mojej pracy Spark, włączyłem ustawienie wymagające rejestracji i upewniłem się, że wszystkie moje typy zostały zarejestrowane. val conf = new SparkConf() conf.set("spa

9Ciepło

1Odpowiedz

Implementowanie szablonu Cake z domyślną funkcjonalnością

Mam scenariusz, w którym chcę zaimplementować wariant schematu Cake, ale dodając domyślną funkcję klasy (Spark DataFrame). Więc w zasadzie, chciałbym być w stanie uruchomić kod jak poniżej: trait Tran