scala

5Ciepło

4Odpowiedz

Jak dodać czasowego obserwatora do Scala Future?

Chcę dodać after(d: FiniteDuration)(callback: => Unit) util do Scala Future s, który pozwoliłby mi na to: val f = Future(someTask) f.after(30.seconds) { println("f has not completed in 30 secon

6Ciepło

2Odpowiedz

Pobierz więcej niż 20 wierszy i wyświetl pełną wartość kolumny w powłoce iskrzenia

Używam cassandraSQL z iskry-powłoki do zapytania danych z kassandra. Tak więc, chcę wiedzieć dwie rzeczy, jak pobrać więcej niż 20 wierszy przy użyciu cassnadraSQL, a po drugie, jak wyświetlić pełną w

5Ciepło

2Odpowiedz

Jak skompilować/eval wyrażenia Scala w czasie wykonywania?

Nowość w Scali i szukanie wskazówek do rozwiązania idiomatycznego, jeśli takie istnieje. Chciałbym mieć dowolne funkcje Scala dostarczone przez użytkownika (które mogą odwoływać się do funkcji/klas, k

12Ciepło

2Odpowiedz

Dlaczego tak wiele zadań w mojej pracy iskier?

Mam robotę iskrową, która pobiera plik z 8 rekordami z hdfs, wykonuje prostą agregację i zapisuje ją z powrotem do Hadoop. Zauważam, że są setki zadań, kiedy to robię. Nie jestem również pewien, dlacz

5Ciepło

1Odpowiedz

scala - idiomatyczny sposób na zmianę stanu klasy

Mam kilka klas wszystkich rozszerza tę samą cechę i wszystkie mają wspólną funkcję, która powinna zmienić ich stan. Jednak zastanawiałem się, czy istnieje lepszy sposób na wdrożenie tej samej funkcjon

6Ciepło

2Odpowiedz

pomysł sbt java.lang.NoClassDefFoundError: org/apache/spark/SparkConf

Jestem początkującym iskra. Buduję wykorzystanie środowiska "linux + idea + sbt", kiedy próbuję szybki start Sparka, dostaję problem: Exception in thread "main" java.lang.NoClassDefFoundError: org/apa

12Ciepło

2Odpowiedz

Jak dołączyć zbiory danych do wielu kolumn?

Biorąc pod uwagę dwa Spark zestawów danych, A i B mogę zrobić dołączyć na jednej kolumnie następująco: a.joinWith(b, $"a.col" === $"b.col", "left") Moje pytanie brzmi, czy można zrobić sprzężenie za

5Ciepło

2Odpowiedz

Jak sprawdzić, czy kolekcja zawiera jakikolwiek element z innej kolekcji w Scali?

Tytuł mówi wszystko, jaka jest najlepsza praktyka, aby dowiedzieć się, czy kolekcja zawiera element innej kolekcji? w Javie Chciałbym wykonać go jak ten CollectionUtils.containsAny(a, b) za pomocą u

12Ciepło

1Odpowiedz

Strumienie Akka. Stan stanowy w przepływie

Chcę czytać wiele dużych plików, używając strumieni akka do przetwarzania każdej linii. Wyobraź sobie, że każdy klucz składa się z ("identyfikator" -> "wartość"). Jeśli zostanie znaleziony nowy "ident

7Ciepło

2Odpowiedz

Jak liczyć wystąpienia każdej odrębnej wartości w kolumnie?

edf.select("x").distinct.show() pokazuje różne wartości, które są obecne w kolumnie x z edf DataFrame. Czy istnieje skuteczna metoda pokazująca liczbę wystąpień tych odrębnych wartości w ramce danych?