spark-dataframe

6Ciepło

2Odpowiedz

Pobierz więcej niż 20 wierszy i wyświetl pełną wartość kolumny w powłoce iskrzenia

Używam cassandraSQL z iskry-powłoki do zapytania danych z kassandra. Tak więc, chcę wiedzieć dwie rzeczy, jak pobrać więcej niż 20 wierszy przy użyciu cassnadraSQL, a po drugie, jak wyświetlić pełną w

12Ciepło

2Odpowiedz

Dlaczego tak wiele zadań w mojej pracy iskier?

Mam robotę iskrową, która pobiera plik z 8 rekordami z hdfs, wykonuje prostą agregację i zapisuje ją z powrotem do Hadoop. Zauważam, że są setki zadań, kiedy to robię. Nie jestem również pewien, dlacz

5Ciepło

4Odpowiedz

Czy istnieje sposób przekazywania parametru ograniczenia do functions.collect_set w Spark?

Mam do czynienia z kolumną liczb w dużej iskrze DataFrame, i chciałbym utworzyć nową kolumnę, która przechowuje zagregowaną listę unikalnych liczb, które pojawiają się w tej kolumnie. Zasadniczo dokła

9Ciepło

3Odpowiedz

Jak uzyskać wartość z obiektu wiersza w Dataframe Spark?

dla averageCount = (wordCountsDF .groupBy().mean()).head() uzyskać Row(avg(count)=1.6666666666666667) ale gdy próbuję: averageCount = (wordCountsDF .groupBy().mean()).head().getFloat

13Ciepło

1Odpowiedz

Definiowanie UDF, który akceptuje Array obiektów w Spark DataFrame?

Podczas pracy z DataFrames Sparka, funkcje zdefiniowane przez użytkownika (UDF) są wymagane do mapowania danych w kolumnach. UDF wymagają, aby typy argumentów były jawnie określone. W moim przypadku p

5Ciepło

1Odpowiedz

Masowa migracja danych przez Spark SQL

Obecnie próbuję zbiorczo migrować zawartość bardzo dużej tabeli MySQL do pliku parkietu przez Spark SQL. Ale gdy tak się stanie, szybko zabraknie mi pamięci, nawet jeśli ustawię wyższy limit pamięci s

10Ciepło

1Odpowiedz

Jak podzielić wektor na kolumny - używając PySpark

Kontekst: Mam DataFrame z 2 kolumnami: słowem i wektorem. Gdzie typ kolumny "wektor" to VectorUDT. Przykład: word | vector assert | [435,323,324,212...] I chcę uzyskać to: word | v1 | v2 | v3 | v4

6Ciepło

1Odpowiedz

Spark: Czytaj inputStream zamiast File

Używam SparkSQL w aplikacji Java do przetwarzania plików CSV przy użyciu Databricks do parsowania. Dane, które przetwarzam, pochodzą z różnych źródeł (zdalny adres URL, plik lokalny, Google Cloud Stor

8Ciepło

1Odpowiedz

Jak używać polecenia orderby() w porządku malejącym w funkcjach okna Spark?

Potrzebuję funkcji okna, która partycje przez niektóre klucze (= nazwy kolumn), zamówienia przez inną nazwę kolumny i zwraca wiersze z najwyższym x rangi. Działa to dobrze dla porządku rosnącym: def g

5Ciepło

2Odpowiedz

Pyspark: wiele warunków w przypadku klauzuli

Chciałbym zmodyfikować wartości komórek kolumny danych (wiek), gdzie obecnie jest ona pusta i zrobiłbym to tylko wtedy, gdyby inna kolumna (zachowana) miała wartość 0 dla odpowiedniego wiersza gdzie j