pyspark

5Ciepło

1Odpowiedz

Wskazówki dotyczące poprawnego używania dużych zmiennych rozgłoszeniowych?

Używam nadawania zmiennej około 100 MB marynowanych w rozmiarze, który mam zbliżoną z: >>> data = list(range(int(10*1e6))) >>> import cPickle as pickle >>> len(pickle.dumps(data)) 98888896 biegan

5Ciepło

2Odpowiedz

Korelacja komputerowa Pyspark

Chcę użyć funkcji pyspark.mllib.stat.Statistics.corr do obliczenia korelacji między dwiema kolumnami obiektu pyspark.sql.dataframe.DataFrame. Funkcja corr oczekuje pobrania obiektów rdd z Vectors. Jak

5Ciepło

1Odpowiedz

Przechodząc funkcje Pythona jako obiekty do Spark

Grałem z Spark i Python na tym internetowym jupyter notebooka https://tmpnb.org/ i 3 sposoby próbowali przekazać funkcje Pythona: 1), używając mapy import numpy as np def my_sqrt(x): return np.s

5Ciepło

2Odpowiedz

Pyspark: wiele warunków w przypadku klauzuli

Chciałbym zmodyfikować wartości komórek kolumny danych (wiek), gdzie obecnie jest ona pusta i zrobiłbym to tylko wtedy, gdyby inna kolumna (zachowana) miała wartość 0 dla odpowiedniego wiersza gdzie j

5Ciepło

2Odpowiedz

Wybierz konkretne kolumny w ramce danych PySpark, aby poprawić wydajność.

Praca z ramkami danych Spark zaimportowana z Hive, czasami kończę na kilku kolumnach, których nie potrzebuję. Przypuśćmy, że nie chcę, aby filtrować je df = SqlContext.sql('select cols from mytable')

9Ciepło

3Odpowiedz

Jak uzyskać wartość z obiektu wiersza w Dataframe Spark?

dla averageCount = (wordCountsDF .groupBy().mean()).head() uzyskać Row(avg(count)=1.6666666666666667) ale gdy próbuję: averageCount = (wordCountsDF .groupBy().mean()).head().getFloat

9Ciepło

2Odpowiedz

Wykorzystanie pamięci Spark/przędzy Python

Mam aplikację świecy zapłonowej, która jest zabijana przez przędzę za przekroczenie limitów pamięci. Mam krok, który wymaga załadowania niektórych zasobów, które są nieco ciężkie (500+ MB), więc używa

5Ciepło

1Odpowiedz

zapisuj rzędy iskierników danych jako elementy w tabeli dynamoDB

Czy istnieje sposób na zapisanie każdego wiersza mojej ramki danych spark jako nowego elementu w tabeli ? (W pySpark) Użyłem tego kodu z boto3 biblioteki, ale zastanawiam się, czy istnieje inny sposób

9Ciepło

5Odpowiedz

Łączy dwa dataframes PySpark

Próbuję złączyć dwa dataframes PySpark z niektórych kolumn, które są tylko na każdej z nich: from pyspark.sql.functions import randn, rand df_1 = sqlContext.range(0, 10) +--+ |id| +--+ | 0| |

8Ciepło

2Odpowiedz

Przekazywanie kolumny ramki danych i zewnętrznej listy do udf w ramach z Kolumną

Mam iskrową ramkę danych o następującej strukturze. Ciało_tekst_token ma tokeny (przetworzone/zestaw słów). I mam zagnieżdżonych listę zdefiniowanych słów kluczowych root |-- id: string (nullable = t