pyspark

13Ciepło

2Odpowiedz

W uproszczonym przykładzie mam dataframe „DF” z kolumny „kol1, kolumna2” i chce obliczenie maksimum w rzędach po zastosowaniu funkcji każdej kolumny: def f(x): return (x+1) max_udf=udf(lambda x

5Ciepło

1Odpowiedz

Podział RDD na walidację K-krotność: pyspark

Mam zestaw danych i chcę zastosować naiwne bayes. Będę walidował używając techniki K-fold. Moje dane mają dwie klasy i zamówiły, tj. Jeśli mój zestaw danych ma 100 wierszy, pierwsze 50 jest jednej kla

6Ciepło

1Odpowiedz

Zastosowanie funkcji okna do obliczenia różnic w pySpark

używam pySpark i utworzyły mój dataframe z dwóch kolumn reprezentujących codziennie cen aktywów w następujący sposób: ind = sc.parallelize(range(1,5)) prices = sc.parallelize([33.3,31.1,51.2,21.3])

5Ciepło

2Odpowiedz

Co Wyjątek: Losowość skrótu łańcucha znaków powinna być wyłączona za pomocą PYTHONHASHSEED w pyspark?

Próbuję utworzyć słownik z listy w pyspark. Mam następujący wykaz list: rawPositions daje [[1009794, 'LPF6 Comdty', 'BC22', 'Enterprise', 3.0, 3904.125, 390412.5], [1009794, 'LPF6 Comdty', 'BC22',

15Ciepło

1Odpowiedz

Zastosuj StringIndexer kilku kolumn w PySpark Dataframe

Mam dataframe PySpark +-------+--------------+----+----+ |address| date|name|food| +-------+--------------+----+----+ |1111111|20151122045510| Yin|gre | |1111111|20151122045501| Yin|gre | |1111

5Ciepło

1Odpowiedz

Uzyskaj maksymalną wartość dla każdego klucza w Spark RDD

Jaki jest najlepszy sposób na zwrócenie maksymalnego wiersza (wartości) powiązanego z każdym unikalnym kluczem w iskrowym RDD? Używam Pythona i próbowałem Math max, mapowanie i zmniejszanie o klucze i

5Ciepło

1Odpowiedz

Jak oceniać obiekty iskra Dstream z ramki danych iskra

Piszę aplikację zapłonową, gdzie potrzebne do oceny danych strumieniowych na podstawie danych historycznych, które mieści się w bazie danych serwera SQL Teraz pomysł jest iskra pobierze dane historycz

20Ciepło

3Odpowiedz

Filtr kolumna Pyspark dataframe z Brak wartości

Próbuję filtrować dataframe PySpark który ma None jako wartość rzędu: df.select('dt_mvmt').distinct().collect() [Row(dt_mvmt=u'2016-03-27'), Row(dt_mvmt=u'2016-03-28'), Row(dt_mvmt=u'2016-03-29'),

8Ciepło

2Odpowiedz

Rejestrowanie PySpark?

Chcę, aby mój program sterownika Spark, napisany w Pythonie, wyprowadził kilka podstawowych informacji rejestracyjnych. Mogę to zrobić na trzy sposoby: Korzystanie z mostka PySpark py4j w celu uzyskan

6Ciepło

1Odpowiedz

Odczytywanie losowej próbki plików na S3 z Pyspark

Mam wiadro na S3, które zawiera 1000 plików. Każda ma około 1 GB. Chciałbym przeczytać losową próbkę tych plików. Powiedzmy, że 5% wszystkich plików. To jak to zrobić fileDF = sqlContext.jsonRDD(self.