pyspark

10Ciepło

1Odpowiedz

buforowanie nakazał Spark DataFrame tworzy niechciane zadanie

chcę przekonwertować RDD do DataFrame i chcą buforować wyniki RDD: from pyspark.sql import * from pyspark.sql.types import * import pyspark.sql.functions as fn schema = StructType([StructField('t'

5Ciepło

2Odpowiedz

pyspark: średnia krocząca przy użyciu danych timeseries

Mam zestaw danych składający się z kolumny sygnatury czasowej i kolumny w dolarach. Chciałbym znaleźć średnią liczbę dolarów tygodniowo kończącą się znacznikiem czasu każdego rzędu. Początkowo patrzył

6Ciepło

1Odpowiedz

Uruchamianie kodu uruchamiania Pythona po załadowaniu modułów

Pracuję z notebookami Jupyter i jądrami Python za pomocą SparkContext. Współpracownik napisał kod Pythona, który steruje zdarzeniami Sparka ze zdarzeniami ipykernel. Kiedy importujemy jego moduł z kom

5Ciepło

1Odpowiedz

Pivot wiele kolumn - pyspark

Muszę obrócić więcej niż jedną kolumnę w ramce danych pyspark. dataframe próbka, >>> d = [(100,1,23,10),(100,2,45,11),(100,3,67,12),(100,4,78,13),(101,1,23,10),(101,2,45,13),(101,3,67,14),(101,4,78,15

6Ciepło

1Odpowiedz

Spark - jak pominąć lub zignorować puste pliki gzip podczas czytania

Mam kilkaset folderów z kilkoma tysiącami spakowanych plików tekstowych w s3 i próbuję je odczytać w ramce danych z spark.read.csv(). Wśród plików, istnieją pewne z zerowej długości, w wyniku błędu: j

5Ciepło

1Odpowiedz

Jak odczytać dane wyjściowe operatora show do zestawu danych?

Zakładając mamy następujący plik tekstowy (wyjście polecenia df.show()): +----+---------+--------+ |col1| col2| col3| +----+---------+--------+ | 1|pi number|3.141592| | 2| e number| 2.71828| +-

5Ciepło

1Odpowiedz

Błąd inicjalizacji SparkSession - Nie można użyć spark.read

Próbowałem utworzyć samodzielny program PySpark, który odczytuje csv i zapisuje go w tabeli ula. Mam problem z konfiguracją obiektów sesji, konferencji i kontekstów Spark. Tu jest mój kodu: from pyspa

7Ciepło

5Odpowiedz

Nie można uruchomić pyspark

Zainstalowałem Spark na Windowsie i nie mogę uruchomić pyspark. Po wpisaniu w c:\Spark\bin\pyspark, pojawia się następujący błąd: Python 3.6.0 |Anaconda custom (64-bit)| (default, Dec 23 2016, 11:57:4

7Ciepło

2Odpowiedz

Co dokładnie robi funkcja .select()?

wpadłem na zaskakującą zachowań podczas korzystania .select(): >>> my_df.show() +---+---+---+ | a| b| c| +---+---+---+ | 1| 3| 5| | 2| 4| 6| +---+---+---+ >>> a_c = s_df.select(col("a"), col("

6Ciepło

1Odpowiedz

importowany przez użytkownika moduł pyspark lub pliki .py

Zbudowałem numer python module i chcę go zaimportować do aplikacji Pyspark. Moja struktura katalogów jest pakiet: wesam/ |-- data.py `-- __init__.py Prosty import wesam na szczycie mojego skryptu