pyspark

5Ciepło

1Odpowiedz

Import modułu importującego PySpark

W ciągu ostatnich kilku dni pracowałem nad próbą zrozumienia, w jaki sposób executory Spark wiedzą, jak używać modułu po danej nazwie podczas importowania. Pracuję nad AWS EMR. Sytuacja: zainicjować p

python apache-spark pyspark 2016-08-08

---

7Ciepło

1Odpowiedz

Jak przekonwertować funkcje ML VectorUDT z .mllib na .ml typ

Prosty przykład użycia miotacza pySpark ML w wersji 2.0.0 do prostego regresu liniowego. Pojawia się błąd w nowej bibliotece ML. Kod jest: from pyspark.sql import SQLContext sqlContext =SQLContext(sc

machine-learning pyspark 2016-08-11

---

9Ciepło

1Odpowiedz

„rozwiązany atrybut (s) missing” podczas wykonywania przyłączenia na pySpark

Mam następujące dwa pySpark dataframe: > df_lag_pre.columns ['date','sku','name','country','ccy_code','quantity','usd_price','usd_lag','lag_quantity'] > df_unmatched.columns ['alt_sku', 'alt_lag_q

apache-spark pyspark spark-dataframe 2016-10-15

---

15Ciepło

1Odpowiedz

Podziałowa kolumna łańcucha danych Datastrame na wiele kolumn

Widziałem różne osoby sugerujące, że Dataframe.explode jest przydatnym sposobem, aby to zrobić, ale powoduje to więcej wierszy niż oryginalna ramka danych, co nie jest tym, czego w ogóle chcę. Ja po p

apache-spark pyspark apache-spark-sql spark-dataframe pyspark-sql 2016-08-30

---

14Ciepło

1Odpowiedz

AttributeError: obiekt „DataFrame” nie ma atrybutu „mapy”

chciałem przekonwertować ramkę danych iskra, aby dodać za pomocą poniższego kodu: from pyspark.mllib.clustering import KMeans spark_df = sqlContext.createDataFrame(pandas_df) rdd = spark_df.map(lamb

python apache-spark pyspark spark-dataframe apache-spark-mllib 2016-09-16

---

5Ciepło

1Odpowiedz

Jak zdobyć liczbę pracowników (executorów) w PySpark?

Potrzebuję użyć tego parametru, więc jak mogę uzyskać liczbę pracowników? Podobnie jak w Scala, mogę zadzwonić pod numer sc.getExecutorMemoryStatus, aby uzyskać dostępną liczbę pracowników. Ale w PySp

scala apache-spark pyspark 2016-07-29

---

6Ciepło

1Odpowiedz

Jak uzyskać dostęp do elementu kolumny VectorUDT w Spark DataFrame?

Mam ramkę danych df z kolumną VectorUDT o nazwie features. Jak uzyskać element kolumny, powiedzmy pierwszy element? Próbowałem robić następujące from pyspark.sql.functions import udf first_elem_udf =

apache-spark pyspark apache-spark-sql spark-dataframe apache-spark-ml 2016-09-18

---

8Ciepło

1Odpowiedz

Problemy z iskrami z importowaniem w języku Python

Uruchamiamy polecenie z przesłaniem iskry na skrypcie Pythona, który używa Sparka do równoległego wykrywania obiektów w Pythonie za pomocą Caffe. Sam skrypt działa idealnie dobrze, jeśli jest uruchami

python apache-spark pyspark caffe pycaffe 2016-10-03

---

7Ciepło

1Odpowiedz

Jak przekonwertować ArrayType na DenseVector w PySpark DataFrame?

Dostaję następujący błąd próbując zbudować ML Pipeline: pyspark.sql.utils.IllegalArgumentException: 'requirement failed: Column features must be of type [email protected] but was actually ArrayType(Do

python apache-spark pyspark apache-spark-mllib apache-spark-ml 2016-08-18

---

5Ciepło

1Odpowiedz

Spark: equivelant z zipwithindex w dataframe

Zakładając Mam następujący dataframe: dummy_data = [('a',1),('b',25),('c',3),('d',8),('e',1)] df = sc.parallelize(dummy_data).toDF(['letter','number']) i chcę utworzyć następujący dataframe: [('a',

python apache-spark pyspark spark-dataframe 2016-08-20

---