pyspark

13Ciepło

3Odpowiedz

Spark DataFrame groupBy i sortuj w porządku malejącym (pyspark)

Używam pyspark (Python 2.7.9/Spark 1.3.1) i mam ramkę danych GroupObject, którą muszę przefiltrować w porządku malejącym według sortowania &. Próbuje to osiągnąć za pomocą tego kawałka kodu. group_by_

python apache-spark pyspark spark-dataframe 2015-12-29

---

6Ciepło

4Odpowiedz

Jak utworzyć pustą ramkę DataFrame? Dlaczego "ValueError: RDD jest pusty"?

Próbuję utworzyć pustą ramkę danych w Spark (Pyspark). Używam podobnego podejścia do omawianego tutaj enter link description here, ale to nie działa. To jest mój kod df = sqlContext.createDataFrame(sc

apache-spark pyspark 2016-01-06

---

7Ciepło

1Odpowiedz

Wiele aplikacji zapłonowe z HiveContext

posiadającej dwa oddzielne wnioski pyspark że instancji HiveContext zamiast SQLContext pozwala jednym z dwóch aplikacji niepowodzeniem z błędem: Exception: ("You must build Spark with Hive. Export 'SP

apache-spark hive pyspark 2016-01-10

---

13Ciepło

1Odpowiedz

Broadcast słownikiem do RDD w PySpark

jestem po prostu coraz zawiesić Spark, i mam funkcji, które muszą być odwzorowane na rdd, ale używa globalnego słownika: from pyspark import SparkContext sc = SparkContext('local[*]', 'pyspark') m

apache-spark pyspark 2016-01-13

---

7Ciepło

2Odpowiedz

Pyspark DataFrame UDF na kolumnie tekstu

Próbuję zrobić trochę tekstu NLP wyczyścić niektóre kolumny Unicode w DataFrame PySpark. Próbowałem już w Spark 1.3, 1.5 i 1.6 i nie mogę sprawić, żeby rzeczy działały w moim życiu. Próbowałem również

python apache-spark pyspark apache-spark-sql pyspark-sql 2016-01-15

---

10Ciepło

2Odpowiedz

Jak przekonwertować Spark RDD na pandasową ramkę danych w ipython?

Mam RDD i chcę go przekonwertować na pandasdataframe. Wiem, że do konwersji i RDD do normalnego dataframe możemy zrobić df = rdd1.toDF() Ale chcę przekonwertować RDD do pandasdataframe a nie normaln

python pandas ipython pyspark rdd 2016-01-15

---

6Ciepło

1Odpowiedz

Zapisywanie RDD do wielu plików w PySpark

Mam rdd, który zawiera pary wartości kluczy. Są tylko 3 klucze i chciałbym napisać wszystkie elementy dla danego klucza do pliku tekstowego. Obecnie robię to w 3 przejściach, ale chciałem zobaczyć, cz

python apache-spark pyspark 2016-01-18

---

7Ciepło

2Odpowiedz

Grupowa iskierna data według daty

Załadowałem DataFrame z tabeli SQLServer. Wygląda to tak: >>> df.show() +--------------------+----------+ | timestamp| Value | +--------------------+----------+ |2015-12-02 00:10:...| 652.8| |

python apache-spark pyspark apache-spark-sql 2016-01-22

---

6Ciepło

1Odpowiedz

Numpy i statyczne łączenie

Używam programów Spark na dużym klastrze (dla którego nie mam uprawnień administracyjnych). numpy nie jest zainstalowany na węzłach roboczych. Stąd ja pakiecie numpy z moim programem, ale pojawia się

python numpy apache-spark pyspark 2015-12-19

---

7Ciepło

1Odpowiedz

Spark __getnewargs__ error

Próbuję wyczyścić Spark DataFrame, mapując go na RDD, a następnie z powrotem do DataFrame. Oto przykład zabawki: def replace_values(row,sub_rules): d = row.asDict() for col,old_val,new_val i

python apache-spark pyspark 2015-12-23

---