apache-spark

6Ciepło

1Odpowiedz

Czy nadal musimy tworzyć słoiki do wysyłania zleceń w Spark 2.0.0?

W iskra 2.0.0 prasowa note, to mówi, że: Spark 2.0 nie wymaga tłuszczu słoik montażową do wdrożenia produkcyjnego. Czy to oznacza, że ​​nie musimy dokonać tłuszczu słoik już za złożenie oferty? Jeśli

apache-spark jar uberjar 2016-08-10

---

6Ciepło

1Odpowiedz

Spark 2.0.0 Arrays.asList nie działa - niekompatybilne typy

Poniższy kod działa ze Spark 1.5.2, ale nie ze Spark 2.0.0. Używam Java 1.8. final SparkConf sparkConf = new SparkConf(); sparkConf.setMaster("local[4]"); // Four threads final JavaSparkContext java

java apache-spark 2016-08-10

---

5Ciepło

1Odpowiedz

Wyjściowa nazwa pliku wyjściowego i dołączenie do zapisu

Wiem, że to pytanie zostało zadane wcześniej, ale nie mogę uzyskać jasnej działającej odpowiedzi. result.saveAsTextFile(path); przy użyciu iskry saveAsTextFile wyjście jest zapisany pod nazwą „part-

java azure hadoop apache-spark 2016-08-11

---

8Ciepło

3Odpowiedz

Reading JSON z Apache Spark - `corrupt_record`

Mam plik json, nodes, który wygląda tak: [{"toid":"osgb4000000031043205","point":[508180.748,195333.973],"index":1} ,{"toid":"osgb4000000031043206","point":[508163.122,195316.627],"index":2} ,{"toid

json scala apache-spark 2016-08-11

---

16Ciepło

2Odpowiedz

Całość zadania jest liczbą ujemną w Spark UI

Podczas korzystania spark-1.6.2 i pyspark, widziałem to: , gdzie można zobaczyć, że aktywne zadania są ujemny numer (różnicę The suma zadań z wykonanych zadań). Jakie jest źródło tego błędu? Węzeł że

python hadoop apache-spark distributed-computing bigdata 2016-08-15

---

5Ciepło

1Odpowiedz

Przędza robocza z iskrą nie działa z Javą 8

Mam klaster z 1 master i 6 slaves, który używa gotowej wersji hadoop 2.6.0 i iskry 1.6.2. Byłem uruchomiony MR MR i iskier pracy bez problemu z openjdk 7 zainstalowany na wszystkich węzłach. Jednak, g

hadoop apache-spark yarn 2016-08-17

---

7Ciepło

3Odpowiedz

spark.sql.crossJoin.enabled dla Spark 2.x

Używam "podglądu" Google DataProc Image 1.1 ze Spark 2.0.0. Aby wykonać jedną z moich operacji, muszę wypełnić produkt kartezjański. Od wersji 2.0.0 został utworzony parametr konfiguracyjny iskry (spa

apache-spark google-cloud-dataproc 2016-08-17

---

13Ciepło

1Odpowiedz

Definiowanie UDF, który akceptuje Array obiektów w Spark DataFrame?

Podczas pracy z DataFrames Sparka, funkcje zdefiniowane przez użytkownika (UDF) są wymagane do mapowania danych w kolumnach. UDF wymagają, aby typy argumentów były jawnie określone. W moim przypadku p

scala apache-spark dataframe spark-dataframe udf 2016-08-17

---

7Ciepło

1Odpowiedz

Jak przekonwertować ArrayType na DenseVector w PySpark DataFrame?

Dostaję następujący błąd próbując zbudować ML Pipeline: pyspark.sql.utils.IllegalArgumentException: 'requirement failed: Column features must be of type [email protected] but was actually ArrayType(Do

python apache-spark pyspark apache-spark-mllib apache-spark-ml 2016-08-18

---

5Ciepło

1Odpowiedz

Masowa migracja danych przez Spark SQL

Obecnie próbuję zbiorczo migrować zawartość bardzo dużej tabeli MySQL do pliku parkietu przez Spark SQL. Ale gdy tak się stanie, szybko zabraknie mi pamięci, nawet jeśli ustawię wyższy limit pamięci s

apache-spark apache-spark-sql spark-dataframe 2016-08-19

---