spark-dataframe

38Ciepło

6Odpowiedz

Łączenie kolumn w ramce informacyjnej iskry Apache

W jaki sposób łączymy 2 kolumny w ramce danych? Czy jest jakaś funkcja w iskrze sql, której możemy użyć do konkatowania 2 kolumn w tabeli df.

13Ciepło

1Odpowiedz

Spark sql Dataframe - import sqlContext.implicits._

mam główny, który tworzy kontekst zapłonową: val sc = new SparkContext(sparkConf) val sqlContext = new org.apache.spark.sql.SQLContext(sc) import sqlContext.implicits._ Następnie tworzy da

6Ciepło

1Odpowiedz

Jak określić brakującą wartość w ramce danych

Próbuję wczytać plik CSV do ramki danych Spark za pomocą programu spark-csv [1] przy użyciu notebooka Apache Zeppelin i podczas ładowania pola liczbowego, które nie ma wartości parser kończy się niepo

5Ciepło

1Odpowiedz

Konwersja RDD do LabelledPoint

Jeśli mam RDD z około 500 kolumnami i 200 milionami wierszy, a RDD.columns.indexOf("target", 0) pokazuje Int = 77, która mówi mi, że moja docelowa zmienna zależna znajduje się w kolumnie numer 77. Ale

9Ciepło

1Odpowiedz

ON DUPLICATE KEY UPDATE podczas wstawiania z ramki danych pyspark do tabeli zewnętrznej bazy danych za pośrednictwem JDBC

Używam PySpark i mam ramkę danych Spark, za pomocą której wstawiam dane do tabeli mysql. url = "jdbc:mysql://hostname/myDB?user=xyz&password=pwd" df.write.jdbc(url=url, table="myTable", mode="append")

7Ciepło

2Odpowiedz

Reading DataFrame z partycjonowanym pliku parkietu

Jak czytać partycje parkiet ze stanu jako dataframe, to działa prawidłowo, val dataframe = sqlContext.read.parquet("file:///home/msoproj/dev_data/dev_output/aln/partitions/data=jDD/year=2015/month=10/

15Ciepło

1Odpowiedz

Filtrowanie DataFrame przy użyciu długości kolumny

Chcę filtrować DataFrame przy użyciu warunku związanego z długością kolumny, to pytanie może być bardzo proste, ale nie znalazłem żadnego powiązanego pytania w SO. dokładniej, mam DataFrame tylko jede

6Ciepło

1Odpowiedz

Spark grupowanie danych grupowych na listę

Próbuję przeprowadzić analizę na zestawach. Mam przykładowy zestaw danych, który wygląda tak: orders.json {"items":[1,2,3,4,5]} {"items":[1,2,5]} {"items":[1,3,5]} {"items":[3,4,5]} Wszystko to j

8Ciepło

3Odpowiedz

Spark DataFrame InsertIntoJDBC - TableAlreadyExists Exception

Użycie Sparka 1.4.0, próbuję wstawić dane z Spark DataFrame do bazy danych MemSQL (która powinna być dokładnie taka jak interakcja z bazą danych MySQL) przy użyciu metody insertIntoJdbc(). Jednak wcią

5Ciepło

4Odpowiedz

Jak to jest możliwe, aby dodać nową kolumnę do istniejącej ramki danych w Spark SQL

Używam DataFrame API. Mam istniejącą ramkę DataFrame i obiekt listy (można również użyć tablicy). Jak można dodać tę listę do istniejącej DataFrame jako nowej kolumny? Czy powinienem używać do tego kl