apache-spark-ml

9Ciepło

1Odpowiedz

Jak uzyskać szczegółowe informacje o słowie z TF Vector RDD w Spark ML Lib?

Utworzyłem Term Frequency using HashingTF w Spark. Mam termin częstotliwości przy użyciu tf.transform dla każdego słowa. Jednak wyniki są wyświetlane w tym formacie. [<hashIndexofHashBucketofWord1>,<h

apache-spark apache-spark-mllib tf-idf apache-spark-ml 2015-08-29

---

13Ciepło

3Odpowiedz

Jak zapisywać modele z ML Pipeline na S3 lub HDFS?

Próbuję zapisać tysiące modeli wyprodukowanych przez ML Pipeline. Jak wskazano w odpowiedzi here, modele można zapisać następująco: import java.io._ def saveModel(name: String, model: PipelineModel)

java scala apache-spark apache-spark-mllib apache-spark-ml 2015-08-30

---

13Ciepło

1Odpowiedz

Jak scalić wiele wektorów cech w DataFrame?

Korzystanie zapłonowe ML transformatory Pojawił się DataFrame gdzie każdy rząd wygląda następująco: Row(object_id, text_features_vector, color_features, type_features) gdzie text_features jest rzadk

apache-spark machine-learning apache-spark-sql apache-spark-ml 2015-10-22

---

10Ciepło

1Odpowiedz

Buforowanie pośrednie wyniki w rurociągu Spark ML

Ostatnio mam zamiar przenieść mój samodzielny kod Pythona ML do iskry. Pipeline ML w spark.ml okazuje się całkiem przydatny, z usprawnionym interfejsem API do łączenia etapów algorytmu i przeszukiwani

apache-spark apache-spark-ml 2015-09-14

---