apache-spark-mllib

7Ciepło

1Odpowiedz

SparkError: Całkowita wielkość odcinkach wyników zadań XXXX (2,0 GB) jest większy niż spark.driver.maxResultSize (2,0 GB)

błąd: ERROR TaskSetManager: Total size of serialized results of XXXX tasks (2.0 GB) is bigger than spark.driver.maxResultSize (2.0 GB) Cel: Uzyskanie rekomendacji dla wszystkich użytkowników za pomo

9Ciepło

1Odpowiedz

Jak uzyskać szczegółowe informacje o słowie z TF Vector RDD w Spark ML Lib?

Utworzyłem Term Frequency using HashingTF w Spark. Mam termin częstotliwości przy użyciu tf.transform dla każdego słowa. Jednak wyniki są wyświetlane w tym formacie. [<hashIndexofHashBucketofWord1>,<h

13Ciepło

3Odpowiedz

Jak zapisywać modele z ML Pipeline na S3 lub HDFS?

Próbuję zapisać tysiące modeli wyprodukowanych przez ML Pipeline. Jak wskazano w odpowiedzi here, modele można zapisać następująco: import java.io._ def saveModel(name: String, model: PipelineModel)

5Ciepło

1Odpowiedz

Spark MLlib - szkolenie filtrowanie współpracy z niejawny informacji zwrotnej - dziwne ostrzeżenia

Staram się budować Collaborative filtering modelu na rozkaz użytkownika i coraz kilka użytecznych wyników z ALS.train() ale chciałbym spróbować ALS.trianImplicit() ale trianImplicit() jest przewidywan

8Ciepło

1Odpowiedz

Dołącz metadane do kolumny wektorowej w Spark

Kontekst: Mam ramkę danych z dwiema kolumnami: etykietą i funkcjami. org.apache.spark.sql.DataFrame = [label: int, features: vector] Gdzie cechy jest mllib.linalg.VectorUDT typu numerycznego zbudowa

7Ciepło

1Odpowiedz

Stwórz etykietowane punkty ze Spark DataFrame w Pythonie

Jaką funkcję .map() w pythonie używam do utworzenia zestawu etykietedPoints z iskrowegowej ramki danych? Co to jest notacja, jeśli etykieta/wynik nie jest pierwszą kolumną, ale mogę odnieść się do jej

13Ciepło

1Odpowiedz

Spark MLlib LDA, jak wnioskować o rozkładzie tematów nowego niewidocznego dokumentu?

Jestem zainteresowany zastosowaniem modelu tematycznego LDA przy użyciu Spark MLlib. Sprawdziłem kod i objaśnienia w here, ale nie mogłem znaleźć sposobu użycia tego modelu, aby znaleźć dystrybucję te

12Ciepło

1Odpowiedz

Mnożenie macierzy w Apache Spark

Próbuję wykonać mnożenie macierzy za pomocą Apache Spark i Java. Mam 2 główne pytania: Jak stworzyć RDD, które mogą reprezentować matrycy w Apache Spark? Jak pomnożyć dwa takie RDD?

5Ciepło

1Odpowiedz

Spark, DataFrame: zastosować transformator/Estymator na grupach

Mam DataFrame że wygląda następująco: +-----------+-----+------------+ | userID|group| features| +-----------+-----+------------+ |12462563356| 1| [5.0,43.0]| |12462563701| 2| [1.0,8.0]| |124625

14Ciepło

5Odpowiedz

Jak wyodrębnić najlepsze parametry z CrossValidatorModel

Chcę znaleźć parametry ParamGridBuilder które sprawiają, że najlepszy model w CrossValidator w Spark 1.4.x, W Pipeline Example w dokumentacji Spark, dodają różne parametry (numFeatures, regParam) przy