apache-spark-mllib

5Ciepło

2Odpowiedz

Regresja liniowa Splin MlLib (Liniowe najmniejsze kwadraty) dająca losowe wyniki

Jestem nowy w uczeniu się iskier i uczenia maszynowego w ogóle. Śledzę z sukcesem kilka tutoriali Mllib, nie mogę dostać ten jeden robocza: Znalazłem przykładowy kod tutaj: https://spark.apache.org/do

15Ciepło

2Odpowiedz

Różnica między org.apache.spark.ml.classification i org.apache.spark.mllib.classification

Piszę aplikację iskry i chciałbym użyć algorytmów w MLlib. W dokumencie API znalazłem dwie różne klasy dla tego samego algorytmu. Na przykład istnieje jeden LogisticRegression w org.apache.spark.ml.cl

13Ciepło

2Odpowiedz

Jak zaktualizować Spark MatrixFactorizationModel dla ALS

Tworzę prosty system rekomendacji dla MovieLens DB zainspirowany przez https://databricks-training.s3.amazonaws.com/movie-recommendation-with-mllib.html. Mam również problemy z jawnym szkoleniem, jak

6Ciepło

2Odpowiedz

Rzadki Wektor vs Gęsta Vector

Jak stworzyć SparseVector i gęsty Vector reprezentacji dla jeśli DenseVector jest: denseV = np.array([0., 3., 0., 4.]) Jaki będzie reprezentację Rzadki Vector?

5Ciepło

1Odpowiedz

Konwersja RDD do LabelledPoint

Jeśli mam RDD z około 500 kolumnami i 200 milionami wierszy, a RDD.columns.indexOf("target", 0) pokazuje Int = 77, która mówi mi, że moja docelowa zmienna zależna znajduje się w kolumnie numer 77. Ale

11Ciepło

1Odpowiedz

Co to jest pozycja w algorytmie uczenia maszyny ALS w Apache Spark Mllib

Chciałam wypróbować przykład algorytmu uczenia maszynowego ALS. I mój kod działa dobrze, jednak nie rozumiem parametru rank używanego w algorytmie. Mam następujący kod w Javie // Build the recommendat

14Ciepło

1Odpowiedz

Spark MLlib - ostrzeżenie trainImplicit

Ciągle widzę te ostrzeżenia przy stosowaniu trainImplicit: WARN TaskSetManager: Stage 246 contains a task of very large size (208 KB). The maximum recommended task size is 100 KB. I wtedy wielkość

11Ciepło

4Odpowiedz

Jak zintegrować Apache Spark z aplikacją internetową Spring MVC do interaktywnych sesji użytkownika

Próbuję zbudować system Movie Recommender za pomocą Apache Spark MLlib. Napisałem kod dla polecającego w java i jego działa poprawnie, gdy uruchamiam przy użyciu polecenia spark-submit. Moja uruchomić

6Ciepło

3Odpowiedz

iskra - jak mogę odzyskać parę przedmiotów po obliczeniu podobieństwa za pomocą RowMatrix

Napotkałem problem "podobieństwa wszystkich par" w moim systemie rekomendacji. Dzięki this databricks blog wygląda na to, że usługa RowMatrix może pomóc. Jednak RowMatrix to rodzaj macierzy bez znaczą

32Ciepło

3Odpowiedz

Jak utworzyć poprawną ramkę danych do klasyfikacji w Spark ML

Próbuję uruchomić losową klasyfikację lasu za pomocą Spark ML api, ale mam problemy z utworzeniem właściwego wejścia ramki danych do potoku. Oto przykładowe dane: age,hours_per_week,education,sex,sala