W Spark: MatrixFactorizationModel.scala „recommendProductsForUsers” funkcja zajmuje bardzo dużo czasu, aby zakończyć

Question

mam 9 węzłów klastra, a każdy węzeł posiada następujące konfiguracje,

Próbuję generowanie rekomendacji dla wszystkich użytkowników w MatrixFactorizationModel przy użyciu funkcji "recommendProductsForUsers". Wygląda na to, że ukończenie trwa bardzo długo (np. Przez 1 miesiąc danych zajmuje około 34 godzin). Czy to z powodu iteracji wielokrotnie na macierzy?

Jak zmniejszyć czas wykonania?

Są to moja konfiguracja zapłonie złożyć:

zapłonie złożyć --jars $ JAR_LOC --class com.collaborativefiltering.CustomerCollaborativeJob --driver pamięć 5G --num-wykonawców 7 - executor-core 2 --executor-memory 20G - master-client-client/cust-rec.jar --period 1miesiąc - out/ŚCIEŻKA - wersja 50 --numIntations 2 --lambda 0.25 --alpha 300 - -topK 20

Dziękuję bardzo z góry.

Answer 1

Znalazłem w MatrixFactorizationModel recommendProductsForUsers działa wiele iteracji, więc czas obliczeń jest wysoki. Po uruchomieniu moich zadań w chmurze przetestowałem to zadanie, zwiększając liczbę węzłów i wykonawców iskier. To faktycznie zadziałało! Udało mi się ukończyć tę pracę w ciągu 4 godzin.