Spark MLlib - szkolenie filtrowanie współpracy z niejawny informacji zwrotnej - dziwne ostrzeżenia

Question

Staram się budować Collaborative filtering modelu na rozkaz użytkownika i coraz kilka użytecznych wyników z ALS.train() ale chciałbym spróbować ALS.trianImplicit() ale trianImplicit() jest przewidywanie tylko zer na tym samym zbiorze danych, które ASL.train() Otrzymałem przyzwoite prognozy.

Podczas korzystania ALS.trianImplicit() trenować model był otrzymuję następujące ostrzeżenia:

15/09/01 15:39:29 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS 
15/09/01 15:39:29 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS 

Czy to wskazywać, że był to błąd a nie ostrzeżenia i model po prostu nie mógł trenować z powodu czegoś brakuje bibliotek?

Answer 1

As @eliasah wskazał, że te ostrzeżenia są niekrytyczne, ale mogą spowolnić działanie. Korzystanie z natywnego BLAS może spowodować znaczną poprawę wydajności. Istnieją pewne instrukcje na temat konfiguracji Spark + BLAS na EC2 na stronie https://github.com/amplab/ml-matrix/blob/master/EC2.md.

Jeśli klaster działa Ubuntu można zainstalować następujące pakiety:

libblas3gf 
libblas-doc 
libblas-dev 

liblapack3gf 
liblapack-doc 
liblapack-dev 

Jednak niektórzy ludzie zgłoszone lepszą wydajność z użyciem http://www.openblas.net/ więc można spróbować zainstalować że na swoich pracowników. Będziesz także musiał dołączyć do swojej aplikacji com.github.fommil.netlib (Spark używa obecnie wersji 1.1.2).