Błąd "Brak miejsca na urządzeniu" podczas dopasowywania modelu Sklearn

Question

Dopasowuję model LDA z dużą ilością danych za pomocą scikit-learn. Istotne kawałek kodu wygląda następująco:

lda = LatentDirichletAllocation(n_topics = n_topics, 
           max_iter = iters, 
           learning_method = 'online', 
           learning_offset = offset, 
           random_state = 0, 
           evaluate_every = 5, 
           n_jobs = 3, 
           verbose = 0) 
lda.fit(X) 

(Chyba tylko możliwie szczegółowo istotne jest to, że używam wielu zadań.)

Po jakiś czas dostaję „Brak miejsca na urządzeniu "błąd, mimo że jest dużo miejsca na dysku i mnóstwo wolnej pamięci. Próbowałem tego samego kodu kilka razy, na dwóch różnych komputerach (na moim komputerze lokalnym i na zdalnym serwerze), najpierw za pomocą python3, a następnie za pomocą python2 i za każdym razem kończyłem z tym samym błędem.

Jeśli uruchomię ten sam kod na mniejszej próbce danych, wszystko działa poprawnie.

Cały ślad stosu:

Failed to save <type 'numpy.ndarray'> to .npy file: 
Traceback (most recent call last): 
    File "/home/ubuntu/anaconda2/lib/python2.7/site-packages/sklearn/externals/joblib/numpy_pickle.py", line 271, in save 
    obj, filename = self._write_array(obj, filename) 
    File "/home/ubuntu/anaconda2/lib/python2.7/site-packages/sklearn/externals/joblib/numpy_pickle.py", line 231, in _write_array 
    self.np.save(filename, array) 
    File "/home/ubuntu/anaconda2/lib/python2.7/site-packages/numpy/lib/npyio.py", line 491, in save 
    pickle_kwargs=pickle_kwargs) 
    File "/home/ubuntu/anaconda2/lib/python2.7/site-packages/numpy/lib/format.py", line 584, in write_array 
    array.tofile(fp) 
IOError: 275500 requested and 210934 written 


IOErrorTraceback (most recent call last) 
<ipython-input-7-6af7e7c9845f> in <module>() 
     7         n_jobs = 3, 
     8         verbose = 0) 
----> 9 lda.fit(X) 

/home/ubuntu/anaconda2/lib/python2.7/site-packages/sklearn/decomposition/online_lda.pyc in fit(self, X, y) 
    509      for idx_slice in gen_batches(n_samples, batch_size): 
    510       self._em_step(X[idx_slice, :], total_samples=n_samples, 
--> 511          batch_update=False, parallel=parallel) 
    512     else: 
    513      # batch update 

/home/ubuntu/anaconda2/lib/python2.7/site-packages/sklearn/decomposition/online_lda.pyc in _em_step(self, X, total_samples, batch_update, parallel) 
    403   # E-step 
    404   _, suff_stats = self._e_step(X, cal_sstats=True, random_init=True, 
--> 405          parallel=parallel) 
    406 
    407   # M-step 

/home/ubuntu/anaconda2/lib/python2.7/site-packages/sklearn/decomposition/online_lda.pyc in _e_step(self, X, cal_sstats, random_init, parallel) 
    356            self.mean_change_tol, cal_sstats, 
    357            random_state) 
--> 358    for idx_slice in gen_even_slices(X.shape[0], n_jobs)) 
    359 
    360   # merge result 

/home/ubuntu/anaconda2/lib/python2.7/site-packages/sklearn/externals/joblib/parallel.pyc in __call__(self, iterable) 
    808     # consumption. 
    809     self._iterating = False 
--> 810    self.retrieve() 
    811    # Make sure that we get a last message telling us we are done 
    812    elapsed_time = time.time() - self._start_time 

/home/ubuntu/anaconda2/lib/python2.7/site-packages/sklearn/externals/joblib/parallel.pyc in retrieve(self) 
    725     job = self._jobs.pop(0) 
    726    try: 
--> 727     self._output.extend(job.get()) 
    728    except tuple(self.exceptions) as exception: 
    729     # Stop dispatching any new job in the async callback thread 

/home/ubuntu/anaconda2/lib/python2.7/multiprocessing/pool.pyc in get(self, timeout) 
    565    return self._value 
    566   else: 
--> 567    raise self._value 
    568 
    569  def _set(self, i, obj): 

IOError: [Errno 28] No space left on device 

Answer 1

miał ten sam problem z LatentDirichletAllocation. Wygląda na to, że kończy Ci się pamięć wspólna (/dev/shm po uruchomieniu df -h). Spróbuj ustawić zmienną środowiskową JOBLIB_TEMP_FOLDER na coś innego: np. Na /tmp. W moim przypadku rozwiązał problem.

Lub po prostu zwiększ rozmiar pamięci współdzielonej, jeśli masz odpowiednie uprawnienia do maszyny, na której trenujesz LDA.

Answer 2

Dzieje się tak, ponieważ ustawiono n_jobs = 3. Możesz ustawić go na 1, a pamięć współdzielona nie będzie używana, nawet jeśli nauka zajmie więcej czasu. Możesz wybrać katalog podręczny joblib zgodnie z powyższą odpowiedzią, ale pamiętaj, że ta pamięć podręczna może szybko zapełnić twój dysk, w zależności od zestawu danych? a transakcje na dyskach mogą spowolnić pracę.

Answer 3

Ten problem występuje, gdy pamięć współdzielona jest zużywana, a operacja I/O nie jest dozwolona. Jest to frustrujący problem, który występuje u większości użytkowników Kaggle podczas dopasowywania modeli uczenia maszynowego lub powiązanych zadań.

Przezwyciężyłem ten problem, ustawiając zmienną JOBLIB_TEMP_FOLDER za pomocą następującego kodu.

%env JOBLIB_TEMP_FOLDER=/tmp