Jak zalogować wyjście strat Keras do pliku

Question

Po uruchomieniu Keras model sieci neuronowej można zobaczyć coś takiego w konsoli:

Epoch 1/3 
    6/1000 [..............................] - ETA: 7994s - loss: 5111.7661 

miarę upływu czasu utraty nadzieją poprawia. Chcę z upływem czasu rejestrować te straty w pliku, aby móc się z nich uczyć. Próbowałem:

logging.basicConfig(filename='example.log', filemode='w', level=logging.DEBUG) 

ale to nie działa. Nie wiem, jakiego poziomu rejestrowania potrzebuję w tej sytuacji.

Próbowałem również za pomocą zwrotnego jak w:

def generate_train_batch(): 
    while 1: 
     for i in xrange(0,dset_X.shape[0],3): 
      yield dset_X[i:i+3,:,:,:],dset_y[i:i+3,:,:] 

class LossHistory(keras.callbacks.Callback): 
    def on_train_begin(self, logs={}): 
     self.losses = [] 

    def on_batch_end(self, batch, logs={}): 
     self.losses.append(logs.get('loss')) 
logloss=LossHistory() 
colorize.fit_generator(generate_train_batch(),samples_per_epoch=1000,nb_epoch=3,callbacks=['logloss']) 

ale oczywiście to nie jest pisanie do pliku. Bez względu na metodę, za pośrednictwem wywołania zwrotnego lub modułu rejestrowania lub cokolwiek innego, chciałbym usłyszeć swoje rozwiązania do rejestrowania utraty sieci neuronowej keras do pliku. Dzięki!

Answer 1

Istnieje proste rozwiązanie problemu. Za każdym razem, gdy używana jest jedna z metod fit - zwracana jest specjalna funkcja zwrotna o nazwie Historia oddzwonienia. Ma pole history, które jest słownikiem wszystkich metryk zarejestrowanych po każdej epoce. Więc listę wartości funkcji straty dostać po każdej epoce można w łatwy zrobić:

history_callback = model.fit(params...) 
loss_history = history_callback.history["loss"] 

Łatwo zapisać taką listę do pliku (na przykład poprzez przekształcenie go do numpy tablicy i korzystania savetxt metody).

UPDATE:

Spróbuj:

import numpy 
numpy_loss_history = numpy.array(loss_history) 
numpy.savetxt("loss_history.txt", numpy_loss_history, delimiter=",") 

UPDATE 2:

Rozwiązaniem problemu nagrywania stratę po każdej partii jest napisane w Keras Callbacks Documentation w Tworzenie paragraf.

Answer 2

można przekierować obiekt sys.stdout do pliku przed metody model.fit i przypisanie go do standardowej konsoli po metody model.fit następująco:

import sys 
oldStdout = sys.stdout 
file = open('logFile', 'w') 
sys.stdout = file 
model.fit(Xtrain, Ytrain) 
sys.stdout = oldStdout 

Answer 3

Stare pytanie, ale tu idzie. Wyjście historii Keras idealnie pasuje do danych wejściowych DataSet pandy.

Jeśli chcesz całą historię do pliku CSV w jednym wierszu: pandas.DataFrame(model.fit(...).history).to_csv("history.csv")

Cheers

Answer 4

Można użyć CSVLogger zwrotnego.

jak np

from keras.callbacks import CSVLogger 

csv_logger = CSVLogger('log.csv', append=True, separator=';') 
model.fit(X_train, Y_train, callbacks=[csv_logger]) 

Spójrz: Keras Callbacks