Nie mogę zrozumieć następującego kodu w the Deep MNIST for Experts tutorial.keep_prob w tutorialu TensorFlow MNIST
train_step.run(feed_dict={x: batch[0], y_: batch[1], keep_prob: 0.5})
Jaki jest cel keep_prob: 0.5 gdy uruchomiony train_step?
Wartość keep_prob służy do kontroli dropout rate używanej podczas treningu sieci neuronowej. Zasadniczo oznacza to, że każde połączenie między warstwami (w tym przypadku między ostatnią gęsto połączoną warstwą a warstwą odczytu) będzie używane tylko z prawdopodobieństwem 0.5 podczas treningu. To zmniejsza przeuczenie. Aby uzyskać więcej informacji na temat teorii rezygnacji, można zobaczyć oryginalny paper by Srivastava et al. Aby zobaczyć, jak go używać w TensorFlow, zobacz dokumentację operatora tf.nn.dropout().
Wartość jest podawana za pomocą symbolu zastępczego, aby można było użyć tego samego wykresu do szkolenia (z keep_prob = 0.5) i oceny (z keep_prob = 1.0). Alternatywnym sposobem radzenia sobie z tymi przypadkami jest budowanie różnych wykresów dla szkoleń i ewaluacji: popatrz na użycie przerywania w bieżącym modelu convolutional.py dla przykładu.
Dziękuję bardzo :-) –