Czy musimy skalować dane wejściowe dla sieci neuronowej? Jak wpływa na ostateczne rozwiązanie sieci neuronowej?skalowanie danych wejściowych do sieci neuronowej
Próbowałem znaleźć pewne wiarygodne źródła na ten temat. Książka "elementy uczenia się statystycznego" (str. 400) mówi, że pomoże to w dobraniu rozsądnych początkowych losowych ciężarów.
Czy ostateczne wagi nie są deterministyczne, niezależnie od początkowych losowych wag, których używamy?
Dziękuję.
Po pierwsze, istnieje wiele rodzajów ANN, założę się, że mówimy o najprostszym - perceptronie wielowarstwowym z backpropagation.
Po drugie, w pytaniu mieszamy skalowanie danych (normalizacja) i inicjalizację wagi.
Musisz losowo zainicjować odważników, aby uniknąć symetrii podczas nauki (jeśli wszystkie wagi są początkowo takie same, ich aktualizacja będzie również taka sama). Ogólnie rzecz biorąc, konkretne wartości nie mają znaczenia, ale zbyt duże wartości mogą powodować wolniejszą konwergencję.
Nie jesteś wymagane znormalizować swoje dane, ale normalizacja może uczynić proces uczenia się szybciej. Aby uzyskać więcej informacji, patrz this question.