Keras: różnica między LSTM widełek i LSTM nawrotu widełek

Question

Z dokumentacji Keras:

przerywania: pływający pomiędzy 0 i 1. część jednostek spadać do liniowej transformacji sygnałów wejściowych.

recurrent_dropout: Float między 0 a 1. Frakcja jednostek do upuść dla liniowej transformacji stanu powtarzalnego.

Czy ktoś może wskazać, gdzie na obrazku poniżej każdego wypadnięcia się dzieje?

Answer 1

Proponuję przyjrzeniu (pierwsza część) this paper. Na wejściach i/lub wyjściach stosuje się regularne wyłączanie, co oznacza pionowe strzałki od x_t i h_t. Dodajesz go jako argument do swojej warstwy, zamaskuje dane wejściowe; możesz dodać warstwę Przerwanie po warstwie cyklicznej, aby zamaskować również wyjścia. Powtarzające się maski zrzutu (lub "krople") połączenia między jednostkami rekurencyjnymi; to byłyby poziome strzały na twoim obrazie.

To zdjęcie pochodzi z powyższego artykułu. Po lewej stronie regularne opuszczanie wejść i wyjść. Z prawej strony, regularne przerywania PLUS charakterze powtarzającym przerywania:

(Ignoruj ​​kolor strzałki w tym przypadku, w dokumencie są one podejmowania dalszych punkt zachowaniu tych samych masek porzucających naukę na każdym kroku to)