Jak obliczyć wejście i wyjście wentylatora w inicjalizacji Xaviera dla sieci neuronowych?

Question

Odmiany, które znalazłem w inicjalizacji Xaviera dla wag w sieci neuronowej, wszystkie wspominają o wentylator-w i -fan-out; czy mógłbyś powiedzieć, jak obliczane są te dwa parametry? W szczególności dla tych dwóch przykładów:

1) inicjalizacja wag warstwy splotowej z filtrem kształtu [5, 5, 3, 6] (szerokość, wysokość, głębokość wejściowa, głębokość wyjściowa);

2) inicjowanie wag całkowicie połączonej warstwy o kształcie [400, 120] (tj. Odwzorowanie 400 zmiennych wejściowych na 120 zmiennych wyjściowych).

Dzięki!

Answer 1

mi się, że wentylator i z splotowego warstwy są zdefiniowane jako:

fan_in = n_feature_maps_in * receptive_field_height * receptive_field_width 
fan_out = n_feature_maps_out * receptive_field_height * receptive_field_width/max_pool_area 

gdzie receptive_field_height i receptive_field_width odpowiadają warstwy conv pod uwagę i max_pool_area jest iloczyn wysokości i szerokość maksymalnego łączenia po warstwie splotu.

Proszę mnie poprawić, jeśli się mylę.

Źródło: deeplearning.net