Czym różni się warstwa "Lokalna" od warstwy "Gęsta" w splotowej sieci neuronowej? Próbuję zrozumieć kod CIFAR-10 w TensorFlow i widzę, że używa on warstw "lokalnych" zamiast zwykłych gęstych warstw. Czy istnieje klasa w TF, która obsługuje wdrażanie warstw "lokalnych"?Różnica między warstwami lokalnymi i gęstymi w CNN
Cytowanie z cuda-convnet:
lokalnie warstwę połączoną z niewspółdzielone ciężaru: Tego rodzaju warstwy jest jak splotowy warstwie, ale bez podziału ciężaru. Oznacza to, że inny zestaw filtrów jest stosowany w każdej lokalizacji (x, y) w obrazie wejściowym. Poza tym zachowuje się dokładnie jak warstwa splotowa.
W przykładzie TensorFlow CIFAR-10, chociaż obie warstwy są nazywane local3 i local4, są rzeczywiście w pełni połączone warstwy, a nie lokalnie połączone warstwy określone w cuda-convnet (widać, że wyjście z pool2 jest spłaszczony na wejściu warstwy local3).
Cytuję komentarzy user2576346 wynikających z pytaniem:
Jak rozumiem, albo powinno być gęsto połączone lub być splotowego warstwa ...
No nie jest to prawdą. Bardziej dokładnym sposobem na wyrażenie tego stwierdzenia byłoby, że warstwy są w pełni połączone (zwarte) lub lokalnie połączone.
Warstwa splotowa jest przykładem warstwy połączonej lokalnie. Ogólnie lokalnie połączona warstwa jest warstwą, w której każda z jej jednostek jest połączona tylko z lokalną częścią wejścia. Warstwa splotowa jest specjalnym rodzajem warstwy lokalnej, która wykazuje niezmienniczość translacji przestrzennej, ponieważ każdy splotowy detektor cech jest przebiegany przez cały obraz w lokalnych oknach recepcyjnych, np. o wielkości 3x3 lub 5x5 na przykład.
Być może gęsto połączony? To zwykła "w pełni połączona warstwa". Nie widzę żadnego odniesienia do warstwy "lokalnej" w https://tensorflow.googlesource.com/tensorflow/+/master/tensorflow/models/image/cifar10/cifar10.py –
Możesz znaleźć lokalne warstwy w CIFAR -10 przykładowy kod, w ramach samouczków. – user2576346
Samouczek mówi: "ĆWICZENIE: Modelowa architektura wnioskowania() różni się nieco od modelu CIFAR-10 określonego w cuda-convnet, w szczególności górne warstwy oryginalnego modelu Alexa są lokalnie połączone i nie są w pełni połączone. architektura dokładnie odwzorowuje lokalnie połączoną architekturę w najwyższej warstwie. " – dga