Szkolenie sieci neuronowej ze zbrojeniem uczącym się

Question

Znam podstawy sieci neuronowych sprzężenia zwrotnego i jak je trenować z wykorzystaniem algorytmu wstecznej propagacji, ale szukam algorytmu, którego nie będę mógł użyć do szkolenia SSN z uczeniem się wzmacniania.

Na przykład problem cart pole swing up należy rozwiązać za pomocą SSN. W takim przypadku nie wiem, co należy zrobić, aby kontrolować wahadło, wiem tylko, jak blisko jestem do idealnej pozycji. Muszę nauczyć się SSN w oparciu o nagrodę i karę. W związku z tym nadzorowane uczenie się nie wchodzi w grę.

Inna sytuacja jest podobna do snake game, w której sprzężenie zwrotne jest opóźnione i ogranicza się do celów i celów, a nie do nagrody.

Potrafię wymyślić pewne algorytmy dla pierwszej sytuacji, takie jak wspinaczka górska czy algorytmy genetyczne, ale domyślam się, że obie będą wolne. Mogą również mieć zastosowanie w drugim scenariuszu, ale niesamowicie wolno i nie sprzyjają nauce online.

Moje pytanie jest proste: Czy istnieje prosty algorytm szkolenia sztucznej sieci neuronowej z uczeniem się wzmacniania? Interesują mnie głównie sytuacje nagród w czasie rzeczywistym, ale jeśli algorytm dla sytuacji opartych na celach jest dostępny, jeszcze lepiej.

Answer 1

Istnieją pewne prace naukowe na ten temat:

• Efficient Reinforcement Learning Through Evolving Neural Network Topologies (2002)
• Reinforcement Learning Using Neural Networks, with Applications to Motor Control
• Reinforcement Learning Neural Network To The Problem Of Autonomous Mobile Robot Obstacle Avoidance

a niektóre kod:

• Code examples do uczenia się wzmacniania sieci neuronowych.

To tylko niektóre z najlepszych wyników wyszukiwania w serwisie Google na ten temat. Pierwsze dwie gazety wyglądają całkiem nieźle, chociaż nie czytałem ich osobiście. Myślę, że znajdziesz jeszcze więcej informacji na temat sieci neuronowych z uczeniem się przez wzmocnienie, jeśli przeprowadzisz szybkie wyszukiwanie w Google Scholar.

Answer 2

Jeśli dane wyjściowe prowadzące do nagrody r są ponownie przesyłane do sieci r razy, wzmocnisz sieć proporcjonalnie do nagrody. Nie ma to bezpośredniego zastosowania do negatywnych nagród, ale mogę wymyślić dwa rozwiązania, które dadzą różne efekty:

1) Jeśli posiadasz zestaw nagród w zakresie rmin-rmax, zmień ich na 0-(rmax-rmin), tak aby były wszystkie nieujemne. Im większa nagroda, tym silniejsze wzmocnienie, które jest tworzone.

2) Aby uzyskać ujemną nagrodę -r, należy przyjąć losową wartość wyjściową r razy, o ile różni się ona od tej, która prowadzi do ujemnej nagrody. To nie tylko wzmocni pożądane wyniki, ale także rozproszy lub pozwoli uniknąć złych wyników.