Dovoľujeme si oznámiť, že dňa
25. 6. 2009 o 10:15
sa bude konať na Fakulte informatiky a informačných technológií STU v Bratislave
v miestnosti D 220 obhajoba dizertačnej práce
Ing. Petra Lacka
Názov dizertačnej práce:
Emergencia stratégie hry v multiagentových systémoch
Odbor: 9.2.8 Umelá inteligencia
Školiteľ: prof. Ing. Vladimír Kvasnička, DrSc., Fakulta informatiky a informačných technológií STU v Bratislave
Oponenti dizertačnej práce:
prof. Ing. Peter Sinčák, PhD., Fakulta elektrotechniky a informatiky TU v Košiciach
prof. Ing. Vladimír Mokriš, CSc., Ústav informatiky SAV, Bratislava
Abstrakt:
V tejto dizertačnej práci sme sa zamerali na subsymbolický prístup k riešeniu hry. Pracovali sme na dvoch rozličných metódach učenia. Naším prvým cieľom bolo otestovať schopnosti klasických dopredných neurónových sietí a zmesi lokálnych expertných sietí. Odvodili sme algoritmus učenia s odmenou a trestom pre topológiu zmesi expertných neurónových sietí. Táto topológia je schopná rozdeliť riešený problém na podúlohy, ktoré sú potom expertné neurónové siete schopné riešiť lepšie. Porovnali sme kvalitu schopnosti vytvoriť stratégiu počas hrania párovej symetrickej hry medzi zmesou expertných sietí a TD(λ) pravidla. Experimenty ukazujú, že zmes expertov sa dokáže naučiť hrať hru na rovnakej úrovni ako neurónová sieť s rovnakým počtom váh. Druhý prístup odvodený v tejto práci je učenie s odmenou a trestom s použitím rozšíreného Kalmanovho filtra. Rozšírený Kalmanov filter sa dá použiť na trénovanie neurónových sietí. Jeho výhodou je veľká rýchlosť učenia z pohľadu počtu trénovacích cyklov. Navrhli sme úpravy rozšíreného Kalmanovho filtra na učenie s odmenou a trestom s metódou TD(0) a Monte Carlo. Porovnali sme rýchlosť a kvalitu schopnosti vytvoriť stratégiu počas hrania párovej symetrickej hry medzi upraveným rozšíreným Kalmanovým filtrom a TD(λ) pravidlom. Výsledky ukazujú, že rozšírený Kalmanov filter je schopný vytvoriť stratégiu na podstatne menšom počte odohraných hier.
In this thesis we focused on subsymbolic approach to machine game play problem. We worked on two different methods of learning. Our first goal was to test the ability of common feed-forward neural networks and the mixture of expert topology. We have derived reinforcement learning algorithm for mixture of expert network topology. This topology is capable to split the problem into smaller parts, which are easier to be solved by an expert neural network. We have compared the quality of strategy emergence between mixture of expert networks and feed-forward networks. Our experiments demonstrate that mixture of experts is able to play a game at the same level as feed-forward networks with equal number of weights. The second approach derived in this work is reinforcement learning with usage of extended Kalman filer. Extended Kalman filter can be used for neural network training. Its advantage is very high learning rate in terms of training cycles. We have proposed usage of extended Kalman filter for reinforcement learning with TD(0) and Monte Carlo method. We have compared the quality of strategy emergence between extended Kalman filter and TD(λ) approach. Our results show that extended Kalman filter is able to create a game strategy after playing a considerably fewer number of games.
Dizertačná práca je k nahliadnutiu na Študijnom oddelení FIIT STU.