Dovoľujeme si oznámiť, že dňa
23. 2. 2007 o 11.00 hod.
sa uskutoční na Fakulte informatiky a informačných technológií STU v Bratislave
v miestnosti D 220 obhajoba dizertačnej práce
Ing. Michala Čerňanského
Názov dizertačnej práce:
Porovnanie rekurentných neurónových sietí s Markovovými modelmi na kompexných postupnostiach symbolov
Odbor: 25-11-900 Aplikovaná informatika
Školiteľ: doc. RNDr. Ľubica Beňušková, PhD., Fakulta matematiky, fyziky a informatiky, UK v Bratislave
Oponenti dizertačnej práce:
prof. Ing. Peter Sinčák, PhD., Fakulta elektrotechniky a informatiky TU v Košiciach
prof. RNDr. Jiří Pospíchal, DrSc., Fakulta informatiky a informačných technológií STU v Bratislave
Ing. Igor Farkaš, PhD., Fakulta matematiky, fyziky a informatiky, UK v Bratislave
Abstrakt:
Rekurentné neurónové siete môžu byť úspešne použité na spracovanie štruktúrovaných dát, akými sú napr. postupnosti, stromy či grafy. V praxi je ale ťažké natrénovať sieť na riešenie konkrétnej úlohy. Náročná aplikácia adaptačných algoritmov, ako aj ťažké pochopenie vnútornej dynamiky siete, majú za následok, že sa rekurentné neurónové siete nestali bežne používanými a akceptovanými výpočtovými prostriedkami. Nedávno sa do pozornosti dostali neurónové modely s kontraktívnou dynamikou založenou na bodových atraktoroch. Niekoľko autorov poukázalo na užitočnú reprezentáciu histórie symbolov aj v nenatrénovanej rekurentnej sieti.
V dizertačnej práci je vysvetlené správanie nenatrénovanej rekurentnej siete na základe fenoménu nazvaného markovovský architekturálny bias. Práca ďalej opisuje modely využívajúce túto vlastnosť, a to aj nový model tzv. neurónových sietí s echo stavmi. Práca vysvetľuje, akým spôsobom môže byť história symbolov vstupujúcich do siete využitá podobným spôsobom ako v Markovových modeloch. Tiež je poukázané na vzťah medzi rekuren-tnými sieťami a Markovovými modelmi s premenlivou dĺžkou pamäti.
Teória je podporená veľkým počtom experimentov. Rôzne trénovacie algoritmy a rôzne architektúry sú porovnané na úlohách predikcie nasledujúceho symbolu v rôznych postupnostiach symbolov. Pokročilé trénovacie algoritmy založené na Kalmanovej filtrácií zvyčajne prekonajú bežné trénovacie algoritmy aj pri úlohách spracovania symbolov. Na druhej strane veľa výsledkov získaných pomocou pokročilého a náročného procesu trénovania môže byť spôsobených markovovským architekturálnym biasom, ktorý sa prejavuje aj v nenatrénovaných rekurentných neurónových sieťach.
Recurrent neural networks can be used for processing structured data such as sequences, trees or graphs. In practice it is often difficult to train the network to an actual task. Problems with training algorithms and lack of understanding of the inner dynamics have prevented recurrent networks to be widespread and generally accepted computing devices. Recently a lot of attention was devoted to the neural models with contractive dynamics based on fixed point attractors. It has been proposed by several authors that even the untrained recurrent neural network can be the source of useful representation of history of symbols.
In this thesis, the behavior of an untrained, randomly initialized recurrent neural network is studied and the phenomenon called Markovian architectural bias is explained. Models based on this property are then described including the novel echo state network. The thesis demonstrates that the history of symbols presented to the network is exploited similarly as in Markov models and the correspondence between them and variable length Markov models is shown.
Theory is supported by large number of experiments. Different training approaches and different architectures are compared on tasks of the next symbol prediction using different complex symbolic sequences. Advanced training approaches based on the Kalman filtration often outperform standard training algorithms also when processing symbolic sequences. On the other hand many results achieved with advanced and thorough training process can be often attributed to the Markovian bias present also in untrained networks.
Dizertačná práca je k nahliadnutiu na Študijnom oddelení FIIT STU.