Dovoľujeme si oznámiť, že dňa
25. 6. 2009 o 9:00
sa bude konať na Fakulte informatiky a informačných technológií STU v Bratislave
v miestnosti D 220 obhajoba dizertačnej práce
Ing. Petra Trebatického
Názov dizertačnej práce:
Predikcia dynamických systémov rekurentnými neurónovými sieťami
Odbor: 9.2.8 Umelá inteligencia
Školiteľ: prof. RNDr. Jiří Pospíchal, DrSc., Fakulta informatiky a informačných technológií STU v Bratislave
Oponenti dizertačnej práce:
prof. Ing. Daniela Ďuračková, CSc., Fakulta elektrotechniky a informatiky STU v Bratislave
doc. Ing. Igor Farkaš, PhD., Fakulta matematiky, fyziky a informatiky UK v Bratislave
Abstrakt:
Rekurentné neurónové siete pri predikcii časových radov vo všeobecnosti dosahujú lepšie výsledky ako dopredné siete. Alternatívou k nim sa ukazujú byť neurónové siete s echo stavmi. Na úlohe korekcie poškodeného textu som ukázal, že dosahujú mierne lepšie výsledky ako už známa metóda s použitím Markovovského modelu. Väčšia časť práce je zameraná na alternatívy trénovania rekurentných neurónových sietí založené na modifikácii Kalmanovej filtrácie. Podrobne popisujem trénovanie pomocou filtrov: rozšírený Kalmanov filter, „Unscented“ Kalmanov filter (UKF), nprKF filter a ich zdieľané verzie UKFj a nprKFj. Filter UKFj bol v kontexte rekurentných neurónových sietí popísaný pravdepodobne prvý krát v mojej práci. Prínosom tejto práce je uvedenie jednoduchších rovníc jednotlivých filtrov, nakoľko sú upravené čisto pre účely trénovania rekurentných sietí. Porovnávam jednotlivé filtre navzájom a s gradientovou metódou Skrátené spätné šírenie chýb v čase (BPTT(h)). Ukazujem, že výsledky rekurentných neurónových sietí trénovaných týmito pokročilými metódami sú konzistentne lepšie v porovnaní s BPTT(h). Podobne rozšírený Kalmanov filter dosahuje horšie výsledky oproti ostatným spomínaným filtrom, ktoré zase dosahujú navzájom porovnateľné výsledky. V práci popisujem, akým spôsobom možno urýchliť ich výpočet prostredníctvom grafickej karty. Moja práca je jedna z prvých (ak nie prvá) zaoberajúca sa trénovaním rekurentných neurónových sietí s využitím procesora na grafických kartách.
Recurrent neural networks in general achieve better results in prediction of time series then feedforward networks. Echo state neural networks seem to be one alternative to them. I have shown on the task of text correction, that they achieve slightly better results compared to already known method based on Markovov model. The major part of this work is focused on alternatives to recurrent neural networks training that are based on Kalman filtration modifications. I describe in detail the training by filters: Extended Kalman Filter, Unscented Kalman Filter (UKF), nprKF Filter and their joint versions UKFj and nprKFj. Filter UKFj in context of recurrent neural networks was probably firstly described in my work. Contribution of this work is presentation of simpler equations for individual filters, because they are modified specifically for recurrent neural network training. I compare individual filters with each other and also with gradient descent method Truncated Backpropagation Through Time (BPTT(h)). I show the results are consistently better when comparing recurrent neural networks trained by these advanced methods with BPTT(h). In the like manner, Extended Kalman Filter achieves worse results compared to the other filters, which on the other hand achieve comparable results with each other. I describe how to speed up their computation by utilizing the graphics card. My work is one of the first (if not the first) that focuses on recurrent neural network training utilizing the processor on graphics card.
Dizertačná práca je k nahliadnutiu na Študijnom oddelení FIIT STU.