Dovoľujeme si oznámiť, že dňa
18. 5. 2018 o 12.30 hod.
sa uskutoční na Fakulte informatiky a informačných technológií STU v Bratislave
Ilkovičova 2, v miestnosti 5.08 obhajoba dizertačnej práce
Ing. Andreja Fogeltona
Názov dizertačnej práce:
Eye blink detection
Detekcia žmurkania
Odbor: 9.2.9 Aplikovaná informatika
Školiteľ: doc. Ing. Vanda Benešová, PhD. - FIIT STU v Bratislave
Oponenti dizertačnej práce:
prof. Ing. Jarmila Pavlovičová, PhD. - FEI STU v Bratislave
doc. RNDr. Elena Šikudová, PhD. - MFF UK Praha
Abstrakt:
Detekcia žmurkania má viaceré využitia. Medzi najbežnejšie patrí: interakcia hendikepovaného človeka s počítačom, monitorovanie syndrómu suchého oka a detekcia únavy. V práci analyzujeme existujúce riešenia s dôrazom na použiteľnosť. Zameriavame sa na metódy, ktoré vyhodnocujú žmurkanie v reálnom čase, fungujú dobre aj v podmienkach bežného sveta a vedia pracovať s bežnou kamerou. Vytvorili sme 2 nové databázy, ktoré patria k najväčším dostupným databázam. Navrhnutá anotácia obsahuje pozíciu tváre a očí, tak aby vyhodnocovanie nebolo ovplyvnené presnosťou metód detekcie tváre a očí. Navrhujeme evaluačnú procedúru, ktorá definuje detekované žmurknutie pomocou metriky prienik nad zjednotením. V práci prezentujeme 2 nové metódy, ktoré sa radia na základe dosiahnutých výsledkov k najlepším na svete. Prvá metóda využíva na detekciu žmurkania analýzu pohybových vektorov s využitím ich priemerného vektora a štandardnej odchýlky, ktoré sú vstupom stavového automatu. Pri druhej metóde vyhodnocujeme rôzne typy príznakov na vstupe Rekurentnej neurónovej siete (RNN). Najlepšie výsledky dosahuje kombinácia pohybových vektorov, časového rozdielu a orientácií gradientov. Táto metóda dosahuje najlepšie výsledky na najväčšej databáze Researcher's night. Uvádzame prvú metódu, ktorá kategorizuje žmurknutia na úplné a neúplné, čo je dôležité pri diagnostike a liečbe syndrómu suchého oka a dysfunkcii Meibonských žliaz. Zistili sme, že posunutie výstupu RNN nie len šetrí pamäť a procesorový čas, ale dosahuje o 5 % lepšie výsledky.
Eye blink detection has many uses, the most common are human computer interaction for disabled people, dry eye monitoring systems, and fatigue detection. In this thesis, we analyze state-of-the-art methods with emphasis on usability. We focus on real-time methods working in the real-world environment and using a common webcam. We introduce two new datasets which are the biggest datasets available. The proposed annotation contains face and eye corners position, so the eye blink detection performance is not influenced either by face or eye detection methods. An evaluation procedure defines True positives with intersection over union metric. Two state-of-the-art methods are introduced. The first method analysis motion vectors using average motion vector with standard deviation. These are the input to the carefully designed state machine. With the second method, we evaluate different features from related work as the input to a Recurrent Neural Network (RNN). The best performing is the combination of motion vectors, time difference, and gradient orientations. This method achieves the best results on the biggest and the most challenging dataset Researcher's night. We introduce the first method which categorizes blinks into complete and incomplete ones. Shifting unidirectional RNN output not only helps to save resources compared to bidirectional RNN, but it even delivers up to 5% better performance.
Autoreferát dizertačnej práce 
zaslaný do vedeckého časopisu Information Sciences and Technologies - Bulletin of ACM Slovakia.
Dizertačná práca je k nahliadnutiu na Študijnom oddelení FIIT STU.
