Dovoľujeme si oznámiť, že dňa
8. 7. 2009 o 7:30
sa bude konať na Fakulte informatiky a informačných technológií STU v Bratislave
v miestnosti D 220 obhajoba dizertačnej práce
Ing. Mateja Makulu
Názov dizertačnej práce:
Sila a obmedzenia rekurentných neurónových sietí pri spracovaní postupností symbolov
Odbor: 25-11-900 Aplikovaná informatika
Školiteľ: doc. RNDr. Ľubica Beňušková, PhD., Department of Computer Science, University of Otago, Dunedin, Nový Zéland
Oponenti dizertačnej práce:
prof. RNDr. Jiří Pospíchal, DrSc., Fakulta informatiky a informačných technológií STU v Bratislave
doc. RNDr. Gabriela Andrejková, CSc., Prírodovedecká fakulta UPJŠ v Košiciach
doc. Ing. Igor Farkaš, PhD., Fakulta matematiky, fyziky a informatiky UK v Bratislave
Abstrakt:
Predložená práca sa zaoberá skúmaním rekurentných neurónových sietí pri spracovaní postupností symbolov. Zamerali sme sa najmä na ich súvis a vysvetlenie ich správania v kontexte dynamických systémov. Opisujeme dynamiku náhodne inicializovanej siete a jej súvis s Markovovskými predikčnými modelmi premenlivej dĺžky. V hlavnej časti práce prezentujeme využitie metód vizualizácie, klasterizácie a analýzy stavového priestoru za účelom podrobnejšieho skúmania schopností rekurentných sietí v predikčných úlohách.
V experimentálnej časti práce sa zameriavame na skúmanie zmien, ku ktorým dochádza pri trénovaní. Konkrétne nás zaujíma, akým spôsobom sa mení Markovovská dynamika náhodne inicializovanej siete počas učenia v závislosti od rôznych faktorov akými sú: vstupná postupnosť, algoritmus učenia, architektúra siete, počet rekurentných neurónov a pod.
Okrem jednoduchej rekurentnej siete pred a po natrénovaní skúmame taktiež výpočtové schopnosti nového prístupu označovaného ako echo-stavové siete. Ten využíva mohutný náhodne inicializovaný rezervoár neurónov, ktorého dynamika je predmetom nášho záujmu. Na základe výsledkov experimentov a nami zistených zmien pri trénovaní rekurentných sietí poukazujeme na výhody a obmedzenia tohto v súčasnosti populárneho prístupu.
Our thesis studies properties of recurrent neural networks while processing symbolic inputs. We focused mainly on their relation and description of their behavior in the terms of dynamical systems. We describe the dynamics of randomly initialized neural network and its relation to Markov prediction models of variable length. In the main part of our work we present usability of methods for visualization, clusterization and the state space analysis as an effective tool for thorough study of recurrent networks capabilities on prediction tasks.
In experimental part of our thesis we focus on studying changes that occur during training. We are mostly interested in the change of naïve Markovian dynamics of randomly initialized network during training in relation to various factors such as: input sequence, training algorithm, network architecture, number of hidden units, etc.
We focused not only on simple recurrent network before and after training, but also on the computational capabilities of the new approach called echo state networks. It uses large randomly initialized neural reservoir, which dynamics is the subject of our interest. We demonstrate benefits and constrains of this currently popular approach based on the results of our experiments and differences identified after recurrent networks training.
Dizertačná práca je k nahliadnutiu na Študijnom oddelení FIIT STU.
