| Riadok 24: | Riadok 24: | ||
'''Skúška:''' v AISe sú vypísané termíny (7., 9., 15., 20., 26.6), so začiatkom písomnej časti vždy o 8:30 v I-8. Môžete sa prihlasovať, maximálne 8 ľudí na termín. Odhlasovanie (prihlasovanie) je možné do 8:30 (18:30) v deň pred skúškou. Ťaháte si pseudonáhodne 3 otázky zo [http://dai.fmph.uniba.sk/courses/NN/ns-otazky.pdf zoznamu otázok]. --> | '''Skúška:''' v AISe sú vypísané termíny (7., 9., 15., 20., 26.6), so začiatkom písomnej časti vždy o 8:30 v I-8. Môžete sa prihlasovať, maximálne 8 ľudí na termín. Odhlasovanie (prihlasovanie) je možné do 8:30 (18:30) v deň pred skúškou. Ťaháte si pseudonáhodne 3 otázky zo [http://dai.fmph.uniba.sk/courses/NN/ns-otazky.pdf zoznamu otázok]. --> | ||
| − | + | ;16. 2. 2018 | |
| − | : Výučba predmetu sa začne prednáškou v utorok 21. | + | : Výučba predmetu sa začne prednáškou v utorok 21. 2. |
| + | : Upozornenie: dve prednášky (namiesto voľných sviatkov v máji) budú v piatok 9.3. a 6.4. Dátumy odpovedajúcich cvičení budú včas oznámené. | ||
| + | |||
<!-- [[#Archív noviniek|Archív noviniek…]] | <!-- [[#Archív noviniek|Archív noviniek…]] | ||
| Riadok 41: | Riadok 43: | ||
|utorok | |utorok | ||
|11:30 | |11:30 | ||
| − | |F1- | + | |F1-108 |
|[[Igor Farkas|Igor Farkaš]] | |[[Igor Farkas|Igor Farkaš]] | ||
|- | |- | ||
|[https://moodle.uniba.sk/moodle/inf11/course/view.php?id=558 Praktické cvičenie] | |[https://moodle.uniba.sk/moodle/inf11/course/view.php?id=558 Praktické cvičenie] | ||
| − | | | + | |utorok |
|18:10 | |18:10 | ||
|I-H6 | |I-H6 | ||
| − | |[[Tomas Kuzma|Tomáš Kuzma]], [[ | + | |[[Tomas Kuzma|Tomáš Kuzma]], [[Juraj Holas|Juraj Holas]] |
|} | |} | ||
| Riadok 59: | Riadok 61: | ||
!Literatúra | !Literatúra | ||
|- | |- | ||
| − | | | + | |20.2. |
|Úvod do umelých neurónových sietí (NS, konekcionizmu): inšpirácia z neurobiológie, stručná história NS, základné koncepty. NS s logickými neurónmi. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.intro.L01.pdf slajdy]--> | |Úvod do umelých neurónových sietí (NS, konekcionizmu): inšpirácia z neurobiológie, stručná história NS, základné koncepty. NS s logickými neurónmi. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.intro.L01.pdf slajdy]--> | ||
| [U1/1][U2/1][U3] | | [U1/1][U2/1][U3] | ||
|- | |- | ||
| − | | | + | |27.2. |
|Binárny/spojitý perceptrón: učenie s učiteľom, chybové funkcie, učiace pravidlá, klasifikácia vzorov, lineárne separovateľné problémy. Súvis s Bayesovským lineárnym klasifikátorom. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.perceptron.L02.pdf slajdy]--> | |Binárny/spojitý perceptrón: učenie s učiteľom, chybové funkcie, učiace pravidlá, klasifikácia vzorov, lineárne separovateľné problémy. Súvis s Bayesovským lineárnym klasifikátorom. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.perceptron.L02.pdf slajdy]--> | ||
|[U2/3][U1/5][U3] | |[U2/3][U1/5][U3] | ||
|- | |- | ||
| − | | | + | |06.3. |
|Lineárne NS: vektorové priestory, autoasociatívna pamäť (model General Inverse), ortogonálna projekcia, detektor novosti. Pamäť korelačnej matice (CMM model). <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.linear-memories.L03.pdf slajdy]--> | |Lineárne NS: vektorové priestory, autoasociatívna pamäť (model General Inverse), ortogonálna projekcia, detektor novosti. Pamäť korelačnej matice (CMM model). <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.linear-memories.L03.pdf slajdy]--> | ||
|[U1/4][U3] | |[U1/4][U3] | ||
|- | |- | ||
| − | | | + | |09.3. |
| − | |Viacvrstvový perceptrón: | + | |Viacvrstvový perceptrón: odvodenie algoritmu spätného šírenia chyby (BP), trénovacia a testovacia množina, generalizácia, validácia, selekcia modelu. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.multilayer-perceptron.L04.pdf slajdy]--> |
|[U1/5][U2/4][U3] | |[U1/5][U2/4][U3] | ||
|- | |- | ||
| − | | | + | |13.3. |
| − | |Hebbovské učenie bez učiteľa, extrakcia príznakov, analýza hlavných komponentov | + | |Modifikácie gradientových metód učenia, metódy druhého rádu. Hlboké učenie (úvod). |
| + | <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.multilayer-perceptron.L04.pdf slajdy]--> | ||
| + | |[U1/5][U2/4][U3][U5] | ||
| + | |- | ||
| + | |27.3. | ||
| + | |Hebbovské učenie bez učiteľa, extrakcia príznakov, analýza hlavných komponentov (PCA). <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.hebbian-pca.L05.pdf slajdy]--> | ||
|[U2/8][U3] | |[U2/8][U3] | ||
|- | |- | ||
| Riadok 83: | Riadok 90: | ||
|[U1/7][U2/9][U3] | |[U1/7][U2/9][U3] | ||
|- | |- | ||
| − | | | + | |03.4. |
| − | |NS s radiálnymi bázovými funkciami (RBF), funkčná aproximácia, trénovanie, RLS algoritmus | + | |voľno - Veľká noc |
| + | | | ||
| + | |- | ||
| + | |06.4. | ||
| + | |NS s radiálnymi bázovými funkciami (RBF), funkčná aproximácia, trénovanie, RLS algoritmus. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.rbf.L07.pdf slajdy]--> | ||
|[U2/5-6][U3] | |[U2/5-6][U3] | ||
|- | |- | ||
| − | | | + | |10.4. |
|Hopfieldov model NS: deterministická dynamika, atraktory v stavovom priestore, autoasociatívna pamäť, náčrt stochastického modelu. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.hopfield-aam.L08.pdf slajdy]--> | |Hopfieldov model NS: deterministická dynamika, atraktory v stavovom priestore, autoasociatívna pamäť, náčrt stochastického modelu. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.hopfield-aam.L08.pdf slajdy]--> | ||
|[U1/8][U2/13][U3] | |[U1/8][U2/13][U3] | ||
|- | |- | ||
| − | | | + | |17.4. |
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
|Modelovanie sekvenčných dát: dopredné NS s časovým oneskorením, čiastočne a úplne rekurentné modely, (gradientové) algoritmy trénovania. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.seq-nn.L09-10.pdf slajdy]--> | |Modelovanie sekvenčných dát: dopredné NS s časovým oneskorením, čiastočne a úplne rekurentné modely, (gradientové) algoritmy trénovania. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.seq-nn.L09-10.pdf slajdy]--> | ||
|[U1/6][U2/15][U3] | |[U1/6][U2/15][U3] | ||
|- | |- | ||
| − | | | + | |24.4. |
| − | |Organizácia stavového priestoru v RNN. Siete s echo stavmi (ESN), rekurentná SOM. | + | |Organizácia stavového priestoru v RNN. Siete s echo stavmi (ESN), rekurentná SOM, model LSTM. |
|[U1/6][U4][U3] | |[U1/6][U4][U3] | ||
|- | |- | ||
| − | | | + | |15.5. |
| − | |Stochastické rekurentné modely NS: Boltzmannov stroj, RBM model | + | |Stochastické rekurentné modely NS: Boltzmannov stroj, RBM model, Deep Belief Network. |
| − | | | + | |[U3] |
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
|} | |} | ||
| Riadok 127: | Riadok 126: | ||
* Odovzdanie aspoň dvoch (z troch) úspešných projektov počas semestra (max. 3x7 = 21 bodov). Termíny na odovzdanie projektov budú včas uvedené na stránke. Projekty budú ponúkať aj bonusy (max. 2 body). | * Odovzdanie aspoň dvoch (z troch) úspešných projektov počas semestra (max. 3x7 = 21 bodov). Termíny na odovzdanie projektov budú včas uvedené na stránke. Projekty budú ponúkať aj bonusy (max. 2 body). | ||
| − | * Študent môže byť požiadaný, aby prezentoval svoj funkčný kód na cvičení ako súčasť odovzdania projektu. Na cvičeniach sa budú robiť malé | + | * Študent môže byť požiadaný, aby prezentoval svoj funkčný kód na cvičení ako súčasť odovzdania projektu. Na cvičeniach sa budú robiť malé úlohy, za ktoré tiež bude možné získať body (max. 10 za semester). |
| − | * Absolvovanie záverečnej písomno-ústnej skúšky (3 otázky po | + | * Absolvovanie záverečnej písomno-ústnej skúšky (3 ťahané otázky po 6 bodov). Na skúšku sa môže prihlasiť len ten, kto má oznámkované aspoň dva projekty s fungujúcim kódom. Skúška je povinná, písomno-ústna, je nutné získať aspoň 6 bodov. |
| − | * Prednášky sú dobrovoľné, za účasť možno získať | + | * Prednášky sú dobrovoľné, no pre motiváciu, za účasť možno získať max. 3 body. |
* <b>Celkové hodnotenie:</b> A (50-46), B (45-41), C (40-36), D (35-31), E (30-26), Fx (25-0). | * <b>Celkové hodnotenie:</b> A (50-46), B (45-41), C (40-36), D (35-31), E (30-26), Fx (25-0). | ||
Verzia zo dňa a času 22:59, 16. február 2018
Neurónové siete 2-AIN-132
Obsah
Cieľom predmetu je oboznámiť so základnými konceptmi a metódami umelých neurónových sietí a ich použitím pri riešení rôznych úloh. Teoretické prednášky sú kombinované s praktickým modelovaním na cvičeniach v jazyku Matlab.
- 16. 2. 2018
- Výučba predmetu sa začne prednáškou v utorok 21. 2.
- Upozornenie: dve prednášky (namiesto voľných sviatkov v máji) budú v piatok 9.3. a 6.4. Dátumy odpovedajúcich cvičení budú včas oznámené.
Rozvrh výučby
| Druh výučby | Deň | Čas | Miesto | Vyučujúci |
|---|---|---|---|---|
| Prednáška | utorok | 11:30 | F1-108 | Igor Farkaš |
| Praktické cvičenie | utorok | 18:10 | I-H6 | Tomáš Kuzma, Juraj Holas |
Sylabus
| Dátum | Názov prednášky | Literatúra |
|---|---|---|
| 20.2. | Úvod do umelých neurónových sietí (NS, konekcionizmu): inšpirácia z neurobiológie, stručná história NS, základné koncepty. NS s logickými neurónmi. | [U1/1][U2/1][U3] |
| 27.2. | Binárny/spojitý perceptrón: učenie s učiteľom, chybové funkcie, učiace pravidlá, klasifikácia vzorov, lineárne separovateľné problémy. Súvis s Bayesovským lineárnym klasifikátorom. | [U2/3][U1/5][U3] |
| 06.3. | Lineárne NS: vektorové priestory, autoasociatívna pamäť (model General Inverse), ortogonálna projekcia, detektor novosti. Pamäť korelačnej matice (CMM model). | [U1/4][U3] |
| 09.3. | Viacvrstvový perceptrón: odvodenie algoritmu spätného šírenia chyby (BP), trénovacia a testovacia množina, generalizácia, validácia, selekcia modelu. | [U1/5][U2/4][U3] |
| 13.3. | Modifikácie gradientových metód učenia, metódy druhého rádu. Hlboké učenie (úvod). | [U1/5][U2/4][U3][U5] |
| 27.3. | Hebbovské učenie bez učiteľa, extrakcia príznakov, analýza hlavných komponentov (PCA). | [U2/8][U3] |
| 28.3. | Učenie so súťažením, samoorganizujúca sa mapa (SOM), klasterizácia, topografické zobrazenie, redukcia dimenzie. | [U1/7][U2/9][U3] |
| 03.4. | voľno - Veľká noc | |
| 06.4. | NS s radiálnymi bázovými funkciami (RBF), funkčná aproximácia, trénovanie, RLS algoritmus. | [U2/5-6][U3] |
| 10.4. | Hopfieldov model NS: deterministická dynamika, atraktory v stavovom priestore, autoasociatívna pamäť, náčrt stochastického modelu. | [U1/8][U2/13][U3] |
| 17.4. | Modelovanie sekvenčných dát: dopredné NS s časovým oneskorením, čiastočne a úplne rekurentné modely, (gradientové) algoritmy trénovania. | [U1/6][U2/15][U3] |
| 24.4. | Organizácia stavového priestoru v RNN. Siete s echo stavmi (ESN), rekurentná SOM, model LSTM. | [U1/6][U4][U3] |
| 15.5. | Stochastické rekurentné modely NS: Boltzmannov stroj, RBM model, Deep Belief Network. | [U3] |
Literatúra
- Kvasnička V., Beňušková., Pospíchal J., Farkaš I., Tiňo P. a Kráľ A. (1997). Úvod do teórie neurónových sietí. Iris: Bratislava. [U1]
- Haykin S. (2009). Neural Networks and Learning Machines (3rd ed.). Upper Saddle River, Pearson Education (k dispozícii na štúdium v knižnici FMFI, ale aj stiahnuteľné z webu). [U2]
- Farkaš I. (2011). Neural networks. Knižničné a edičné centrum FMFI UK v Bratislave. Novšia verzia z roku 2016. [U3]
- Jaeger H. (2007). Echo-state network. Scholarpedia, 2(9):2330. [U4]
- Goodfellow I., Bengio Y., Courville A. (2016). Deep Learning. MIT Press. [U5]
Podmienky absolvovania a spôsob hodnotenia
- Odovzdanie aspoň dvoch (z troch) úspešných projektov počas semestra (max. 3x7 = 21 bodov). Termíny na odovzdanie projektov budú včas uvedené na stránke. Projekty budú ponúkať aj bonusy (max. 2 body).
- Študent môže byť požiadaný, aby prezentoval svoj funkčný kód na cvičení ako súčasť odovzdania projektu. Na cvičeniach sa budú robiť malé úlohy, za ktoré tiež bude možné získať body (max. 10 za semester).
- Absolvovanie záverečnej písomno-ústnej skúšky (3 ťahané otázky po 6 bodov). Na skúšku sa môže prihlasiť len ten, kto má oznámkované aspoň dva projekty s fungujúcim kódom. Skúška je povinná, písomno-ústna, je nutné získať aspoň 6 bodov.
- Prednášky sú dobrovoľné, no pre motiváciu, za účasť možno získať max. 3 body.
- Celkové hodnotenie: A (50-46), B (45-41), C (40-36), D (35-31), E (30-26), Fx (25-0).
Projekty počas semestra
- Projekt, spolu so zdrojovým kódom, sa odovzdáva k stanoveného termínu. Za každý oneskorený kalendárny deň (max. 7 dní) odovzdania vzniká malus 1 bod (až do nuly). Úspešný projekt (fungujúci model) odovzdaný viac ako týždeň po termíne sa započítava bez bodov.
- Pri projekte sa hodnotí najmä obsah, ale záleží aj na forme. Obsah projektu musí byť zrozumiteľný, aby čitateľ videl, čo ste robili a ako ste to robili, t.j. grafické výstupy musia byť kombinované so sprievodným textom. Za výraznejšie formálne a gramatické nedostatky môžu byť strhnuté body.
- Model môže byť naprogramovaný v hocijakom jazyku (okrem Matlab-u), a projekt musí byť odovzdaný vo formáte PDF.
- Pri zistení plagiátorstva študent(ka) získava automaticky nula bodov z projektu a nebude pripustený(-á) ku skúške.