(→Sylabus) |
|||
| (92 intermediate revisions by 2 users not shown) | |||
| Line 6: | Line 6: | ||
__TOC__ | __TOC__ | ||
| − | Cieľom predmetu je oboznámiť so základnými konceptmi a algoritmami učenia umelých neurónových sietí a ich použitím pri riešení rôznych úloh. Teoretické prednášky sú kombinované s | + | Cieľom predmetu je oboznámiť študentov so základnými konceptmi a algoritmami učenia umelých neurónových sietí a ich použitím pri riešení rôznych úloh. Sylabus je kompozíciou starších modelov s novšími, v snahe ponúknuť prierez kľúčovými míľnikmi o tejto oblasti výskumu. Teoretické prednášky sú kombinované s praktickými cvičeniami v jazyku Python. |
<!--[https://sluzby.fmph.uniba.sk/infolist/sk/2-AIN-132_15.html Informačný list predmetu]--> | <!--[https://sluzby.fmph.uniba.sk/infolist/sk/2-AIN-132_15.html Informačný list predmetu]--> | ||
| − | = | + | <!-- |
| + | [https://moodle.uniba.sk/moodle/inf11/mod/assign/view.php?id=29805 Projekt 1] - termín odovzdania: 8.4.2020 23:55 | ||
| − | [https://moodle.uniba.sk/moodle/inf11/mod/assign/view.php?id= | + | Projekt [https://moodle.uniba.sk/moodle/inf11/mod/assign/view.php?id=29809 (2a)] alebo [https://moodle.uniba.sk/moodle/inf11/mod/assign/view.php?id=29810 (2b)] - termín odovzdania: štvrtok 30.4.2020 23:55 |
| − | Projekt [https://moodle.uniba.sk/moodle/inf11/mod/assign/view.php?id= | + | Projekt [https://moodle.uniba.sk/moodle/inf11/mod/assign/view.php?id=29814 (3a)] alebo [https://moodle.uniba.sk/moodle/inf11/mod/assign/view.php?id=29815 (3b)] - termín odovzdania: štvrtok 20.5.2020 23:55 |
| − | + | '''Skúška:''' bude online, termíny som vám poslal emailom, ako aj informácie o jej priebehu. Vyberiete si (spôsob určím) pseudonáhodne 3 otázky zo [http://dai.fmph.uniba.sk/courses/NN/ns-otazky.2020.pdf zoznamu otázok]. | |
| − | + | <!--tkom písomnej časti vždy o 8:30 v I-8. Maximálne 8 ľudí na termín.--> | |
<!-- [[#Archív noviniek|Archív noviniek…]] | <!-- [[#Archív noviniek|Archív noviniek…]] | ||
| Line 32: | Line 33: | ||
|- | |- | ||
|Prednáška | |Prednáška | ||
| − | | | + | |streda |
| − | |11: | + | |9:50 - 11:20 |
| − | | | + | |M-IV |
|[[Igor Farkas|Igor Farkaš]] | |[[Igor Farkas|Igor Farkaš]] | ||
|- | |- | ||
| − | |[https://moodle.uniba.sk | + | |[https://moodle.uniba.sk/course/view.php?id=2883 Praktické cvičenie] |
| − | | | + | |štvrtok |
| − | |18:10 | + | |18:10 - 19:40 |
| − | | | + | |H3 |
| − | |[[ | + | |[[Stefan Pocos|Štefan Pócoš]], [[Iveta Beckova | Iveta Bečková]] |
|} | |} | ||
| − | |||
== Sylabus == | == Sylabus == | ||
{| class="alternative table-responsive" | {| class="alternative table-responsive" | ||
| + | !# | ||
!Dátum | !Dátum | ||
!Názov prednášky | !Názov prednášky | ||
!Literatúra | !Literatúra | ||
|- | |- | ||
| − | | | + | |01 |
| − | |Úvod | + | |21.2. |
| − | | [U1/1][ | + | |Podmienky na absolvovanie predmetu. Úvod k predmetu, inšpirácia z neurobiológie, stručná história NS, základné koncepty. NS s logickými neurónmi. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.intro.L01.pdf slajdy-L01] |
| + | | [U1/1][U3/1][U5/1] | ||
|- | |- | ||
| − | | | + | |02 |
| − | |Binárny | + | |28.2. |
| − | |[ | + | |Binárny a spojitý perceptrón: učenie s učiteľom, chybové funkcie, binárna klasifikácia a regresia, lineárna separovateľnosť. Súvis s Bayesovským klasifikátorom. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.perceptron.L02.pdf slajdy-L02] |
| + | |[U1/1-3] | ||
|- | |- | ||
| − | | | + | |03 |
| − | | | + | |06.3. |
| − | |[ | + | |Jednovrstvové NS s učiteľom: Lineárna autoasociácia: model General Inverse. Klasifikácia do n-tried. Chybové funkcie, súvis s teóriou informácie. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.single-layer-models.L03.pdf slajdy-L03] |
| + | |[U4/3][U5/4] | ||
|- | |- | ||
| − | | | + | |04 |
| − | |Viacvrstvový perceptrón: algoritmus | + | |13.3. |
| − | |[U1/ | + | |Viacvrstvový perceptrón: algoritmus BP. Trénovanie, validácia, testovanie. Selekcia modelu. Bias-variance tradeoff. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.mlp.L04.pdf slajdy-L04] |
| + | |[U1/4][U4/4] | ||
|- | |- | ||
| − | | | + | |05 |
| − | |Modifikácie gradientových metód | + | |20.3. |
| − | |[U1/ | + | |Modifikácie gradientových metód, optimalizácia druhého rádu, regularizácia. Problémy optimalizácie. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.optimization.L05.pdf slajdy-L05] |
| + | |[U1/15][U4/11] | ||
|- | |- | ||
| − | | | + | |06 |
| − | | | + | |27.3. |
| − | |[ | + | |Učenie bez učiteľa, extrakcia príznakov, model neurálnej PCA. Vizualizácia dát: model samoorganizujúcej sa mapy (SOM). [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.unsup.L06.pdf slajdy-L06] |
| + | |[U1/8-9][U5/7] | ||
|- | |- | ||
| − | | | + | |07 |
| − | | | + | |03.4. |
| − | |[ | + | |Modelovanie sekvenčných dát: dopredné NS, vzťah k n-gramom, čiastočne a úplne rekurentné modely, model SRN, algoritmy BPTT, RTRL. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.seq-models.L07.pdf slajdy-L07] |
| + | |[U4/8][U5/6] | ||
|- | |- | ||
| − | | | + | |08 |
| − | |NS | + | |10.4. |
| − | |[ | + | |Hopfieldov model NS: deterministická dynamika, atraktory v stavovom priestore, autoasociatívna pamäť, náčrt stochastického modelu, moderné verzie. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.hopfield-aam.L08.pdf slajdy-L08] |
| + | |[U1/13][U5/9] | ||
|- | |- | ||
| − | | | + | |09 |
| − | | | + | |17.4. |
| − | |[U1/ | + | |Expanzia skrytej reprezentácie: NS s radiálnymi bázovými funkciami (RBF), sieť s echo stavmi (ESN). [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.rbf-esn.L09.pdf slajdy-L09] |
| + | |[U1/5][U2] | ||
|- | |- | ||
| − | | | + | |10 |
| − | | | + | |24.4. |
| − | | | + | |Hlboké učenie. Konvolučné neurónové siete: základné princípy. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.deep-convol.L10.pdf slajdy-L10] |
| + | |[U3/6,9, U4/6] | ||
|- | |- | ||
| + | |11 | ||
|30.4. | |30.4. | ||
| − | | | + | |Novšie modely NS: autoenkódery, rekurentné GRU, LSTM. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.autoenc-gated.L11.pdf slajdy-L11] |
| − | |[ | + | |[U3/14,U4/9.1-2] |
|- | |- | ||
| + | |12 | ||
|07.5. | |07.5. | ||
| − | | | + | |Stochastické rekurentné modely NS: úvod do pravdepodobnostného modelovania, inšpirácia z fyziky, Boltzmannov stroj, RBM model, Deep Belief Network. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.stochastic.L12.pdf slajdy-L12] |
| − | |[U1/ | + | |[U1/11][U3/16] |
|- | |- | ||
| − | |||
| − | |||
| − | |||
|} | |} | ||
== Literatúra == | == Literatúra == | ||
| − | * | + | * Farkaš I. (2016). [http://dai.fmph.uniba.sk/courses/NN/neural-networks.2016.pdf Neural networks]. Knižničné a edičné centrum FMFI UK v Bratislave. Slajdy k prednáškam. |
| − | * Haykin S. (2009). Neural Networks and Learning Machines (3rd ed.). Upper Saddle River, Pearson Education (k dispozícii na štúdium v knižnici FMFI, ale aj stiahnuteľné z webu). [ | + | * Haykin S. (2009). Neural Networks and Learning Machines (3rd ed.). Upper Saddle River, Pearson Education (k dispozícii na štúdium v knižnici FMFI, ale aj stiahnuteľné z webu). [U1] |
| − | + | * Jaeger H. (2007). [http://www.scholarpedia.org/article/Echo_state_network Echo-state network]. Scholarpedia, 2(9):2330. [U2] | |
| − | * Jaeger H. (2007). [http://www.scholarpedia.org/article/Echo_state_network Echo-state network]. Scholarpedia, 2(9):2330. [ | + | * Goodfellow I., Bengio Y., Courville A. (2016). [http://www.deeplearningbook.org Deep Learning]. MIT Press. [U3] |
| − | * Goodfellow I., Bengio Y., Courville A. (2016). [http://www.deeplearningbook.org Deep Learning]. MIT Press. [ | + | * Zhang A. et al. (2020). [https://d2l.ai/ Dive into Deep Learning]. An interactive deep learning book with code, math, and discussions, based on the NumPy interface. [U4] |
| − | * | + | * Kvasnička V., Beňušková., Pospíchal J., Farkaš I., Tiňo P. a Kráľ A. (1997). [http://dai.fmph.uniba.sk/courses/NN/UvodDoTeorieNS.pdf.zip Úvod do teórie neurónových sietí]. Iris: Bratislava. [U5] |
== Podmienky absolvovania a spôsob hodnotenia == | == Podmienky absolvovania a spôsob hodnotenia == | ||
| − | * Odovzdanie aspoň dvoch (z troch) | + | * <b>Odovzdanie aspoň dvoch funkčných projektov</b> (z troch) počas semestra (max. 3x10 = 30 bodov) a získanie z projektov spolu aspoň 15 bodov. Termíny na odovzdanie projektov budú včas uvedené na stránke. Projekty budú ponúkať aj bonusy (spolu max. 4 body). |
| − | * Študent môže byť požiadaný, aby prezentoval svoj funkčný kód na cvičení ako súčasť odovzdania projektu. Na | + | * Študent/ka môže byť požiadaný/á, aby <b>prezentoval/a svoj funkčný kód na cvičení</b> ako súčasť odovzdania projektu. |
| − | * Absolvovanie záverečnej písomno-ústnej skúšky (3 otázky | + | * Na začiatku každého cvičenia (počnúc tretím cvičením) sa budú <b>písať 5-minútovky</b>, za ktoré tiež bude možné získať body (spolu 10x3 bodov za semester). |
| − | * Prednášky sú dobrovoľné, za účasť však možno získať max. | + | * Za <b>aktívnu účasť na cvičení</b> bude možné získať ďalších max. 10 bodov. Z cvičení je nutné získať spolu aspoň 20 bodov (zo 40). |
| − | * <b>Celkové hodnotenie:</b> A ( | + | * Absolvovanie <b>záverečnej písomno-ústnej skúšky</b> (3 otázky, pseudonáhodný výber, spolu 30 bodov). Na skúšku sa môže prihlásiť len ten, kto má oznámkované aspoň dva projekty s fungujúcim kódom. Skúška je povinná, je nutné získať aspoň 12 bodov. |
| + | * <b>Prednášky sú dobrovoľné</b>, za účasť však možno získať max. 5 bonusových bodov. | ||
| + | * <b>Celkové hodnotenie:</b> A (100-91), B (90-81), C (80-71), D (70-61), E (60-51), Fx (50-0). | ||
== Projekty počas semestra == | == Projekty počas semestra == | ||
| − | * Projekt, spolu so zdrojovým kódom, sa odovzdáva k stanoveného termínu. Za každý oneskorený kalendárny deň (max. | + | * Projekt, spolu so zdrojovým kódom, sa odovzdáva k stanoveného termínu (v systéme Moodle). Za každý oneskorený kalendárny deň (max. 5 dní) odovzdania vzniká malus 2 body (až do nuly). Projekt sa nebude prijímať neskôr ako týždeň po termíne. |
| − | * Pri projekte sa hodnotí najmä obsah, ale záleží aj na forme. Obsah projektu musí byť zrozumiteľný, aby | + | * Pri projekte sa hodnotí najmä obsah, ale záleží aj na forme (čitateľnosť, úprava). Obsah projektu musí byť zrozumiteľný, aby bolo jasné, čo a ako ste robili, t.j. grafické výstupy majú byť kombinované so sprievodným textom. Za výraznejšie formálne a gramatické nedostatky môže byť strhnutý bod. |
* Model je naprogramovaný v jazyku Python a projekt sa odovzdáva vo formáte PDF. | * Model je naprogramovaný v jazyku Python a projekt sa odovzdáva vo formáte PDF. | ||
| − | * Pri zistení | + | * Pri zistení podvádzania študent/ka získava automaticky nula bodov z projektu a nebude pripustený/á ku skúške. |
Latest revision as of 15:22, 7 May 2024
Neurónové siete 2-AIN-132
Contents
Cieľom predmetu je oboznámiť študentov so základnými konceptmi a algoritmami učenia umelých neurónových sietí a ich použitím pri riešení rôznych úloh. Sylabus je kompozíciou starších modelov s novšími, v snahe ponúknuť prierez kľúčovými míľnikmi o tejto oblasti výskumu. Teoretické prednášky sú kombinované s praktickými cvičeniami v jazyku Python.
Rozvrh výučby
| Druh výučby | Deň | Čas | Miesto | Vyučujúci |
|---|---|---|---|---|
| Prednáška | streda | 9:50 - 11:20 | M-IV | Igor Farkaš |
| Praktické cvičenie | štvrtok | 18:10 - 19:40 | H3 | Štefan Pócoš, Iveta Bečková |
Sylabus
| # | Dátum | Názov prednášky | Literatúra |
|---|---|---|---|
| 01 | 21.2. | Podmienky na absolvovanie predmetu. Úvod k predmetu, inšpirácia z neurobiológie, stručná história NS, základné koncepty. NS s logickými neurónmi. slajdy-L01 | [U1/1][U3/1][U5/1] |
| 02 | 28.2. | Binárny a spojitý perceptrón: učenie s učiteľom, chybové funkcie, binárna klasifikácia a regresia, lineárna separovateľnosť. Súvis s Bayesovským klasifikátorom. slajdy-L02 | [U1/1-3] |
| 03 | 06.3. | Jednovrstvové NS s učiteľom: Lineárna autoasociácia: model General Inverse. Klasifikácia do n-tried. Chybové funkcie, súvis s teóriou informácie. slajdy-L03 | [U4/3][U5/4] |
| 04 | 13.3. | Viacvrstvový perceptrón: algoritmus BP. Trénovanie, validácia, testovanie. Selekcia modelu. Bias-variance tradeoff. slajdy-L04 | [U1/4][U4/4] |
| 05 | 20.3. | Modifikácie gradientových metód, optimalizácia druhého rádu, regularizácia. Problémy optimalizácie. slajdy-L05 | [U1/15][U4/11] |
| 06 | 27.3. | Učenie bez učiteľa, extrakcia príznakov, model neurálnej PCA. Vizualizácia dát: model samoorganizujúcej sa mapy (SOM). slajdy-L06 | [U1/8-9][U5/7] |
| 07 | 03.4. | Modelovanie sekvenčných dát: dopredné NS, vzťah k n-gramom, čiastočne a úplne rekurentné modely, model SRN, algoritmy BPTT, RTRL. slajdy-L07 | [U4/8][U5/6] |
| 08 | 10.4. | Hopfieldov model NS: deterministická dynamika, atraktory v stavovom priestore, autoasociatívna pamäť, náčrt stochastického modelu, moderné verzie. slajdy-L08 | [U1/13][U5/9] |
| 09 | 17.4. | Expanzia skrytej reprezentácie: NS s radiálnymi bázovými funkciami (RBF), sieť s echo stavmi (ESN). slajdy-L09 | [U1/5][U2] |
| 10 | 24.4. | Hlboké učenie. Konvolučné neurónové siete: základné princípy. slajdy-L10 | [U3/6,9, U4/6] |
| 11 | 30.4. | Novšie modely NS: autoenkódery, rekurentné GRU, LSTM. slajdy-L11 | [U3/14,U4/9.1-2] |
| 12 | 07.5. | Stochastické rekurentné modely NS: úvod do pravdepodobnostného modelovania, inšpirácia z fyziky, Boltzmannov stroj, RBM model, Deep Belief Network. slajdy-L12 | [U1/11][U3/16] |
Literatúra
- Farkaš I. (2016). Neural networks. Knižničné a edičné centrum FMFI UK v Bratislave. Slajdy k prednáškam.
- Haykin S. (2009). Neural Networks and Learning Machines (3rd ed.). Upper Saddle River, Pearson Education (k dispozícii na štúdium v knižnici FMFI, ale aj stiahnuteľné z webu). [U1]
- Jaeger H. (2007). Echo-state network. Scholarpedia, 2(9):2330. [U2]
- Goodfellow I., Bengio Y., Courville A. (2016). Deep Learning. MIT Press. [U3]
- Zhang A. et al. (2020). Dive into Deep Learning. An interactive deep learning book with code, math, and discussions, based on the NumPy interface. [U4]
- Kvasnička V., Beňušková., Pospíchal J., Farkaš I., Tiňo P. a Kráľ A. (1997). Úvod do teórie neurónových sietí. Iris: Bratislava. [U5]
Podmienky absolvovania a spôsob hodnotenia
- Odovzdanie aspoň dvoch funkčných projektov (z troch) počas semestra (max. 3x10 = 30 bodov) a získanie z projektov spolu aspoň 15 bodov. Termíny na odovzdanie projektov budú včas uvedené na stránke. Projekty budú ponúkať aj bonusy (spolu max. 4 body).
- Študent/ka môže byť požiadaný/á, aby prezentoval/a svoj funkčný kód na cvičení ako súčasť odovzdania projektu.
- Na začiatku každého cvičenia (počnúc tretím cvičením) sa budú písať 5-minútovky, za ktoré tiež bude možné získať body (spolu 10x3 bodov za semester).
- Za aktívnu účasť na cvičení bude možné získať ďalších max. 10 bodov. Z cvičení je nutné získať spolu aspoň 20 bodov (zo 40).
- Absolvovanie záverečnej písomno-ústnej skúšky (3 otázky, pseudonáhodný výber, spolu 30 bodov). Na skúšku sa môže prihlásiť len ten, kto má oznámkované aspoň dva projekty s fungujúcim kódom. Skúška je povinná, je nutné získať aspoň 12 bodov.
- Prednášky sú dobrovoľné, za účasť však možno získať max. 5 bonusových bodov.
- Celkové hodnotenie: A (100-91), B (90-81), C (80-71), D (70-61), E (60-51), Fx (50-0).
Projekty počas semestra
- Projekt, spolu so zdrojovým kódom, sa odovzdáva k stanoveného termínu (v systéme Moodle). Za každý oneskorený kalendárny deň (max. 5 dní) odovzdania vzniká malus 2 body (až do nuly). Projekt sa nebude prijímať neskôr ako týždeň po termíne.
- Pri projekte sa hodnotí najmä obsah, ale záleží aj na forme (čitateľnosť, úprava). Obsah projektu musí byť zrozumiteľný, aby bolo jasné, čo a ako ste robili, t.j. grafické výstupy majú byť kombinované so sprievodným textom. Za výraznejšie formálne a gramatické nedostatky môže byť strhnutý bod.
- Model je naprogramovaný v jazyku Python a projekt sa odovzdáva vo formáte PDF.
- Pri zistení podvádzania študent/ka získava automaticky nula bodov z projektu a nebude pripustený/á ku skúške.