(→Podmienky absolvovania a spôsob hodnotenia) |
(→Sylabus) |
||
(16 intermediate revisions by 2 users not shown) | |||
Riadok 6: | Riadok 6: | ||
__TOC__ | __TOC__ | ||
− | Cieľom predmetu je oboznámiť študentov so základnými konceptmi a algoritmami učenia umelých neurónových sietí a ich použitím pri riešení rôznych úloh. Sylabus je kompozíciou starších modelov s novšími, v snahe ponúknuť | + | Cieľom predmetu je oboznámiť študentov so základnými konceptmi a algoritmami učenia umelých neurónových sietí a ich použitím pri riešení rôznych úloh. Sylabus je kompozíciou starších modelov s novšími, v snahe ponúknuť prierez kľúčovými míľnikmi o tejto oblasti výskumu. Teoretické prednášky sú kombinované s praktickými cvičeniami v jazyku Python. |
<!--[https://sluzby.fmph.uniba.sk/infolist/sk/2-AIN-132_15.html Informačný list predmetu]--> | <!--[https://sluzby.fmph.uniba.sk/infolist/sk/2-AIN-132_15.html Informačný list predmetu]--> | ||
Riadok 55: | Riadok 55: | ||
|01 | |01 | ||
|21.2. | |21.2. | ||
− | |Podmienky na absolvovanie predmetu. Úvod k predmetu, inšpirácia z neurobiológie, stručná história NS, základné koncepty. NS s logickými neurónmi. | + | |Podmienky na absolvovanie predmetu. Úvod k predmetu, inšpirácia z neurobiológie, stručná história NS, základné koncepty. NS s logickými neurónmi. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.intro.L01.pdf slajdy-L01] |
| [U1/1][U3/1][U5/1] | | [U1/1][U3/1][U5/1] | ||
|- | |- | ||
|02 | |02 | ||
|28.2. | |28.2. | ||
− | |Binárny a spojitý perceptrón: učenie s učiteľom, chybové funkcie, binárna klasifikácia a regresia, lineárna separovateľnosť. Súvis s Bayesovským klasifikátorom. | + | |Binárny a spojitý perceptrón: učenie s učiteľom, chybové funkcie, binárna klasifikácia a regresia, lineárna separovateľnosť. Súvis s Bayesovským klasifikátorom. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.perceptron.L02.pdf slajdy-L02] |
|[U1/1-3] | |[U1/1-3] | ||
|- | |- | ||
|03 | |03 | ||
|06.3. | |06.3. | ||
− | |Jednovrstvové NS s učiteľom: Lineárna autoasociácia: model General Inverse. Klasifikácia do n-tried. Chybové funkcie, súvis s teóriou informácie. | + | |Jednovrstvové NS s učiteľom: Lineárna autoasociácia: model General Inverse. Klasifikácia do n-tried. Chybové funkcie, súvis s teóriou informácie. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.single-layer-models.L03.pdf slajdy-L03] |
|[U4/3][U5/4] | |[U4/3][U5/4] | ||
|- | |- | ||
|04 | |04 | ||
|13.3. | |13.3. | ||
− | |Viacvrstvový perceptrón: algoritmus BP. Trénovanie, validácia, testovanie. Selekcia modelu. Bias-variance tradeoff. | + | |Viacvrstvový perceptrón: algoritmus BP. Trénovanie, validácia, testovanie. Selekcia modelu. Bias-variance tradeoff. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.mlp.L04.pdf slajdy-L04] |
|[U1/4][U4/4] | |[U1/4][U4/4] | ||
|- | |- | ||
|05 | |05 | ||
|20.3. | |20.3. | ||
− | |Modifikácie gradientových metód, optimalizácia druhého rádu, regularizácia. Problémy optimalizácie. | + | |Modifikácie gradientových metód, optimalizácia druhého rádu, regularizácia. Problémy optimalizácie. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.optimization.L05.pdf slajdy-L05] |
|[U1/15][U4/11] | |[U1/15][U4/11] | ||
|- | |- | ||
|06 | |06 | ||
|27.3. | |27.3. | ||
− | |Učenie bez učiteľa, extrakcia príznakov, model neurálnej PCA. Vizualizácia dát: model samoorganizujúcej sa mapy (SOM). | + | |Učenie bez učiteľa, extrakcia príznakov, model neurálnej PCA. Vizualizácia dát: model samoorganizujúcej sa mapy (SOM). [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.unsup.L06.pdf slajdy-L06] |
|[U1/8-9][U5/7] | |[U1/8-9][U5/7] | ||
|- | |- | ||
|07 | |07 | ||
|03.4. | |03.4. | ||
− | |Modelovanie sekvenčných dát: dopredné NS, vzťah k n-gramom, čiastočne a úplne rekurentné modely, model SRN, algoritmy BPTT, RTRL. | + | |Modelovanie sekvenčných dát: dopredné NS, vzťah k n-gramom, čiastočne a úplne rekurentné modely, model SRN, algoritmy BPTT, RTRL. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.seq-models.L07.pdf slajdy-L07] |
|[U4/8][U5/6] | |[U4/8][U5/6] | ||
|- | |- | ||
|08 | |08 | ||
|10.4. | |10.4. | ||
− | |Hopfieldov model NS: deterministická dynamika, atraktory v stavovom priestore, autoasociatívna pamäť, náčrt stochastického modelu, moderné verzie. | + | |Hopfieldov model NS: deterministická dynamika, atraktory v stavovom priestore, autoasociatívna pamäť, náčrt stochastického modelu, moderné verzie. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.hopfield-aam.L08.pdf slajdy-L08] |
|[U1/13][U5/9] | |[U1/13][U5/9] | ||
|- | |- | ||
|09 | |09 | ||
|17.4. | |17.4. | ||
− | |Expanzia skrytej reprezentácie: NS s radiálnymi bázovými funkciami (RBF), sieť s echo stavmi (ESN). | + | |Expanzia skrytej reprezentácie: NS s radiálnymi bázovými funkciami (RBF), sieť s echo stavmi (ESN). [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.rbf-esn.L09.pdf slajdy-L09] |
|[U1/5][U2] | |[U1/5][U2] | ||
|- | |- | ||
|10 | |10 | ||
|24.4. | |24.4. | ||
− | |Hlboké učenie. Konvolučné neurónové siete: základné princípy. | + | |Hlboké učenie. Konvolučné neurónové siete: základné princípy. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.deep-convol.L10.pdf slajdy-L10] |
|[U3/6,9, U4/6] | |[U3/6,9, U4/6] | ||
|- | |- | ||
|11 | |11 | ||
− | | | + | |30.4. |
− | |Novšie modely NS: autoenkódery, rekurentné GRU, LSTM. | + | |Novšie modely NS: autoenkódery, rekurentné GRU, LSTM. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.autoenc-gated.L11.pdf slajdy-L11] |
|[U3/14,U4/9.1-2] | |[U3/14,U4/9.1-2] | ||
|- | |- | ||
|12 | |12 | ||
− | | | + | |07.5. |
− | |Stochastické rekurentné modely NS: úvod do pravdepodobnostného modelovania, inšpirácia z fyziky, Boltzmannov stroj, RBM model, Deep Belief Network. | + | |Stochastické rekurentné modely NS: úvod do pravdepodobnostného modelovania, inšpirácia z fyziky, Boltzmannov stroj, RBM model, Deep Belief Network. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.stochastic.L12.pdf slajdy-L12] |
|[U1/11][U3/16] | |[U1/11][U3/16] | ||
|- | |- | ||
Riadok 128: | Riadok 128: | ||
* <b>Odovzdanie aspoň dvoch funkčných projektov</b> (z troch) počas semestra (max. 3x10 = 30 bodov) a získanie z projektov spolu aspoň 15 bodov. Termíny na odovzdanie projektov budú včas uvedené na stránke. Projekty budú ponúkať aj bonusy (spolu max. 4 body). | * <b>Odovzdanie aspoň dvoch funkčných projektov</b> (z troch) počas semestra (max. 3x10 = 30 bodov) a získanie z projektov spolu aspoň 15 bodov. Termíny na odovzdanie projektov budú včas uvedené na stránke. Projekty budú ponúkať aj bonusy (spolu max. 4 body). | ||
* Študent/ka môže byť požiadaný/á, aby <b>prezentoval/a svoj funkčný kód na cvičení</b> ako súčasť odovzdania projektu. | * Študent/ka môže byť požiadaný/á, aby <b>prezentoval/a svoj funkčný kód na cvičení</b> ako súčasť odovzdania projektu. | ||
− | * Na začiatku každého cvičenia (počnúc tretím cvičením) sa budú <b>písať 5-minútovky</b>, za ktoré tiež bude možné získať body (spolu 10x3 bodov za semester). | + | * Na začiatku každého cvičenia (počnúc tretím cvičením) sa budú <b>písať 5-minútovky</b>, za ktoré tiež bude možné získať body (spolu 10x3 bodov za semester). |
+ | * Za <b>aktívnu účasť na cvičení</b> bude možné získať ďalších max. 10 bodov. Z cvičení je nutné získať spolu aspoň 20 bodov (zo 40). | ||
* Absolvovanie <b>záverečnej písomno-ústnej skúšky</b> (3 otázky, pseudonáhodný výber, spolu 30 bodov). Na skúšku sa môže prihlásiť len ten, kto má oznámkované aspoň dva projekty s fungujúcim kódom. Skúška je povinná, je nutné získať aspoň 12 bodov. | * Absolvovanie <b>záverečnej písomno-ústnej skúšky</b> (3 otázky, pseudonáhodný výber, spolu 30 bodov). Na skúšku sa môže prihlásiť len ten, kto má oznámkované aspoň dva projekty s fungujúcim kódom. Skúška je povinná, je nutné získať aspoň 12 bodov. | ||
* <b>Prednášky sú dobrovoľné</b>, za účasť však možno získať max. 5 bonusových bodov. | * <b>Prednášky sú dobrovoľné</b>, za účasť však možno získať max. 5 bonusových bodov. | ||
Riadok 135: | Riadok 136: | ||
== Projekty počas semestra == | == Projekty počas semestra == | ||
− | * Projekt, spolu so zdrojovým kódom, sa odovzdáva k stanoveného termínu (v systéme Moodle). Za každý oneskorený kalendárny deň (max. 5 dní) odovzdania vzniká malus 2 body (až do nuly). Projekt | + | * Projekt, spolu so zdrojovým kódom, sa odovzdáva k stanoveného termínu (v systéme Moodle). Za každý oneskorený kalendárny deň (max. 5 dní) odovzdania vzniká malus 2 body (až do nuly). Projekt sa nebude prijímať neskôr ako týždeň po termíne. |
* Pri projekte sa hodnotí najmä obsah, ale záleží aj na forme (čitateľnosť, úprava). Obsah projektu musí byť zrozumiteľný, aby bolo jasné, čo a ako ste robili, t.j. grafické výstupy majú byť kombinované so sprievodným textom. Za výraznejšie formálne a gramatické nedostatky môže byť strhnutý bod. | * Pri projekte sa hodnotí najmä obsah, ale záleží aj na forme (čitateľnosť, úprava). Obsah projektu musí byť zrozumiteľný, aby bolo jasné, čo a ako ste robili, t.j. grafické výstupy majú byť kombinované so sprievodným textom. Za výraznejšie formálne a gramatické nedostatky môže byť strhnutý bod. | ||
* Model je naprogramovaný v jazyku Python a projekt sa odovzdáva vo formáte PDF. | * Model je naprogramovaný v jazyku Python a projekt sa odovzdáva vo formáte PDF. | ||
− | * Pri zistení | + | * Pri zistení podvádzania študent/ka získava automaticky nula bodov z projektu a nebude pripustený/á ku skúške. |
Aktuálna revízia z 15:22, 7. máj 2024
Neurónové siete 2-AIN-132
Obsah
Cieľom predmetu je oboznámiť študentov so základnými konceptmi a algoritmami učenia umelých neurónových sietí a ich použitím pri riešení rôznych úloh. Sylabus je kompozíciou starších modelov s novšími, v snahe ponúknuť prierez kľúčovými míľnikmi o tejto oblasti výskumu. Teoretické prednášky sú kombinované s praktickými cvičeniami v jazyku Python.
Rozvrh výučby
Druh výučby | Deň | Čas | Miesto | Vyučujúci |
---|---|---|---|---|
Prednáška | streda | 9:50 - 11:20 | M-IV | Igor Farkaš |
Praktické cvičenie | štvrtok | 18:10 - 19:40 | H3 | Štefan Pócoš, Iveta Bečková |
Sylabus
# | Dátum | Názov prednášky | Literatúra |
---|---|---|---|
01 | 21.2. | Podmienky na absolvovanie predmetu. Úvod k predmetu, inšpirácia z neurobiológie, stručná história NS, základné koncepty. NS s logickými neurónmi. slajdy-L01 | [U1/1][U3/1][U5/1] |
02 | 28.2. | Binárny a spojitý perceptrón: učenie s učiteľom, chybové funkcie, binárna klasifikácia a regresia, lineárna separovateľnosť. Súvis s Bayesovským klasifikátorom. slajdy-L02 | [U1/1-3] |
03 | 06.3. | Jednovrstvové NS s učiteľom: Lineárna autoasociácia: model General Inverse. Klasifikácia do n-tried. Chybové funkcie, súvis s teóriou informácie. slajdy-L03 | [U4/3][U5/4] |
04 | 13.3. | Viacvrstvový perceptrón: algoritmus BP. Trénovanie, validácia, testovanie. Selekcia modelu. Bias-variance tradeoff. slajdy-L04 | [U1/4][U4/4] |
05 | 20.3. | Modifikácie gradientových metód, optimalizácia druhého rádu, regularizácia. Problémy optimalizácie. slajdy-L05 | [U1/15][U4/11] |
06 | 27.3. | Učenie bez učiteľa, extrakcia príznakov, model neurálnej PCA. Vizualizácia dát: model samoorganizujúcej sa mapy (SOM). slajdy-L06 | [U1/8-9][U5/7] |
07 | 03.4. | Modelovanie sekvenčných dát: dopredné NS, vzťah k n-gramom, čiastočne a úplne rekurentné modely, model SRN, algoritmy BPTT, RTRL. slajdy-L07 | [U4/8][U5/6] |
08 | 10.4. | Hopfieldov model NS: deterministická dynamika, atraktory v stavovom priestore, autoasociatívna pamäť, náčrt stochastického modelu, moderné verzie. slajdy-L08 | [U1/13][U5/9] |
09 | 17.4. | Expanzia skrytej reprezentácie: NS s radiálnymi bázovými funkciami (RBF), sieť s echo stavmi (ESN). slajdy-L09 | [U1/5][U2] |
10 | 24.4. | Hlboké učenie. Konvolučné neurónové siete: základné princípy. slajdy-L10 | [U3/6,9, U4/6] |
11 | 30.4. | Novšie modely NS: autoenkódery, rekurentné GRU, LSTM. slajdy-L11 | [U3/14,U4/9.1-2] |
12 | 07.5. | Stochastické rekurentné modely NS: úvod do pravdepodobnostného modelovania, inšpirácia z fyziky, Boltzmannov stroj, RBM model, Deep Belief Network. slajdy-L12 | [U1/11][U3/16] |
Literatúra
- Farkaš I. (2016). Neural networks. Knižničné a edičné centrum FMFI UK v Bratislave. Slajdy k prednáškam.
- Haykin S. (2009). Neural Networks and Learning Machines (3rd ed.). Upper Saddle River, Pearson Education (k dispozícii na štúdium v knižnici FMFI, ale aj stiahnuteľné z webu). [U1]
- Jaeger H. (2007). Echo-state network. Scholarpedia, 2(9):2330. [U2]
- Goodfellow I., Bengio Y., Courville A. (2016). Deep Learning. MIT Press. [U3]
- Zhang A. et al. (2020). Dive into Deep Learning. An interactive deep learning book with code, math, and discussions, based on the NumPy interface. [U4]
- Kvasnička V., Beňušková., Pospíchal J., Farkaš I., Tiňo P. a Kráľ A. (1997). Úvod do teórie neurónových sietí. Iris: Bratislava. [U5]
Podmienky absolvovania a spôsob hodnotenia
- Odovzdanie aspoň dvoch funkčných projektov (z troch) počas semestra (max. 3x10 = 30 bodov) a získanie z projektov spolu aspoň 15 bodov. Termíny na odovzdanie projektov budú včas uvedené na stránke. Projekty budú ponúkať aj bonusy (spolu max. 4 body).
- Študent/ka môže byť požiadaný/á, aby prezentoval/a svoj funkčný kód na cvičení ako súčasť odovzdania projektu.
- Na začiatku každého cvičenia (počnúc tretím cvičením) sa budú písať 5-minútovky, za ktoré tiež bude možné získať body (spolu 10x3 bodov za semester).
- Za aktívnu účasť na cvičení bude možné získať ďalších max. 10 bodov. Z cvičení je nutné získať spolu aspoň 20 bodov (zo 40).
- Absolvovanie záverečnej písomno-ústnej skúšky (3 otázky, pseudonáhodný výber, spolu 30 bodov). Na skúšku sa môže prihlásiť len ten, kto má oznámkované aspoň dva projekty s fungujúcim kódom. Skúška je povinná, je nutné získať aspoň 12 bodov.
- Prednášky sú dobrovoľné, za účasť však možno získať max. 5 bonusových bodov.
- Celkové hodnotenie: A (100-91), B (90-81), C (80-71), D (70-61), E (60-51), Fx (50-0).
Projekty počas semestra
- Projekt, spolu so zdrojovým kódom, sa odovzdáva k stanoveného termínu (v systéme Moodle). Za každý oneskorený kalendárny deň (max. 5 dní) odovzdania vzniká malus 2 body (až do nuly). Projekt sa nebude prijímať neskôr ako týždeň po termíne.
- Pri projekte sa hodnotí najmä obsah, ale záleží aj na forme (čitateľnosť, úprava). Obsah projektu musí byť zrozumiteľný, aby bolo jasné, čo a ako ste robili, t.j. grafické výstupy majú byť kombinované so sprievodným textom. Za výraznejšie formálne a gramatické nedostatky môže byť strhnutý bod.
- Model je naprogramovaný v jazyku Python a projekt sa odovzdáva vo formáte PDF.
- Pri zistení podvádzania študent/ka získava automaticky nula bodov z projektu a nebude pripustený/á ku skúške.