Neurónové siete 2-AIN-132
Obsah
Cieľom predmetu je oboznámiť študentov so základnými konceptmi a algoritmami učenia umelých neurónových sietí a ich použitím pri riešení rôznych úloh. Sylabus je kompozíciou starších modelov s novšími, v snahe ponúknuť prierez kľúčovými míľnikmi o tejto oblasti výskumu. Teoretické prednášky sú kombinované s praktickými cvičeniami v jazyku Python.
Rozvrh výučby
Druh výučby | Deň | Čas | Miesto | Vyučujúci |
---|---|---|---|---|
Prednáška | streda | 9:50 - 11:20 | M-IV | Igor Farkaš |
Praktické cvičenie | štvrtok | 18:10 - 19:40 | H3 | Štefan Pócoš, Iveta Bečková |
Sylabus
# | Dátum | Názov prednášky | Literatúra |
---|---|---|---|
01 | 21.2. | Podmienky na absolvovanie predmetu. Úvod k predmetu, inšpirácia z neurobiológie, stručná história NS, základné koncepty. NS s logickými neurónmi. slajdy-L01 | [U1/1][U3/1][U5/1] |
02 | 28.2. | Binárny a spojitý perceptrón: učenie s učiteľom, chybové funkcie, binárna klasifikácia a regresia, lineárna separovateľnosť. Súvis s Bayesovským klasifikátorom. slajdy-L02 | [U1/1-3] |
03 | 06.3. | Jednovrstvové NS s učiteľom: Lineárna autoasociácia: model General Inverse. Klasifikácia do n-tried. Chybové funkcie, súvis s teóriou informácie. slajdy-L03 | [U4/3][U5/4] |
04 | 13.3. | Viacvrstvový perceptrón: algoritmus BP. Trénovanie, validácia, testovanie. Selekcia modelu. Bias-variance tradeoff. slajdy-L04 | [U1/4][U4/4] |
05 | 20.3. | Modifikácie gradientových metód, optimalizácia druhého rádu, regularizácia. Problémy optimalizácie. slajdy-L05 | [U1/15][U4/11] |
06 | 27.3. | Učenie bez učiteľa, extrakcia príznakov, model neurálnej PCA. Vizualizácia dát: model samoorganizujúcej sa mapy (SOM). slajdy-L06 | [U1/8-9][U5/7] |
07 | 03.4. | Modelovanie sekvenčných dát: dopredné NS, vzťah k n-gramom, čiastočne a úplne rekurentné modely, model SRN, algoritmy BPTT, RTRL. slajdy-L07 | [U4/8][U5/6] |
08 | 10.4. | Hopfieldov model NS: deterministická dynamika, atraktory v stavovom priestore, autoasociatívna pamäť, náčrt stochastického modelu, moderné verzie. slajdy-L08 | [U1/13][U5/9] |
09 | 17.4. | Expanzia skrytej reprezentácie: NS s radiálnymi bázovými funkciami (RBF), sieť s echo stavmi (ESN). slajdy-L09 | [U1/5][U2] |
10 | 24.4. | Hlboké učenie. Konvolučné neurónové siete: základné princípy. slajdy-L10 | [U3/6,9, U4/6] |
11 | 30.4. | Novšie modely NS: autoenkódery, rekurentné GRU, LSTM. slajdy-L11 | [U3/14,U4/9.1-2] |
12 | 07.5. | Stochastické rekurentné modely NS: úvod do pravdepodobnostného modelovania, inšpirácia z fyziky, Boltzmannov stroj, RBM model, Deep Belief Network. slajdy-L12 | [U1/11][U3/16] |
Literatúra
- Farkaš I. (2016). Neural networks. Knižničné a edičné centrum FMFI UK v Bratislave. Slajdy k prednáškam.
- Haykin S. (2009). Neural Networks and Learning Machines (3rd ed.). Upper Saddle River, Pearson Education (k dispozícii na štúdium v knižnici FMFI, ale aj stiahnuteľné z webu). [U1]
- Jaeger H. (2007). Echo-state network. Scholarpedia, 2(9):2330. [U2]
- Goodfellow I., Bengio Y., Courville A. (2016). Deep Learning. MIT Press. [U3]
- Zhang A. et al. (2020). Dive into Deep Learning. An interactive deep learning book with code, math, and discussions, based on the NumPy interface. [U4]
- Kvasnička V., Beňušková., Pospíchal J., Farkaš I., Tiňo P. a Kráľ A. (1997). Úvod do teórie neurónových sietí. Iris: Bratislava. [U5]
Podmienky absolvovania a spôsob hodnotenia
- Odovzdanie aspoň dvoch funkčných projektov (z troch) počas semestra (max. 3x10 = 30 bodov) a získanie z projektov spolu aspoň 15 bodov. Termíny na odovzdanie projektov budú včas uvedené na stránke. Projekty budú ponúkať aj bonusy (spolu max. 4 body).
- Študent/ka môže byť požiadaný/á, aby prezentoval/a svoj funkčný kód na cvičení ako súčasť odovzdania projektu.
- Na začiatku každého cvičenia (počnúc tretím cvičením) sa budú písať 5-minútovky, za ktoré tiež bude možné získať body (spolu 10x3 bodov za semester).
- Za aktívnu účasť na cvičení bude možné získať ďalších max. 10 bodov. Z cvičení je nutné získať spolu aspoň 20 bodov (zo 40).
- Absolvovanie záverečnej písomno-ústnej skúšky (3 otázky, pseudonáhodný výber, spolu 30 bodov). Na skúšku sa môže prihlásiť len ten, kto má oznámkované aspoň dva projekty s fungujúcim kódom. Skúška je povinná, je nutné získať aspoň 12 bodov.
- Prednášky sú dobrovoľné, za účasť však možno získať max. 5 bonusových bodov.
- Celkové hodnotenie: A (100-91), B (90-81), C (80-71), D (70-61), E (60-51), Fx (50-0).
Projekty počas semestra
- Projekt, spolu so zdrojovým kódom, sa odovzdáva k stanoveného termínu (v systéme Moodle). Za každý oneskorený kalendárny deň (max. 5 dní) odovzdania vzniká malus 2 body (až do nuly). Projekt sa nebude prijímať neskôr ako týždeň po termíne.
- Pri projekte sa hodnotí najmä obsah, ale záleží aj na forme (čitateľnosť, úprava). Obsah projektu musí byť zrozumiteľný, aby bolo jasné, čo a ako ste robili, t.j. grafické výstupy majú byť kombinované so sprievodným textom. Za výraznejšie formálne a gramatické nedostatky môže byť strhnutý bod.
- Model je naprogramovaný v jazyku Python a projekt sa odovzdáva vo formáte PDF.
- Pri zistení podvádzania študent/ka získava automaticky nula bodov z projektu a nebude pripustený/á ku skúške.