Riadok 95: | Riadok 95: | ||
|- | |- | ||
|28.4. | |28.4. | ||
− | | | + | |Moderné rekurentné siete: GRU, LSTM, autoenkóder, obojsmerné modely. |
|[U1/6][U4] | |[U1/6][U4] | ||
+ | | | ||
|- | |- | ||
− | | | + | |05.5. |
+ | |Hopfieldov model NS: deterministická dynamika, atraktory v stavovom priestore, autoasociatívna pamäť, náčrt stochastického modelu. | ||
+ | |- | ||
+ | |12.5. | ||
|Stochastické rekurentné modely NS: základné koncepty teórie pravdepodobnosti a štatistickej mechaniky, Boltzmannov stroj, RBM model, Deep Belief Network. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.stochastic.L12.4x.pdf slajdy]--> | |Stochastické rekurentné modely NS: základné koncepty teórie pravdepodobnosti a štatistickej mechaniky, Boltzmannov stroj, RBM model, Deep Belief Network. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.stochastic.L12.4x.pdf slajdy]--> | ||
|[U2][U5] | |[U2][U5] | ||
Riadok 107: | Riadok 111: | ||
* Kvasnička V., Beňušková., Pospíchal J., Farkaš I., Tiňo P. a Kráľ A. (1997). [http://dai.fmph.uniba.sk/courses/NN/UvodDoTeorieNS.pdf.zip Úvod do teórie neurónových sietí]. Iris: Bratislava. [U1] | * Kvasnička V., Beňušková., Pospíchal J., Farkaš I., Tiňo P. a Kráľ A. (1997). [http://dai.fmph.uniba.sk/courses/NN/UvodDoTeorieNS.pdf.zip Úvod do teórie neurónových sietí]. Iris: Bratislava. [U1] | ||
* Haykin S. (2009). Neural Networks and Learning Machines (3rd ed.). Upper Saddle River, Pearson Education (k dispozícii na štúdium v knižnici FMFI, ale aj stiahnuteľné z webu). [U2] | * Haykin S. (2009). Neural Networks and Learning Machines (3rd ed.). Upper Saddle River, Pearson Education (k dispozícii na štúdium v knižnici FMFI, ale aj stiahnuteľné z webu). [U2] | ||
− | * Farkaš I. ( | + | * Farkaš I. (2016). [http://dai.fmph.uniba.sk/courses/NN/neural-networks.2016.pdf Neural networks]. Knižničné a edičné centrum FMFI UK v Bratislave. [U3] |
* Jaeger H. (2007). [http://www.scholarpedia.org/article/Echo_state_network Echo-state network]. Scholarpedia, 2(9):2330. [U4] | * Jaeger H. (2007). [http://www.scholarpedia.org/article/Echo_state_network Echo-state network]. Scholarpedia, 2(9):2330. [U4] | ||
* Goodfellow I., Bengio Y., Courville A. (2016). [http://www.deeplearningbook.org Deep Learning]. MIT Press. [U5] | * Goodfellow I., Bengio Y., Courville A. (2016). [http://www.deeplearningbook.org Deep Learning]. MIT Press. [U5] | ||
− | * | + | * Zhang A. et al. (2020). [https://d2l.ai/ Dive into Deep Learning]. An interactive deep learning book with code, math, and discussions, based on the NumPy interface. |
== Podmienky absolvovania a spôsob hodnotenia == | == Podmienky absolvovania a spôsob hodnotenia == |
Verzia zo dňa a času 17:32, 12. február 2020
Neurónové siete 2-AIN-132
Obsah
Cieľom predmetu je oboznámiť so základnými konceptmi a algoritmami učenia umelých neurónových sietí a ich použitím pri riešení rôznych úloh. Teoretické prednášky sú kombinované s praktickým modelovaním na cvičeniach v jazyku Python.
Novinky
V prednáškach budú robené čiastočné zmeny. Niektoré staršie časti budú skrátené, niektoré novšie veci pridané. Aktualizovaný sylabus bude zverejnený pred začiatkom semestra.
Rozvrh výučby
Druh výučby | Deň | Čas | Miesto | Vyučujúci |
---|---|---|---|---|
Prednáška | utorok | TBA | TBA | Igor Farkaš |
Praktické cvičenie | streda | TBA | TBA | Juraj Holas, Endre Hamerlik |
Sylabus
Dátum | Názov prednášky | Literatúra | |
---|---|---|---|
18.2. | Podmienky na absolvovanie predmetu. Úvod k predmetu, inšpirácia z neurobiológie, stručná história NS, základné koncepty. NS s logickými neurónmi. | [U1/1][U2/1][U3] | |
25.2. | Binárny a spojitý perceptrón: učenie s učiteľom, chybové funkcie, binárna klasifikácia a regresia, lineárna separovateľnosť. Súvis s Bayesovským klasifikátorom. | [U2/3][U1/5] | |
03.3. | Jednovrstvové NS: klasifikácia do n-tried. Chybové funkcie, súvis s teóriou informácie. Lineárna autoasociácia - model General Inverse. | [U1/4] | |
10.3. | Viacvrstvový perceptrón: algoritmus BP. Trénovanie, validácia, testovanie. Selekcia modelu. | [U1/5][U2/4][U5/5] | |
17.3. | Modifikácie gradientových metód, optimalizácia druhého rádu, regularizácia. Problémy optimalizácie. | [U1/5][U2/4][U5][U6/3] | |
24.3. | Učenie bez učiteľa, extrakcia príznakov, model neurálnej PCA. Vizualizácia dát: model SOM. | [U2/8] | |
31.3. | Modelovanie sekvenčných dát: dopredné NS, vzťah k n-gramom, čiastočne a úplne rekurentné modely, model SRN, algoritmy BPTT, RTRL. | [U1/7][U2/9] | |
07.4. | Expanzia skrytej reprezentácie: NS s radiálnymi bázovými funkciami (RBF), sieť s echo stavmi (ESN). | [U2/5-6] | |
14.4. | voľno - Veľká noc | ||
21.4. | Hlboké neurónové siete. Konvolučné neurónové siete: kernel, max-pooling. | [U1/8][U2/13] | |
28.4. | Moderné rekurentné siete: GRU, LSTM, autoenkóder, obojsmerné modely. | [U1/6][U4] | |
05.5. | Hopfieldov model NS: deterministická dynamika, atraktory v stavovom priestore, autoasociatívna pamäť, náčrt stochastického modelu. | ||
12.5. | Stochastické rekurentné modely NS: základné koncepty teórie pravdepodobnosti a štatistickej mechaniky, Boltzmannov stroj, RBM model, Deep Belief Network. | [U2][U5] |
Literatúra
- Kvasnička V., Beňušková., Pospíchal J., Farkaš I., Tiňo P. a Kráľ A. (1997). Úvod do teórie neurónových sietí. Iris: Bratislava. [U1]
- Haykin S. (2009). Neural Networks and Learning Machines (3rd ed.). Upper Saddle River, Pearson Education (k dispozícii na štúdium v knižnici FMFI, ale aj stiahnuteľné z webu). [U2]
- Farkaš I. (2016). Neural networks. Knižničné a edičné centrum FMFI UK v Bratislave. [U3]
- Jaeger H. (2007). Echo-state network. Scholarpedia, 2(9):2330. [U4]
- Goodfellow I., Bengio Y., Courville A. (2016). Deep Learning. MIT Press. [U5]
- Zhang A. et al. (2020). Dive into Deep Learning. An interactive deep learning book with code, math, and discussions, based on the NumPy interface.
Podmienky absolvovania a spôsob hodnotenia
- Odovzdanie aspoň dvoch (z troch) projektov počas semestra (max. 3x7 = 21 bodov). Termíny na odovzdanie projektov budú včas uvedené na stránke. Projekty budú ponúkať aj bonusy (max. 2 body).
- Študent môže byť požiadaný, aby prezentoval svoj funkčný kód na cvičení ako súčasť odovzdania projektu. Na cvičeniach sa budú robiť malé úlohy, za ktoré tiež bude možné získať body (max. 11 za semester).
- Absolvovanie záverečnej písomno-ústnej skúšky (3 otázky po 6 bodov, pseudonáhodný výber). Na skúšku sa môže prihlasiť len ten, kto má oznámkované aspoň dva projekty s fungujúcim kódom. Skúška je povinná, písomno-ústna, je nutné získať aspoň 6 bodov.
- Prednášky sú dobrovoľné, za účasť však možno získať max. 3 body.
- Celkové hodnotenie: A (50-46), B (45-41), C (40-36), D (35-31), E (30-26), Fx (25-0).
Projekty počas semestra
- Projekt, spolu so zdrojovým kódom, sa odovzdáva k stanoveného termínu. Za každý oneskorený kalendárny deň (max. 7 dní) odovzdania vzniká malus 1 bod (až do nuly). Úspešný projekt (fungujúci model) odovzdaný viac ako týždeň po termíne sa započítava bez bodov.
- Pri projekte sa hodnotí najmä obsah, ale záleží aj na forme. Obsah projektu musí byť zrozumiteľný, aby čitateľ videl, čo ste robili a ako ste to robili, t.j. grafické výstupy musia byť kombinované so sprievodným textom. Za výraznejšie formálne a gramatické nedostatky môžu byť strhnuté body.
- Model je naprogramovaný v jazyku Python a projekt sa odovzdáva vo formáte PDF.
- Pri zistení plagiátorstva študent(ka) získava automaticky nula bodov z projektu a nebude pripustený(-á) ku skúške.