(Sylabus)
 
(56 intermediate revisions by 2 users not shown)
Line 6: Line 6:
 
__TOC__
 
__TOC__
  
Cieľom predmetu je oboznámiť so základnými konceptmi a algoritmami učenia umelých neurónových sietí a ich použitím pri riešení rôznych úloh. Teoretické prednášky sú kombinované s praktickým modelovaním na cvičeniach v jazyku Python.
+
Cieľom predmetu je oboznámiť študentov so základnými konceptmi a algoritmami učenia umelých neurónových sietí a ich použitím pri riešení rôznych úloh. Sylabus je kompozíciou starších modelov s novšími, v snahe ponúknuť prierez kľúčovými míľnikmi o tejto oblasti výskumu. Teoretické prednášky sú kombinované s praktickými cvičeniami v jazyku Python.
 
<!--[https://sluzby.fmph.uniba.sk/infolist/sk/2-AIN-132_15.html Informačný list predmetu]-->
 
<!--[https://sluzby.fmph.uniba.sk/infolist/sk/2-AIN-132_15.html Informačný list predmetu]-->
 
== Novinky ==
 
V prednáškach a cvičeniach boli urobené čiastočné zmeny. Niektoré staršie časti boli skrátené, niektoré novšie veci pridané. Sylabus je aktualizovaný, ako aj hodnotenie aktivít predmetu.
 
  
 
<!--
 
<!--
Line 36: Line 33:
 
|-
 
|-
 
|Prednáška
 
|Prednáška
|utorok
+
|streda
|14:50 - 16:20
+
|9:50 - 11:20
|online
+
|M-IV
 
|[[Igor Farkas|Igor Farkaš]]
 
|[[Igor Farkas|Igor Farkaš]]
 
|-
 
|-
|[https://moodle.uniba.sk/moodle/inf11/course/view.php?id=734 Praktické cvičenie]
+
|[https://moodle.uniba.sk/course/view.php?id=2883 Praktické cvičenie]
 
|štvrtok
 
|štvrtok
|16:30 - 18:00
+
|18:10 - 19:40
|online
+
|H3
|[[Juraj Holas|Juraj Holas]], [[Endre Hamerlik|Endre Hamerlik]]
+
|[[Stefan Pocos|Štefan Pócoš]], [[Iveta Beckova | Iveta Bečková]]
 
|}
 
|}
 
  
 
== Sylabus ==
 
== Sylabus ==
  
 
{| class="alternative table-responsive"
 
{| class="alternative table-responsive"
 +
!#
 
!Dátum
 
!Dátum
 
!Názov prednášky
 
!Názov prednášky
 
!Literatúra
 
!Literatúra
 
|-
 
|-
|18.2.
+
|01
|Podmienky na absolvovanie predmetu. Úvod k predmetu, inšpirácia z neurobiológie, stručná história NS, základné koncepty. NS s logickými neurónmi. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.intro.L01.4x.pdf slajdy-L01]-->
+
|21.2.
 +
|Podmienky na absolvovanie predmetu. Úvod k predmetu, inšpirácia z neurobiológie, stručná história NS, základné koncepty. NS s logickými neurónmi. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.intro.L01.pdf slajdy-L01]
 
| [U1/1][U3/1][U5/1]
 
| [U1/1][U3/1][U5/1]
 
|-
 
|-
|25.2.
+
|02
|Binárny a spojitý perceptrón: učenie s učiteľom, chybové funkcie, binárna klasifikácia a regresia, lineárna separovateľnosť. Súvis s Bayesovským klasifikátorom.  <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.perceptron.L02.4x.pdf slajdy-L02]-->
+
|28.2.
 +
|Binárny a spojitý perceptrón: učenie s učiteľom, chybové funkcie, binárna klasifikácia a regresia, lineárna separovateľnosť. Súvis s Bayesovským klasifikátorom.  [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.perceptron.L02.pdf slajdy-L02]
 
|[U1/1-3]
 
|[U1/1-3]
 
|-
 
|-
|03.3.
+
|03
|Jednovrstvové NS: Lineárna autoasociácia: model General Inverse. Klasifikácia do n-tried. Chybové funkcie, súvis s teóriou informácie. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.single-layer-models.L03.4x.pdf slajdy-L03]-->
+
|06.3.
 
+
|Jednovrstvové NS s učiteľom: Lineárna autoasociácia: model General Inverse. Klasifikácia do n-tried. Chybové funkcie, súvis s teóriou informácie. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.single-layer-models.L03.pdf slajdy-L03]
 
|[U4/3][U5/4]
 
|[U4/3][U5/4]
 
|-
 
|-
|17.3.
+
|04
|Viacvrstvový perceptrón: algoritmus BP. Trénovanie, validácia, testovanie. Selekcia modelu.  <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.mlp.L04.4x.pdf slajdy-L04]-->
+
|13.3.
 +
|Viacvrstvový perceptrón: algoritmus BP. Trénovanie, validácia, testovanie. Selekcia modelu.  Bias-variance tradeoff. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.mlp.L04.pdf slajdy-L04]
 
|[U1/4][U4/4]
 
|[U1/4][U4/4]
 
|-
 
|-
|24.3.
+
|05
|Modifikácie gradientových metód, optimalizácia druhého rádu, regularizácia. Problémy optimalizácie. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.optimization.L05.4x.pdf slajdy-L05]-->
+
|20.3.
 +
|Modifikácie gradientových metód, optimalizácia druhého rádu, regularizácia. Problémy optimalizácie. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.optimization.L05.pdf slajdy-L05]
 
|[U1/15][U4/11]
 
|[U1/15][U4/11]
 
|-
 
|-
|31.3.
+
|06
|Učenie bez učiteľa, extrakcia príznakov, model neurálnej PCA. Vizualizácia dát: model samoorganizujúcej sa mapy (SOM). <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.unsup.L06.4x.pdf slajdy-L06]-->
+
|27.3.
 +
|Učenie bez učiteľa, extrakcia príznakov, model neurálnej PCA. Vizualizácia dát: model samoorganizujúcej sa mapy (SOM). [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.unsup.L06.pdf slajdy-L06]
 
|[U1/8-9][U5/7]
 
|[U1/8-9][U5/7]
 
|-
 
|-
|07.4.
+
|07
|Modelovanie sekvenčných dát: dopredné NS, vzťah k n-gramom, čiastočne a úplne rekurentné modely, model SRN, algoritmy BPTT, RTRL. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.seq-models.L07.4x.pdf slajdy-L07]-->
+
|03.4.
 +
|Modelovanie sekvenčných dát: dopredné NS, vzťah k n-gramom, čiastočne a úplne rekurentné modely, model SRN, algoritmy BPTT, RTRL. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.seq-models.L07.pdf slajdy-L07]
 
|[U4/8][U5/6]
 
|[U4/8][U5/6]
 
|-
 
|-
|14.4.
+
|08
|Expanzia skrytej reprezentácie: NS s radiálnymi bázovými funkciami (RBF), sieť s echo stavmi (ESN). <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.rbf-esn.L08.4x.pdf slajdy-L08]-->
+
|10.4.
 +
|Hopfieldov model NS: deterministická dynamika, atraktory v stavovom priestore, autoasociatívna pamäť, náčrt stochastického modelu, moderné verzie. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.hopfield-aam.L08.pdf slajdy-L08]
 +
|[U1/13][U5/9]
 +
|-
 +
|09
 +
|17.4.
 +
|Expanzia skrytej reprezentácie: NS s radiálnymi bázovými funkciami (RBF), sieť s echo stavmi (ESN). [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.rbf-esn.L09.pdf slajdy-L09]
 
|[U1/5][U2]
 
|[U1/5][U2]
 
|-
 
|-
|21.4.
+
|10
|Hlboké učenie. Konvolučné neurónové siete: úvod. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.deep-convol.L09.4x.pdf slajdy-L09]-->
+
|24.4.
 +
|Hlboké učenie. Konvolučné neurónové siete: základné princípy. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.deep-convol.L10.pdf slajdy-L10]
 
|[U3/6,9, U4/6]
 
|[U3/6,9, U4/6]
 
|-
 
|-
|28.4.
+
|11
|Moderné rekurentné siete: autoenkódery, GRU, LSTM. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.autoenc-gated.L10.4x.pdf slajdy-L10]-->
+
|30.4.
 +
|Novšie modely NS: autoenkódery, rekurentné GRU, LSTM. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.autoenc-gated.L11.pdf slajdy-L11]
 
|[U3/14,U4/9.1-2]
 
|[U3/14,U4/9.1-2]
 
|-
 
|-
|05.5.
+
|12
|Hopfieldov model NS: deterministická dynamika, atraktory v stavovom priestore, autoasociatívna pamäť, náčrt stochastického modelu. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.hopfield-aam.L11.4x.pdf slajdy-L11]-->
+
|07.5.
|[U1/13][U5/9]
+
|Stochastické rekurentné modely NS: úvod do pravdepodobnostného modelovania, inšpirácia z fyziky, Boltzmannov stroj, RBM model, Deep Belief Network. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.stochastic.L12.pdf slajdy-L12]
 +
|[U1/11][U3/16]
 
|-
 
|-
|12.5.
 
|Stochastické rekurentné modely NS: základy teórie pravdepodobnosti a štatistickej mechaniky, Boltzmannov stroj, RBM model, Deep Belief Network.  <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.stochastic.L12.4x.pdf slajdy]-->
 
|[U1/11][U3/16]
 
 
|}
 
|}
  
Line 117: Line 126:
 
== Podmienky absolvovania a spôsob hodnotenia ==
 
== Podmienky absolvovania a spôsob hodnotenia ==
  
* Odovzdanie aspoň dvoch (z troch) projektov počas semestra (max. 3x5 = 15 bodov). Termíny na odovzdanie projektov budú včas uvedené na stránke. Projekty budú ponúkať aj bonusy (max. 2 body).
+
* <b>Odovzdanie aspoň dvoch funkčných projektov</b> (z troch) počas semestra (max. 3x10 = 30 bodov) a získanie z projektov spolu aspoň 15 bodov. Termíny na odovzdanie projektov budú včas uvedené na stránke. Projekty budú ponúkať aj bonusy (spolu max. 4 body).
* Študent môže byť požiadaný, aby prezentoval svoj funkčný kód na cvičení ako súčasť odovzdania projektu. Na cvičeniach sa budú robiť malé úlohy, za ktoré tiež bude možné získať body (max. 17 za semester).
+
* Študent/ka môže byť požiadaný, aby <b>prezentoval/a svoj funkčný kód na cvičení</b> ako súčasť odovzdania projektu.  
* Absolvovanie záverečnej písomno-ústnej skúšky (3 otázky po 5 bodov, pseudonáhodný výber). Na skúšku sa môže prihlasiť len ten, kto má oznámkované aspoň dva projekty s fungujúcim kódom. Skúška je povinná, ústna, je nutné získať aspoň 6 bodov.
+
* Na začiatku každého cvičenia (počnúc tretím cvičením) sa budú <b>písať 5-minútovky</b>, za ktoré tiež bude možné získať body (spolu 10x3 bodov za semester).
* Prednášky sú dobrovoľné, za účasť však možno získať max. 3 body.
+
* Za <b>aktívnu účasť na cvičení</b> bude možné získať ďalších max. 10 bodov. Z cvičení je nutné získať spolu aspoň 20 bodov (zo 40).
* <b>Celkové hodnotenie:</b> A (50-46), B (45-41), C (40-36), D (35-31), E (30-26), Fx (25-0).
+
* Absolvovanie <b>záverečnej písomno-ústnej skúšky</b> (3 otázky, pseudonáhodný výber, spolu 30 bodov). Na skúšku sa môže prihlásiť len ten, kto má oznámkované aspoň dva projekty s fungujúcim kódom. Skúška je povinná, je nutné získať aspoň 12 bodov.
 +
* <b>Prednášky sú dobrovoľné</b>, za účasť však možno získať max. 5 bonusových bodov.
 +
* <b>Celkové hodnotenie:</b> A (100-91), B (90-81), C (80-71), D (70-61), E (60-51), Fx (50-0).
  
 
== Projekty počas semestra ==
 
== Projekty počas semestra ==
  
* Projekt, spolu so zdrojovým kódom, sa odovzdáva k stanoveného termínu. Za každý oneskorený kalendárny deň (max. 5 dní) odovzdania vzniká malus 1 bod (až do nuly). Úspešný projekt (fungujúci model) odovzdaný viac ako týždeň po termíne sa započítava bez bodov.
+
* Projekt, spolu so zdrojovým kódom, sa odovzdáva k stanoveného termínu (v systéme Moodle). Za každý oneskorený kalendárny deň (max. 5 dní) odovzdania vzniká malus 2 body (až do nuly). Projekt sa nebude prijímať neskôr ako týždeň po termíne.
* Pri projekte sa hodnotí najmä obsah, ale záleží aj na forme (čitateľnosť, úprava). Obsah projektu musí byť zrozumiteľný, aby bolo jasné, čo a ako ste robili, t.j. grafické výstupy kombinované so sprievodným textom. Za výraznejšie formálne a gramatické nedostatky môže byť strhnutý bod.
+
* Pri projekte sa hodnotí najmä obsah, ale záleží aj na forme (čitateľnosť, úprava). Obsah projektu musí byť zrozumiteľný, aby bolo jasné, čo a ako ste robili, t.j. grafické výstupy majú byť kombinované so sprievodným textom. Za výraznejšie formálne a gramatické nedostatky môže byť strhnutý bod.
 
* Model je naprogramovaný v jazyku Python a projekt sa odovzdáva vo formáte PDF.
 
* Model je naprogramovaný v jazyku Python a projekt sa odovzdáva vo formáte PDF.
* Pri zistení plagiátorstva študent(ka) získava automaticky nula bodov z projektu a nebude pripustený(-á) ku skúške.
+
* Pri zistení podvádzania študent/ka získava automaticky nula bodov z projektu a nebude pripustený/á ku skúške.

Latest revision as of 15:22, 7 May 2024

Neurónové siete 2-AIN-132

Cieľom predmetu je oboznámiť študentov so základnými konceptmi a algoritmami učenia umelých neurónových sietí a ich použitím pri riešení rôznych úloh. Sylabus je kompozíciou starších modelov s novšími, v snahe ponúknuť prierez kľúčovými míľnikmi o tejto oblasti výskumu. Teoretické prednášky sú kombinované s praktickými cvičeniami v jazyku Python.


Rozvrh výučby

Druh výučby Deň Čas Miesto Vyučujúci
Prednáška streda 9:50 - 11:20 M-IV Igor Farkaš
Praktické cvičenie štvrtok 18:10 - 19:40 H3 Štefan Pócoš, Iveta Bečková

Sylabus

# Dátum Názov prednášky Literatúra
01 21.2. Podmienky na absolvovanie predmetu. Úvod k predmetu, inšpirácia z neurobiológie, stručná história NS, základné koncepty. NS s logickými neurónmi. slajdy-L01 [U1/1][U3/1][U5/1]
02 28.2. Binárny a spojitý perceptrón: učenie s učiteľom, chybové funkcie, binárna klasifikácia a regresia, lineárna separovateľnosť. Súvis s Bayesovským klasifikátorom. slajdy-L02 [U1/1-3]
03 06.3. Jednovrstvové NS s učiteľom: Lineárna autoasociácia: model General Inverse. Klasifikácia do n-tried. Chybové funkcie, súvis s teóriou informácie. slajdy-L03 [U4/3][U5/4]
04 13.3. Viacvrstvový perceptrón: algoritmus BP. Trénovanie, validácia, testovanie. Selekcia modelu. Bias-variance tradeoff. slajdy-L04 [U1/4][U4/4]
05 20.3. Modifikácie gradientových metód, optimalizácia druhého rádu, regularizácia. Problémy optimalizácie. slajdy-L05 [U1/15][U4/11]
06 27.3. Učenie bez učiteľa, extrakcia príznakov, model neurálnej PCA. Vizualizácia dát: model samoorganizujúcej sa mapy (SOM). slajdy-L06 [U1/8-9][U5/7]
07 03.4. Modelovanie sekvenčných dát: dopredné NS, vzťah k n-gramom, čiastočne a úplne rekurentné modely, model SRN, algoritmy BPTT, RTRL. slajdy-L07 [U4/8][U5/6]
08 10.4. Hopfieldov model NS: deterministická dynamika, atraktory v stavovom priestore, autoasociatívna pamäť, náčrt stochastického modelu, moderné verzie. slajdy-L08 [U1/13][U5/9]
09 17.4. Expanzia skrytej reprezentácie: NS s radiálnymi bázovými funkciami (RBF), sieť s echo stavmi (ESN). slajdy-L09 [U1/5][U2]
10 24.4. Hlboké učenie. Konvolučné neurónové siete: základné princípy. slajdy-L10 [U3/6,9, U4/6]
11 30.4. Novšie modely NS: autoenkódery, rekurentné GRU, LSTM. slajdy-L11 [U3/14,U4/9.1-2]
12 07.5. Stochastické rekurentné modely NS: úvod do pravdepodobnostného modelovania, inšpirácia z fyziky, Boltzmannov stroj, RBM model, Deep Belief Network. slajdy-L12 [U1/11][U3/16]

Literatúra

  • Farkaš I. (2016). Neural networks. Knižničné a edičné centrum FMFI UK v Bratislave. Slajdy k prednáškam.
  • Haykin S. (2009). Neural Networks and Learning Machines (3rd ed.). Upper Saddle River, Pearson Education (k dispozícii na štúdium v knižnici FMFI, ale aj stiahnuteľné z webu). [U1]
  • Jaeger H. (2007). Echo-state network. Scholarpedia, 2(9):2330. [U2]
  • Goodfellow I., Bengio Y., Courville A. (2016). Deep Learning. MIT Press. [U3]
  • Zhang A. et al. (2020). Dive into Deep Learning. An interactive deep learning book with code, math, and discussions, based on the NumPy interface. [U4]
  • Kvasnička V., Beňušková., Pospíchal J., Farkaš I., Tiňo P. a Kráľ A. (1997). Úvod do teórie neurónových sietí. Iris: Bratislava. [U5]

Podmienky absolvovania a spôsob hodnotenia

  • Odovzdanie aspoň dvoch funkčných projektov (z troch) počas semestra (max. 3x10 = 30 bodov) a získanie z projektov spolu aspoň 15 bodov. Termíny na odovzdanie projektov budú včas uvedené na stránke. Projekty budú ponúkať aj bonusy (spolu max. 4 body).
  • Študent/ka môže byť požiadaný/á, aby prezentoval/a svoj funkčný kód na cvičení ako súčasť odovzdania projektu.
  • Na začiatku každého cvičenia (počnúc tretím cvičením) sa budú písať 5-minútovky, za ktoré tiež bude možné získať body (spolu 10x3 bodov za semester).
  • Za aktívnu účasť na cvičení bude možné získať ďalších max. 10 bodov. Z cvičení je nutné získať spolu aspoň 20 bodov (zo 40).
  • Absolvovanie záverečnej písomno-ústnej skúšky (3 otázky, pseudonáhodný výber, spolu 30 bodov). Na skúšku sa môže prihlásiť len ten, kto má oznámkované aspoň dva projekty s fungujúcim kódom. Skúška je povinná, je nutné získať aspoň 12 bodov.
  • Prednášky sú dobrovoľné, za účasť však možno získať max. 5 bonusových bodov.
  • Celkové hodnotenie: A (100-91), B (90-81), C (80-71), D (70-61), E (60-51), Fx (50-0).

Projekty počas semestra

  • Projekt, spolu so zdrojovým kódom, sa odovzdáva k stanoveného termínu (v systéme Moodle). Za každý oneskorený kalendárny deň (max. 5 dní) odovzdania vzniká malus 2 body (až do nuly). Projekt sa nebude prijímať neskôr ako týždeň po termíne.
  • Pri projekte sa hodnotí najmä obsah, ale záleží aj na forme (čitateľnosť, úprava). Obsah projektu musí byť zrozumiteľný, aby bolo jasné, čo a ako ste robili, t.j. grafické výstupy majú byť kombinované so sprievodným textom. Za výraznejšie formálne a gramatické nedostatky môže byť strhnutý bod.
  • Model je naprogramovaný v jazyku Python a projekt sa odovzdáva vo formáte PDF.
  • Pri zistení podvádzania študent/ka získava automaticky nula bodov z projektu a nebude pripustený/á ku skúške.