(29 intermediate revisions by the same user not shown)
Riadok 10: Riadok 10:
  
 
== Novinky ==
 
== Novinky ==
V prednáškach budú robené čiastočné zmeny. Niektoré staršie časti budú skrátené, niektoré novšie veci pridané. Aktualizovaný sylabus bude zverejnený pred začiatkom semestra.
+
V prednáškach a cvičeniach boli urobené čiastočné zmeny. Niektoré staršie časti boli skrátené, niektoré novšie veci pridané. Sylabus je aktualizovaný, ako aj hodnotenie aktivít predmetu.
  
 
<!--
 
<!--
[https://moodle.uniba.sk/moodle/inf11/mod/assign/view.php?id=24906 Projekt 1] - termín odovzdania: 4.4.2019 23:59
+
[https://moodle.uniba.sk/moodle/inf11/mod/assign/view.php?id=29805 Projekt 1] - termín odovzdania: 8.4.2020 23:55
  
Projekt [https://moodle.uniba.sk/moodle/inf11/mod/assign/view.php?id=24918 (2a)] alebo [https://moodle.uniba.sk/moodle/inf11/mod/assign/view.php?id=24919 (2b)] - termín odovzdania: štvrtok 25.4.2019 23:59
+
Projekt [https://moodle.uniba.sk/moodle/inf11/mod/assign/view.php?id=29809 (2a)] alebo [https://moodle.uniba.sk/moodle/inf11/mod/assign/view.php?id=29810 (2b)] - termín odovzdania: štvrtok 30.4.2020 23:55
  
Projekt [https://moodle.uniba.sk/moodle/inf11/mod/assign/view.php?id=24921 (3a)] alebo [https://moodle.uniba.sk/moodle/inf11/mod/assign/view.php?id=24922 (3b)] - termín odovzdania: pondelok 27.5.2019 23:59
+
Projekt [https://moodle.uniba.sk/moodle/inf11/mod/assign/view.php?id=29814 (3a)] alebo [https://moodle.uniba.sk/moodle/inf11/mod/assign/view.php?id=29815 (3b)] - termín odovzdania: štvrtok 20.5.2020 23:55
  
'''Skúška:''' v AISe sú vypísané termíny, so začiatkom písomnej časti vždy o 8:30 v I-8. Maximálne 8 ľudí na termínŤaháte si pseudonáhodne 3 otázky zo [http://dai.fmph.uniba.sk/courses/NN/ns-otazky.pdf zoznamu otázok].  
+
'''Skúška:''' bude online, termíny som vám poslal emailom, ako aj informácie o jej priebehuVyberiete si (spôsob určím) pseudonáhodne 3 otázky zo [http://dai.fmph.uniba.sk/courses/NN/ns-otazky.2020.pdf zoznamu otázok].  
 +
 
 +
<!--tkom písomnej časti vždy o 8:30 v I-8. Maximálne 8 ľudí na termín.-->
  
 
<!-- [[#Archív noviniek|Archív noviniek…]]  
 
<!-- [[#Archív noviniek|Archív noviniek…]]  
Riadok 35: Riadok 37:
 
|Prednáška
 
|Prednáška
 
|utorok
 
|utorok
|TBA
+
|14:50 - 16:20
|TBA
+
|online
 
|[[Igor Farkas|Igor Farkaš]]
 
|[[Igor Farkas|Igor Farkaš]]
 
|-
 
|-
 
|[https://moodle.uniba.sk/moodle/inf11/course/view.php?id=734 Praktické cvičenie]
 
|[https://moodle.uniba.sk/moodle/inf11/course/view.php?id=734 Praktické cvičenie]
|streda
+
|štvrtok
|TBA
+
|16:30 - 18:00
|TBA
+
|online
 
|[[Juraj Holas|Juraj Holas]], [[Endre Hamerlik|Endre Hamerlik]]
 
|[[Juraj Holas|Juraj Holas]], [[Endre Hamerlik|Endre Hamerlik]]
 
|}
 
|}
Riadok 55: Riadok 57:
 
|-
 
|-
 
|18.2.
 
|18.2.
|Podmienky na absolvovanie predmetu. Úvod k predmetu, inšpirácia z neurobiológie, stručná história NS, základné koncepty. NS s logickými neurónmi. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.intro.L01.4x.pdf slajdy]-->
+
|Podmienky na absolvovanie predmetu. Úvod k predmetu, inšpirácia z neurobiológie, stručná história NS, základné koncepty. NS s logickými neurónmi. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.intro.L01.4x.pdf slajdy-L01]-->
| [U1/1][U2/1][U3]
+
| [U1/1][U3/1][U5/1]
 
|-
 
|-
 
|25.2.
 
|25.2.
|Binárny a spojitý perceptrón: učenie s učiteľom, chybové funkcie, binárna klasifikácia a regresia, lineárna separovateľnosť. Súvis s Bayesovským klasifikátorom.  <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.perceptron.L02.4x.pdf slajdy]-->
+
|Binárny a spojitý perceptrón: učenie s učiteľom, chybové funkcie, binárna klasifikácia a regresia, lineárna separovateľnosť. Súvis s Bayesovským klasifikátorom.  <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.perceptron.L02.4x.pdf slajdy-L02]-->
|[U2/3][U1/5]
+
|[U1/1-3]
 
|-
 
|-
 
|03.3.
 
|03.3.
|Jednovrstvové NS: klasifikácia do n-tried. Chybové funkcie, súvis s teóriou informácie. Lineárna autoasociácia - model General Inverse.
+
|Jednovrstvové NS: Lineárna autoasociácia: model General Inverse. Klasifikácia do n-tried. Chybové funkcie, súvis s teóriou informácie. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.single-layer-models.L03.4x.pdf slajdy-L03]-->
|[U1/4]
+
 
|-
+
|[U4/3][U5/4]
|10.3.
+
|Viacvrstvový perceptrón: algoritmus BP. Trénovanie, validácia, testovanie. Selekcia modelu. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.mlp.L04.4x.pdf slajdy]-->
+
|[U1/5][U2/4][U5/5]
+
 
|-
 
|-
 
|17.3.
 
|17.3.
|Modifikácie gradientových metód, optimalizácia druhého rádu, regularizácia. Problémy optimalizácie. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.deep.L05.4x.pdf slajdy]-->
+
|Viacvrstvový perceptrón: algoritmus BP. Trénovanie, validácia, testovanie. Selekcia modelu. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.mlp.L04.4x.pdf slajdy-L04]-->
|[U1/5][U2/4][U5][U6/3]
+
|[U1/4][U4/4]
 
|-
 
|-
 
|24.3.
 
|24.3.
|Učenie bez učiteľa, extrakcia príznakov, model neurálnej PCA. Vizualizácia dát: model SOM.  
+
|Modifikácie gradientových metód, optimalizácia druhého rádu, regularizácia. Problémy optimalizácie. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.optimization.L05.4x.pdf slajdy-L05]-->
|[U2/8]
+
|[U1/15][U4/11]
 
|-
 
|-
 
|31.3.
 
|31.3.
|Modelovanie sekvenčných dát: dopredné NS, vzťah k n-gramom, čiastočne a úplne rekurentné modely, model SRN, algoritmy BPTT, RTRL. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.seq-nn.L07.4x.pdf slajdy]-->
+
|Učenie bez učiteľa, extrakcia príznakov, model neurálnej PCA. Vizualizácia dát: model samoorganizujúcej sa mapy (SOM). <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.unsup.L06.4x.pdf slajdy-L06]-->
|[U1/7][U2/9]
+
|[U1/8-9][U5/7]
 
|-
 
|-
 
|07.4.
 
|07.4.
|Expanzia skrytej reprezentácie: NS s radiálnymi bázovými funkciami (RBF), sieť s echo stavmi (ESN). <!-- [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.rbf.L08.4x.pdf slajdy]-->
+
|Modelovanie sekvenčných dát: dopredné NS, vzťah k n-gramom, čiastočne a úplne rekurentné modely, model SRN, algoritmy BPTT, RTRL. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.seq-models.L07.4x.pdf slajdy-L07]-->
|[U2/5-6]
+
|[U4/8][U5/6]
 
|-
 
|-
 
|14.4.
 
|14.4.
|voľno - Veľká noc
+
|Expanzia skrytej reprezentácie: NS s radiálnymi bázovými funkciami (RBF), sieť s echo stavmi (ESN). <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.rbf-esn.L08.4x.pdf slajdy-L08]-->
|
+
|[U1/5][U2]
 
|-
 
|-
 
|21.4.
 
|21.4.
|Hlboké neurónové siete. Konvolučné neurónové siete: kernel, max-pooling.
+
|Hlboké učenie. Konvolučné neurónové siete: úvod. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.deep-convol.L09.4x.pdf slajdy-L09]-->
|[U1/8][U2/13]
+
|[U3/6,9, U4/6]
 
|-
 
|-
 
|28.4.
 
|28.4.
|Moderné rekurentné siete: GRU, LSTM, autoenkóder, obojsmerné modely.
+
|Moderné rekurentné siete: autoenkódery, GRU, LSTM. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.autoenc-gated.L10.4x.pdf slajdy-L10]-->
|[U1/6][U4]
+
|[U3/14,U4/9.1-2]
|
+
 
|-
 
|-
 
|05.5.
 
|05.5.
|Hopfieldov model NS: deterministická dynamika, atraktory v stavovom priestore, autoasociatívna pamäť, náčrt stochastického modelu.
+
|Hopfieldov model NS: deterministická dynamika, atraktory v stavovom priestore, autoasociatívna pamäť, náčrt stochastického modelu. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.hopfield-aam.L11.4x.pdf slajdy-L11]-->
 +
|[U1/13][U5/9]
 
|-
 
|-
 
|12.5.
 
|12.5.
|Stochastické rekurentné modely NS: základné koncepty teórie pravdepodobnosti a štatistickej mechaniky, Boltzmannov stroj, RBM model, Deep Belief Network.  <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.stochastic.L12.4x.pdf slajdy]-->
+
|Stochastické rekurentné modely NS: základy teórie pravdepodobnosti a štatistickej mechaniky, Boltzmannov stroj, RBM model, Deep Belief Network.  <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.stochastic.L12.4x.pdf slajdy]-->
|[U2][U5]
+
|[U1/11][U3/16]
 
|}
 
|}
  
 
== Literatúra ==
 
== Literatúra ==
  
* Kvasnička V., Beňušková., Pospíchal J., Farkaš I., Tiňo P. a Kráľ A. (1997). [http://dai.fmph.uniba.sk/courses/NN/UvodDoTeorieNS.pdf.zip Úvod do teórie neurónových sietí]. Iris: Bratislava. [U1]
+
* Farkaš I. (2016). [http://dai.fmph.uniba.sk/courses/NN/neural-networks.2016.pdf Neural networks]. Knižničné a edičné centrum FMFI UK v Bratislave. Slajdy k prednáškam.
* Haykin S. (2009). Neural Networks and Learning Machines (3rd ed.). Upper Saddle River, Pearson Education (k dispozícii na štúdium v knižnici FMFI, ale aj stiahnuteľné z webu). [U2]
+
* Haykin S. (2009). Neural Networks and Learning Machines (3rd ed.). Upper Saddle River, Pearson Education (k dispozícii na štúdium v knižnici FMFI, ale aj stiahnuteľné z webu). [U1]
* Farkaš I. (2016). [http://dai.fmph.uniba.sk/courses/NN/neural-networks.2016.pdf Neural networks]. Knižničné a edičné centrum FMFI UK v Bratislave. [U3]
+
* Jaeger H. (2007). [http://www.scholarpedia.org/article/Echo_state_network Echo-state network]. Scholarpedia, 2(9):2330. [U2]
* Jaeger H. (2007). [http://www.scholarpedia.org/article/Echo_state_network Echo-state network]. Scholarpedia, 2(9):2330. [U4]
+
* Goodfellow I., Bengio Y., Courville A. (2016). [http://www.deeplearningbook.org Deep Learning]. MIT Press. [U3]   
* Goodfellow I., Bengio Y., Courville A. (2016). [http://www.deeplearningbook.org Deep Learning]. MIT Press. [U5]   
+
* Zhang A. et al. (2020). [https://d2l.ai/ Dive into Deep Learning]. An interactive deep learning book with code, math, and discussions, based on the NumPy interface. [U4]
* Zhang A. et al. (2020). [https://d2l.ai/ Dive into Deep Learning]. An interactive deep learning book with code, math, and discussions, based on the NumPy interface.  
+
* Kvasnička V., Beňušková., Pospíchal J., Farkaš I., Tiňo P. a Kráľ A. (1997). [http://dai.fmph.uniba.sk/courses/NN/UvodDoTeorieNS.pdf.zip Úvod do teórie neurónových sietí]. Iris: Bratislava. [U5]
  
 
== Podmienky absolvovania a spôsob hodnotenia ==
 
== Podmienky absolvovania a spôsob hodnotenia ==
  
* Odovzdanie aspoň dvoch (z troch) projektov počas semestra (max. 3x7 = 21 bodov). Termíny na odovzdanie projektov budú včas uvedené na stránke. Projekty budú ponúkať aj bonusy (max. 2 body).  
+
* Odovzdanie aspoň dvoch (z troch) projektov počas semestra (max. 3x5 = 15 bodov). Termíny na odovzdanie projektov budú včas uvedené na stránke. Projekty budú ponúkať aj bonusy (max. 2 body).
* Študent môže byť požiadaný, aby prezentoval svoj funkčný kód na cvičení ako súčasť odovzdania projektu. Na cvičeniach sa budú robiť malé úlohy, za ktoré tiež bude možné získať body (max. 11 za semester).
+
* Študent môže byť požiadaný, aby prezentoval svoj funkčný kód na cvičení ako súčasť odovzdania projektu. Na cvičeniach sa budú robiť malé úlohy, za ktoré tiež bude možné získať body (max. 17 za semester).
* Absolvovanie záverečnej písomno-ústnej skúšky (3 otázky po 6 bodov, pseudonáhodný výber). Na skúšku sa môže prihlasiť len ten, kto má oznámkované aspoň dva projekty s fungujúcim kódom. Skúška je povinná, písomno-ústna, je nutné získať aspoň 6 bodov.
+
* Absolvovanie záverečnej písomno-ústnej skúšky (3 otázky po 5 bodov, pseudonáhodný výber). Na skúšku sa môže prihlasiť len ten, kto má oznámkované aspoň dva projekty s fungujúcim kódom. Skúška je povinná, ústna, je nutné získať aspoň 6 bodov.
 
* Prednášky sú dobrovoľné, za účasť však možno získať max. 3 body.
 
* Prednášky sú dobrovoľné, za účasť však možno získať max. 3 body.
 
* <b>Celkové hodnotenie:</b> A (50-46), B (45-41), C (40-36), D (35-31), E (30-26), Fx (25-0).
 
* <b>Celkové hodnotenie:</b> A (50-46), B (45-41), C (40-36), D (35-31), E (30-26), Fx (25-0).
Riadok 126: Riadok 125:
 
== Projekty počas semestra ==
 
== Projekty počas semestra ==
  
* Projekt, spolu so zdrojovým kódom, sa odovzdáva k stanoveného termínu. Za každý oneskorený kalendárny deň (max. 7 dní) odovzdania vzniká malus 1 bod (až do nuly). Úspešný projekt (fungujúci model) odovzdaný viac ako týždeň po termíne sa započítava bez bodov.
+
* Projekt, spolu so zdrojovým kódom, sa odovzdáva k stanoveného termínu. Za každý oneskorený kalendárny deň (max. 5 dní) odovzdania vzniká malus 1 bod (až do nuly). Úspešný projekt (fungujúci model) odovzdaný viac ako týždeň po termíne sa započítava bez bodov.
* Pri projekte sa hodnotí najmä obsah, ale záleží aj na forme. Obsah projektu musí byť zrozumiteľný, aby čitateľ videl, čo ste robili a ako ste to robili, t.j. grafické výstupy musia byť kombinované so sprievodným textom. Za výraznejšie formálne a gramatické nedostatky môžu byť strhnuté body.
+
* Pri projekte sa hodnotí najmä obsah, ale záleží aj na forme (čitateľnosť, úprava). Obsah projektu musí byť zrozumiteľný, aby bolo jasné, čo a ako ste robili, t.j. grafické výstupy kombinované so sprievodným textom. Za výraznejšie formálne a gramatické nedostatky môže byť strhnutý bod.
 
* Model je naprogramovaný v jazyku Python a projekt sa odovzdáva vo formáte PDF.
 
* Model je naprogramovaný v jazyku Python a projekt sa odovzdáva vo formáte PDF.
 
* Pri zistení plagiátorstva študent(ka) získava automaticky nula bodov z projektu a nebude pripustený(-á) ku skúške.
 
* Pri zistení plagiátorstva študent(ka) získava automaticky nula bodov z projektu a nebude pripustený(-á) ku skúške.

Verzia zo dňa a času 17:09, 15. október 2020

Neurónové siete 2-AIN-132

Cieľom predmetu je oboznámiť so základnými konceptmi a algoritmami učenia umelých neurónových sietí a ich použitím pri riešení rôznych úloh. Teoretické prednášky sú kombinované s praktickým modelovaním na cvičeniach v jazyku Python.

Novinky

V prednáškach a cvičeniach boli urobené čiastočné zmeny. Niektoré staršie časti boli skrátené, niektoré novšie veci pridané. Sylabus je aktualizovaný, ako aj hodnotenie aktivít predmetu.


Rozvrh výučby

Druh výučby Deň Čas Miesto Vyučujúci
Prednáška utorok 14:50 - 16:20 online Igor Farkaš
Praktické cvičenie štvrtok 16:30 - 18:00 online Juraj Holas, Endre Hamerlik


Sylabus

Dátum Názov prednášky Literatúra
18.2. Podmienky na absolvovanie predmetu. Úvod k predmetu, inšpirácia z neurobiológie, stručná história NS, základné koncepty. NS s logickými neurónmi. [U1/1][U3/1][U5/1]
25.2. Binárny a spojitý perceptrón: učenie s učiteľom, chybové funkcie, binárna klasifikácia a regresia, lineárna separovateľnosť. Súvis s Bayesovským klasifikátorom. [U1/1-3]
03.3. Jednovrstvové NS: Lineárna autoasociácia: model General Inverse. Klasifikácia do n-tried. Chybové funkcie, súvis s teóriou informácie. [U4/3][U5/4]
17.3. Viacvrstvový perceptrón: algoritmus BP. Trénovanie, validácia, testovanie. Selekcia modelu. [U1/4][U4/4]
24.3. Modifikácie gradientových metód, optimalizácia druhého rádu, regularizácia. Problémy optimalizácie. [U1/15][U4/11]
31.3. Učenie bez učiteľa, extrakcia príznakov, model neurálnej PCA. Vizualizácia dát: model samoorganizujúcej sa mapy (SOM). [U1/8-9][U5/7]
07.4. Modelovanie sekvenčných dát: dopredné NS, vzťah k n-gramom, čiastočne a úplne rekurentné modely, model SRN, algoritmy BPTT, RTRL. [U4/8][U5/6]
14.4. Expanzia skrytej reprezentácie: NS s radiálnymi bázovými funkciami (RBF), sieť s echo stavmi (ESN). [U1/5][U2]
21.4. Hlboké učenie. Konvolučné neurónové siete: úvod. [U3/6,9, U4/6]
28.4. Moderné rekurentné siete: autoenkódery, GRU, LSTM. [U3/14,U4/9.1-2]
05.5. Hopfieldov model NS: deterministická dynamika, atraktory v stavovom priestore, autoasociatívna pamäť, náčrt stochastického modelu. [U1/13][U5/9]
12.5. Stochastické rekurentné modely NS: základy teórie pravdepodobnosti a štatistickej mechaniky, Boltzmannov stroj, RBM model, Deep Belief Network. [U1/11][U3/16]

Literatúra

  • Farkaš I. (2016). Neural networks. Knižničné a edičné centrum FMFI UK v Bratislave. Slajdy k prednáškam.
  • Haykin S. (2009). Neural Networks and Learning Machines (3rd ed.). Upper Saddle River, Pearson Education (k dispozícii na štúdium v knižnici FMFI, ale aj stiahnuteľné z webu). [U1]
  • Jaeger H. (2007). Echo-state network. Scholarpedia, 2(9):2330. [U2]
  • Goodfellow I., Bengio Y., Courville A. (2016). Deep Learning. MIT Press. [U3]
  • Zhang A. et al. (2020). Dive into Deep Learning. An interactive deep learning book with code, math, and discussions, based on the NumPy interface. [U4]
  • Kvasnička V., Beňušková., Pospíchal J., Farkaš I., Tiňo P. a Kráľ A. (1997). Úvod do teórie neurónových sietí. Iris: Bratislava. [U5]

Podmienky absolvovania a spôsob hodnotenia

  • Odovzdanie aspoň dvoch (z troch) projektov počas semestra (max. 3x5 = 15 bodov). Termíny na odovzdanie projektov budú včas uvedené na stránke. Projekty budú ponúkať aj bonusy (max. 2 body).
  • Študent môže byť požiadaný, aby prezentoval svoj funkčný kód na cvičení ako súčasť odovzdania projektu. Na cvičeniach sa budú robiť malé úlohy, za ktoré tiež bude možné získať body (max. 17 za semester).
  • Absolvovanie záverečnej písomno-ústnej skúšky (3 otázky po 5 bodov, pseudonáhodný výber). Na skúšku sa môže prihlasiť len ten, kto má oznámkované aspoň dva projekty s fungujúcim kódom. Skúška je povinná, ústna, je nutné získať aspoň 6 bodov.
  • Prednášky sú dobrovoľné, za účasť však možno získať max. 3 body.
  • Celkové hodnotenie: A (50-46), B (45-41), C (40-36), D (35-31), E (30-26), Fx (25-0).

Projekty počas semestra

  • Projekt, spolu so zdrojovým kódom, sa odovzdáva k stanoveného termínu. Za každý oneskorený kalendárny deň (max. 5 dní) odovzdania vzniká malus 1 bod (až do nuly). Úspešný projekt (fungujúci model) odovzdaný viac ako týždeň po termíne sa započítava bez bodov.
  • Pri projekte sa hodnotí najmä obsah, ale záleží aj na forme (čitateľnosť, úprava). Obsah projektu musí byť zrozumiteľný, aby bolo jasné, čo a ako ste robili, t.j. grafické výstupy kombinované so sprievodným textom. Za výraznejšie formálne a gramatické nedostatky môže byť strhnutý bod.
  • Model je naprogramovaný v jazyku Python a projekt sa odovzdáva vo formáte PDF.
  • Pri zistení plagiátorstva študent(ka) získava automaticky nula bodov z projektu a nebude pripustený(-á) ku skúške.