(Vytvorená stránka „Category:Predmety 2-AIN {{DISPLAYTITLE:Neurónové siete<small>2-AIN-132/15</small>}} = Neurónové siete – <span style="display:inline-block;"></span> <small styl...“)
 
(Sylabus)
(148 intermediate revisions by 4 users not shown)
Riadok 1: Riadok 1:
[[Category:Predmety 2-AIN]] {{DISPLAYTITLE:Neurónové siete<small>2-AIN-132/15</small>}}
+
{{CourseHeader
= Neurónové siete – <span style="display:inline-block;"></span> <small style="white-space:nowrap;">2-AIN-132/15</small>=
+
    | code = 2-AIN-132
 +
    | title = Neurónové siete
 +
    | otherprograms = 2-IKV
 +
}}
 
__TOC__
 
__TOC__
  
Cieľom predmetu je oboznámiť so základnými konceptmi a metódami umelých neurónových sietí a ich použitím pri riešení rôznych úloh. Prednášky sú kombinované s praktickým modelovaním na cvičeniach v jazyku Matlab.
+
Cieľom predmetu je oboznámiť so základnými konceptmi a algoritmami učenia umelých neurónových sietí a ich použitím pri riešení rôznych úloh. Teoretické prednášky sú kombinované s praktickým modelovaním na cvičeniach v jazyku Python.
 
+
<!--[https://sluzby.fmph.uniba.sk/infolist/sk/2-AIN-132_15.html Informačný list predmetu]-->
[https://sluzby.fmph.uniba.sk/infolist/sk/2-AIN-132_15.html Informačný list predmetu]
+
  
 
== Novinky ==
 
== Novinky ==
 +
V prednáškach a cvičeniach boli minulý rok urobené čiastočné zmeny. Niektoré staršie časti boli skrátené, niektoré novšie veci pridané. Sylabus je aktualizovaný, ako aj hodnotenie aktivít predmetu.
  
;14. 2. 2017
+
<!--
: Výučba predmetu sa začne prednáškou v utorok 21. februára.
+
[https://moodle.uniba.sk/moodle/inf11/mod/assign/view.php?id=29805 Projekt 1] - termín odovzdania: 8.4.2020 23:55
  
<!-- [[#Archív noviniek|Archív noviniek…]] -->
+
Projekt [https://moodle.uniba.sk/moodle/inf11/mod/assign/view.php?id=29809 (2a)] alebo [https://moodle.uniba.sk/moodle/inf11/mod/assign/view.php?id=29810 (2b)] - termín odovzdania: štvrtok 30.4.2020 23:55
  
== Literatúra ==
+
Projekt [https://moodle.uniba.sk/moodle/inf11/mod/assign/view.php?id=29814 (3a)] alebo [https://moodle.uniba.sk/moodle/inf11/mod/assign/view.php?id=29815 (3b)] - termín odovzdania: štvrtok 20.5.2020 23:55
  
* Kvasnička V., Beňušková., Pospíchal J., Farkaš I., Tiňo P. a Kráľ A. (1997). [http://dai.fmph.uniba.sk/courses/NN/UvodDoTeorieNS.pdf.zip Úvod do teórie neurónových sietí]. Iris: Bratislava. [U1]
+
'''Skúška:''' bude online, termíny som vám poslal emailom, ako aj informácie o jej priebehu. Vyberiete si (spôsob určím) pseudonáhodne 3 otázky zo [http://dai.fmph.uniba.sk/courses/NN/ns-otazky.2020.pdf zoznamu otázok].  
* Haykin S. (2009). Neural Networks and Learning Machines (3rd ed.). Upper Saddle River, Pearson Education (k dispozícii na štúdium v knižnici FMFI). [U2]
+
 
* Farkaš I. (2011). [http://dai.fmph.uniba.sk/courses/NN/neural-networks.2.pdf Neural networks] (slajdy k prednáškam). Knižničné a edičné centrum FMFI UK v Bratislave. [U3]
+
<!--tkom písomnej časti vždy o 8:30 v I-8. Maximálne 8 ľudí na termín.-->
* Jaeger H. (2007). [http://www.scholarpedia.org/article/Echo_state_network Echo-state network]. Scholarpedia, 2(9):2330. [U4]
+
 
* Goodfellow I., Bengio Y., Courville A. (2016). [http://www.deeplearningbook.org Deep Learning]. MIT Press. [U5] 
+
<!-- [[#Archív noviniek|Archív noviniek…]]
 +
 
 +
<b>Poznámka:</b> Aktualizované slajdy prednášok budú poskytované priebežne na stránke predmetu.-->
  
 
== Rozvrh výučby ==
 
== Rozvrh výučby ==
Riadok 32: Riadok 37:
 
|Prednáška
 
|Prednáška
 
|utorok
 
|utorok
|11:30
+
|09:50 - 11:20
|F1-109
+
|online
 
|[[Igor Farkas|Igor Farkaš]]
 
|[[Igor Farkas|Igor Farkaš]]
 
|-
 
|-
|Praktické cvičenie
+
|[https://moodle.uniba.sk/moodle/inf11/course/view.php?id=734 Praktické cvičenie]
|streda
+
|štvrtok
|18:10
+
|16:30 - 18:00
|I-H6
+
|online
|[[Tomas Kuzma|Tomáš Kuzma]], [[Matus Tuna|Matúš Tuna]]
+
|[[Endre Hamerlik|Endre Hamerlik]], [[Stefan Pocos|Štefan Pócoš]]
 
|}
 
|}
  
Riadok 50: Riadok 55:
 
!Literatúra
 
!Literatúra
 
|-
 
|-
|21.2.
+
|16.2.
|Úvod do umelých neurónových sietí (NS, konekcionizmu): inšpirácia z neurobiológie, stručná história NS, základné koncepty. NS s logickými neurónmi.
+
|Podmienky na absolvovanie predmetu. Úvod k predmetu, inšpirácia z neurobiológie, stručná história NS, základné koncepty. NS s logickými neurónmi. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.intro.L01.4x.pdf slajdy-L01]-->
| [U1/kap.1][U2/1,2.1-6,2.8-10,U3]
+
| [U1/1][U3/1][U5/1]
 
|-
 
|-
|28.2.
+
|23.2.
|Binárny/spojitý perceptrón: pojem učenia s učiteľom, chybové funkcie, učiace pravidlá, klasifikácia vzorov, lineárne separovateľné problémy. Súvis s Bayesovským lineárnym klasifikátorom.  
+
|Binárny a spojitý perceptrón: učenie s učiteľom, chybové funkcie, binárna klasifikácia a regresia, lineárna separovateľnosť. Súvis s Bayesovským klasifikátorom. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.perceptron.L02.4x.pdf slajdy-L02]-->
|[U2/3][U1/5]
+
|[U1/1-3]
 
|-
 
|-
|07.3.
+
|02.3.
|Lineárne NS: vektorové priestory, autoasociatívna pamäť, ortogonálna projekcia, detektor novosti. Pamäť korelačnej matice.  
+
|Jednovrstvové NS: Lineárna autoasociácia: model General Inverse. Klasifikácia do n-tried. Chybové funkcie, súvis s teóriou informácie. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.single-layer-models.L03.4x.pdf slajdy-L03]-->
|[U1/4][U2/2.11]
+
|[U4/3][U5/4]
 
|-
 
|-
|14.3.
+
|09.3.
|Viacvrstvový perceptrón: algoritmus spätného šírenia chyby (BP), trénovacia a testovacia množina, generalizácia, validácia, selekcia modelu.
+
|Viacvrstvový perceptrón: algoritmus BP. Trénovanie, validácia, testovanie. Selekcia modelu. Bias-variance tradeoff. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.mlp.L04.4x.pdf slajdy-L04]-->
|[U1/5][U2/4.1-20]
+
|[U1/4][U4/4]
 
|-
 
|-
|21.3.
+
|16.3.
|Hebbovské učenie bez učiteľa, extrakcia príznakov, analýza hlavných komponentov, aplikácie.
+
|Modifikácie gradientových metód, optimalizácia druhého rádu, regularizácia. Problémy optimalizácie. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.optimization.L05.4x.pdf slajdy-L05]-->
|[U2/8.1-8,8.11]
+
|[U1/15][U4/11]
 
|-
 
|-
|28.3.
+
|23.3.
|Učenie so súťažením, samoorganizujúca sa mapa (SOM), klasterizácia, topologické zobrazenie, redukcia dimenzie, aplikácie
+
|Učenie bez učiteľa, extrakcia príznakov, model neurálnej PCA. Vizualizácia dát: model samoorganizujúcej sa mapy (SOM). <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.unsup.L06.4x.pdf slajdy-L06]-->
|[U1,kap.7;U2/9].
+
|[U1/8-9][U5/7]
 
|-
 
|-
|04.4.
+
|30.3.
|NS s radiálnymi bázovými funkciami (RBF), funkčná aproximácia, trénovanie, kernel, stroj s podpornými vektormi (SVM).  
+
|Modelovanie sekvenčných dát: dopredné NS, vzťah k n-gramom, čiastočne a úplne rekurentné modely, model SRN, algoritmy BPTT, RTRL. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.seq-models.L07.4x.pdf slajdy-L07] -->
|[U2/kap.5-6].
+
|[U4/8][U5/6]
 
|-
 
|-
|11.4.
+
|06.4.
|Hopfieldov model NS: deterministická dynamika, atraktory v stavovom priestore, autoasociatívna pamäť, stochastický model.
+
|Expanzia skrytej reprezentácie: NS s radiálnymi bázovými funkciami (RBF), sieť s echo stavmi (ESN). <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.rbf-esn.L08.4x.pdf slajdy-L08]-->
|[U1/8.1-5,11]
+
|[U1/5][U2]
 
|-
 
|-
|18.4.
+
|13.4.
|voľno - Veľká noc
+
|Hlboké učenie. Konvolučné neurónové siete: základné princípy. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.deep-convol.L09.4x.pdf slajdy-L09]-->
|
+
|[U3/6,9, U4/6]
 
|-
 
|-
|25.4.
+
|20.4.
|Modelovanie sekvenčných dát: dopredné NS s časovým oneskorením, čiastočne a úplne rekurentné modely, (gradientové) algoritmy trénovania.
+
|Moderné rekurentné siete: autoenkódery, GRU, LSTM. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.autoenc-gated.L10.4x.pdf slajdy-L10]-->
|[U1/6,U2/13]
+
|[U3/14,U4/9.1-2]
 
|-
 
|-
|02.5.
+
|27.4.
|Organizácia stavového priestoru v RNN. Siete s echo stavmi (ESN), rekurentná SOM.  
+
|Hopfieldov model NS: deterministická dynamika, atraktory v stavovom priestore, autoasociatívna pamäť, náčrt stochastického modelu, moderné verzie. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.hopfield-aam.L11.4x.pdf slajdy-L11]-->
|[U1,kap.6,U4]
+
|[U1/13][U5/9]
 
|-
 
|-
|09.5.
+
|04.5.
|Stochastické rekurentné modely NS: Boltzmannov stroj, RBM model, hlboké architektúry NS, Deep Belief Network.  
+
|Stochastické rekurentné modely NS: úvod do pravdepodobnostného modelovania, inšpirácia z fyziky, Boltzmannov stroj, RBM model, Deep Belief Network. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.stochastic.L12.4x.pdf slajdy]-->
|[U5]
+
|[U1/11][U3/16]
 
|-
 
|-
|16.5.
+
|11.5.
|Hlboké neurónové siete: koncept hlbokého učenia, aktivačné funkcie, konvolúcia, inicializácia modelu, (pred)trénovanie, aplikácie
+
|Recent advances in NN field.
|[U5]
+
|-
+
|23.5.
+
|Opakovanie, otázky a odpovede (v prípade záujmu).
+
 
|
 
|
 
|}
 
|}
 +
 +
== Literatúra ==
 +
 +
* Farkaš I. (2016). [http://dai.fmph.uniba.sk/courses/NN/neural-networks.2016.pdf Neural networks]. Knižničné a edičné centrum FMFI UK v Bratislave. Slajdy k prednáškam.
 +
* Haykin S. (2009). Neural Networks and Learning Machines (3rd ed.). Upper Saddle River, Pearson Education (k dispozícii na štúdium v knižnici FMFI, ale aj stiahnuteľné z webu). [U1]
 +
* Jaeger H. (2007). [http://www.scholarpedia.org/article/Echo_state_network Echo-state network]. Scholarpedia, 2(9):2330. [U2]
 +
* Goodfellow I., Bengio Y., Courville A. (2016). [http://www.deeplearningbook.org Deep Learning]. MIT Press. [U3] 
 +
* Zhang A. et al. (2020). [https://d2l.ai/ Dive into Deep Learning]. An interactive deep learning book with code, math, and discussions, based on the NumPy interface. [U4]
 +
* Kvasnička V., Beňušková., Pospíchal J., Farkaš I., Tiňo P. a Kráľ A. (1997). [http://dai.fmph.uniba.sk/courses/NN/UvodDoTeorieNS.pdf.zip Úvod do teórie neurónových sietí]. Iris: Bratislava. [U5]
  
 
== Podmienky absolvovania a spôsob hodnotenia ==
 
== Podmienky absolvovania a spôsob hodnotenia ==
  
* Odovzdanie aspoň dvoch (z troch) úspešných projektov počas semestra (max. 3x7 = 21 bodov). Termíny na odovzdanie projektov budú včas uvedené na stránke. Projekty budú ponúkať aj bonusy (max. 2 body) za vypracovanie bonusovej časti projektu.
+
* Odovzdanie aspoň dvoch (z troch) projektov počas semestra (max. 3x5 = 15 bodov). Termíny na odovzdanie projektov budú včas uvedené na stránke. Projekty budú ponúkať aj bonusy (max. 2 body).
* Študent môže byť požiadaný, aby prezentoval svoj funkčný kód na cvičení ako súčasť odovzdania projektu.  
+
* Študent môže byť požiadaný, aby prezentoval svoj funkčný kód na cvičení ako súčasť odovzdania projektu. Na cvičeniach sa budú robiť malé úlohy, za ktoré tiež bude možné získať body (max. 17 za semester). Z cvičení je nutné získať aspoň 7 bodov.
* Absolvovanie záverečnej písomno-ústnej skúšky (3 otázky po max. 6 bodov). Na skúšku sa môže prihlasiť len ten, kto má oznámkované aspoň dva projekty s fungujúcim kódom. Skúška je povinná, písomno-ústna, študent musí na nej získať aspoň 6 bodov.
+
* Absolvovanie záverečnej písomno-ústnej skúšky (3 otázky po 5 bodov, pseudonáhodný výber). Na skúšku sa môže prihlasiť len ten, kto má oznámkované aspoň dva projekty s fungujúcim kódom. Skúška je povinná, ústna, je nutné získať aspoň 6 bodov.
* Za účasť na prednáškach možno získať max. 3 body, za účasť na cvičeniach max. 8 bodov.
+
* Prednášky sú dobrovoľné, za účasť však možno získať max. 3 body.
 
* <b>Celkové hodnotenie:</b> A (50-46), B (45-41), C (40-36), D (35-31), E (30-26), Fx (25-0).
 
* <b>Celkové hodnotenie:</b> A (50-46), B (45-41), C (40-36), D (35-31), E (30-26), Fx (25-0).
  
== Pravidlá hodnotenia projektov ==
+
== Projekty počas semestra ==
  
* Projekt, spolu so zdrojovým kódom, sa odovzdáva k stanoveného termínu. Za každý oneskorený kalendárny deň (maximálne 7 dní) odovzdania vzniká malus 1 bod (až do nuly). Úspešný projekt (fungujúci model) odovzdaný viac ako týždeň po termíne sa započítava bez bodov.
+
* Projekt, spolu so zdrojovým kódom, sa odovzdáva k stanoveného termínu. Za každý oneskorený kalendárny deň (max. 5 dní) odovzdania vzniká malus 1 bod (až do nuly). Úspešný projekt (fungujúci model) odovzdaný viac ako týždeň po termíne sa započítava bez bodov.
* Pri projekte sa hodnotí najmä obsah, ale záleží aj na forme. Za výraznejšie formálne a gramatické nedostatky môžu byť strhnuté body.
+
* Pri projekte sa hodnotí najmä obsah, ale záleží aj na forme (čitateľnosť, úprava). Obsah projektu musí byť zrozumiteľný, aby bolo jasné, čo a ako ste robili, t.j. grafické výstupy kombinované so sprievodným textom. Za výraznejšie formálne a gramatické nedostatky môže byť strhnutý bod.
* Model môže byť naprogramovaný v hocijakom jazyku (okrem Matlab-u), a projekt musí byť odovzdaný vo formáte PDF.
+
* Model je naprogramovaný v jazyku Python a projekt sa odovzdáva vo formáte PDF.
 
* Pri zistení plagiátorstva študent(ka) získava automaticky nula bodov z projektu a nebude pripustený(-á) ku skúške.
 
* Pri zistení plagiátorstva študent(ka) získava automaticky nula bodov z projektu a nebude pripustený(-á) ku skúške.

Verzia zo dňa a času 13:34, 11. máj 2021

Neurónové siete 2-AIN-132

Cieľom predmetu je oboznámiť so základnými konceptmi a algoritmami učenia umelých neurónových sietí a ich použitím pri riešení rôznych úloh. Teoretické prednášky sú kombinované s praktickým modelovaním na cvičeniach v jazyku Python.

Novinky

V prednáškach a cvičeniach boli minulý rok urobené čiastočné zmeny. Niektoré staršie časti boli skrátené, niektoré novšie veci pridané. Sylabus je aktualizovaný, ako aj hodnotenie aktivít predmetu.


Rozvrh výučby

Druh výučby Deň Čas Miesto Vyučujúci
Prednáška utorok 09:50 - 11:20 online Igor Farkaš
Praktické cvičenie štvrtok 16:30 - 18:00 online Endre Hamerlik, Štefan Pócoš

Sylabus

Dátum Názov prednášky Literatúra
16.2. Podmienky na absolvovanie predmetu. Úvod k predmetu, inšpirácia z neurobiológie, stručná história NS, základné koncepty. NS s logickými neurónmi. [U1/1][U3/1][U5/1]
23.2. Binárny a spojitý perceptrón: učenie s učiteľom, chybové funkcie, binárna klasifikácia a regresia, lineárna separovateľnosť. Súvis s Bayesovským klasifikátorom. [U1/1-3]
02.3. Jednovrstvové NS: Lineárna autoasociácia: model General Inverse. Klasifikácia do n-tried. Chybové funkcie, súvis s teóriou informácie. [U4/3][U5/4]
09.3. Viacvrstvový perceptrón: algoritmus BP. Trénovanie, validácia, testovanie. Selekcia modelu. Bias-variance tradeoff. [U1/4][U4/4]
16.3. Modifikácie gradientových metód, optimalizácia druhého rádu, regularizácia. Problémy optimalizácie. [U1/15][U4/11]
23.3. Učenie bez učiteľa, extrakcia príznakov, model neurálnej PCA. Vizualizácia dát: model samoorganizujúcej sa mapy (SOM). [U1/8-9][U5/7]
30.3. Modelovanie sekvenčných dát: dopredné NS, vzťah k n-gramom, čiastočne a úplne rekurentné modely, model SRN, algoritmy BPTT, RTRL. [U4/8][U5/6]
06.4. Expanzia skrytej reprezentácie: NS s radiálnymi bázovými funkciami (RBF), sieť s echo stavmi (ESN). [U1/5][U2]
13.4. Hlboké učenie. Konvolučné neurónové siete: základné princípy. [U3/6,9, U4/6]
20.4. Moderné rekurentné siete: autoenkódery, GRU, LSTM. [U3/14,U4/9.1-2]
27.4. Hopfieldov model NS: deterministická dynamika, atraktory v stavovom priestore, autoasociatívna pamäť, náčrt stochastického modelu, moderné verzie. [U1/13][U5/9]
04.5. Stochastické rekurentné modely NS: úvod do pravdepodobnostného modelovania, inšpirácia z fyziky, Boltzmannov stroj, RBM model, Deep Belief Network. [U1/11][U3/16]
11.5. Recent advances in NN field.

Literatúra

  • Farkaš I. (2016). Neural networks. Knižničné a edičné centrum FMFI UK v Bratislave. Slajdy k prednáškam.
  • Haykin S. (2009). Neural Networks and Learning Machines (3rd ed.). Upper Saddle River, Pearson Education (k dispozícii na štúdium v knižnici FMFI, ale aj stiahnuteľné z webu). [U1]
  • Jaeger H. (2007). Echo-state network. Scholarpedia, 2(9):2330. [U2]
  • Goodfellow I., Bengio Y., Courville A. (2016). Deep Learning. MIT Press. [U3]
  • Zhang A. et al. (2020). Dive into Deep Learning. An interactive deep learning book with code, math, and discussions, based on the NumPy interface. [U4]
  • Kvasnička V., Beňušková., Pospíchal J., Farkaš I., Tiňo P. a Kráľ A. (1997). Úvod do teórie neurónových sietí. Iris: Bratislava. [U5]

Podmienky absolvovania a spôsob hodnotenia

  • Odovzdanie aspoň dvoch (z troch) projektov počas semestra (max. 3x5 = 15 bodov). Termíny na odovzdanie projektov budú včas uvedené na stránke. Projekty budú ponúkať aj bonusy (max. 2 body).
  • Študent môže byť požiadaný, aby prezentoval svoj funkčný kód na cvičení ako súčasť odovzdania projektu. Na cvičeniach sa budú robiť malé úlohy, za ktoré tiež bude možné získať body (max. 17 za semester). Z cvičení je nutné získať aspoň 7 bodov.
  • Absolvovanie záverečnej písomno-ústnej skúšky (3 otázky po 5 bodov, pseudonáhodný výber). Na skúšku sa môže prihlasiť len ten, kto má oznámkované aspoň dva projekty s fungujúcim kódom. Skúška je povinná, ústna, je nutné získať aspoň 6 bodov.
  • Prednášky sú dobrovoľné, za účasť však možno získať max. 3 body.
  • Celkové hodnotenie: A (50-46), B (45-41), C (40-36), D (35-31), E (30-26), Fx (25-0).

Projekty počas semestra

  • Projekt, spolu so zdrojovým kódom, sa odovzdáva k stanoveného termínu. Za každý oneskorený kalendárny deň (max. 5 dní) odovzdania vzniká malus 1 bod (až do nuly). Úspešný projekt (fungujúci model) odovzdaný viac ako týždeň po termíne sa započítava bez bodov.
  • Pri projekte sa hodnotí najmä obsah, ale záleží aj na forme (čitateľnosť, úprava). Obsah projektu musí byť zrozumiteľný, aby bolo jasné, čo a ako ste robili, t.j. grafické výstupy kombinované so sprievodným textom. Za výraznejšie formálne a gramatické nedostatky môže byť strhnutý bod.
  • Model je naprogramovaný v jazyku Python a projekt sa odovzdáva vo formáte PDF.
  • Pri zistení plagiátorstva študent(ka) získava automaticky nula bodov z projektu a nebude pripustený(-á) ku skúške.