(Sylabus)
 
(177 intermediate revisions by 5 users not shown)
Riadok 1: Riadok 1:
[[Category:Predmety 2-AIN]] {{DISPLAYTITLE:Neurónové siete<small>2-AIN-132/15</small>}}
+
{{CourseHeader
= Neurónové siete – <span style="display:inline-block;"></span> <small style="white-space:nowrap;">2-AIN-132/15</small>=
+
    | code = 2-AIN-132
 +
    | title = Neurónové siete
 +
    | otherprograms = 2-IKV
 +
}}
 
__TOC__
 
__TOC__
  
Cieľom predmetu je oboznámiť so základnými konceptmi a metódami umelých neurónových sietí a ich použitím pri riešení rôznych úloh. Teoretické prednášky sú kombinované s praktickým modelovaním na cvičeniach v jazyku Matlab.
+
Cieľom predmetu je oboznámiť študentov so základnými konceptmi a algoritmami učenia umelých neurónových sietí a ich použitím pri riešení rôznych úloh. Sylabus je kompozíciou starších modelov s novšími, v snahe ponúknuť prierez kľúčovými míľnikmi o tejto oblasti výskumu. Teoretické prednášky sú kombinované s praktickými cvičeniami v jazyku Python.
 +
<!--[https://sluzby.fmph.uniba.sk/infolist/sk/2-AIN-132_15.html Informačný list predmetu]-->
  
[https://sluzby.fmph.uniba.sk/infolist/sk/2-AIN-132_15.html Informačný list predmetu]
+
<!--
 +
[https://moodle.uniba.sk/moodle/inf11/mod/assign/view.php?id=29805 Projekt 1] - termín odovzdania: 8.4.2020 23:55
  
== Novinky ==
+
Projekt [https://moodle.uniba.sk/moodle/inf11/mod/assign/view.php?id=29809 (2a)] alebo [https://moodle.uniba.sk/moodle/inf11/mod/assign/view.php?id=29810 (2b)] - termín odovzdania: štvrtok 30.4.2020 23:55
  
;13. 2. 2017
+
Projekt [https://moodle.uniba.sk/moodle/inf11/mod/assign/view.php?id=29814 (3a)] alebo [https://moodle.uniba.sk/moodle/inf11/mod/assign/view.php?id=29815 (3b)] - termín odovzdania: štvrtok 20.5.2020 23:55
: Výučba predmetu sa začne prednáškou v utorok 21. februára.
+
  
<!-- [[#Archív noviniek|Archív noviniek…]] -->
+
'''Skúška:''' bude online, termíny som vám poslal emailom, ako aj informácie o jej priebehu.  Vyberiete si (spôsob určím) pseudonáhodne 3 otázky zo [http://dai.fmph.uniba.sk/courses/NN/ns-otazky.2020.pdf zoznamu otázok].
 +
 
 +
<!--tkom písomnej časti vždy o 8:30 v I-8. Maximálne 8 ľudí na termín.-->
 +
 
 +
<!-- [[#Archív noviniek|Archív noviniek…]]  
 +
 
 +
<b>Poznámka:</b> Aktualizované slajdy prednášok budú poskytované priebežne na stránke predmetu.-->
  
 
== Rozvrh výučby ==
 
== Rozvrh výučby ==
Riadok 23: Riadok 33:
 
|-
 
|-
 
|Prednáška
 
|Prednáška
|utorok
+
|streda
|11:30
+
|9:50 - 11:20
|F1-109
+
|M-IV
 
|[[Igor Farkas|Igor Farkaš]]
 
|[[Igor Farkas|Igor Farkaš]]
 
|-
 
|-
|Praktické cvičenie
+
|[https://moodle.uniba.sk/course/view.php?id=2883 Praktické cvičenie]
|streda
+
|štvrtok
|18:10
+
|18:10 - 19:40
|I-H6
+
|H3
|[[Tomas Kuzma|Tomáš Kuzma]], [[Matus Tuna|Matúš Tuna]]
+
|[[Stefan Pocos|Štefan Pócoš]], [[Iveta Beckova | Iveta Bečková]]
 
|}
 
|}
  
Riadok 38: Riadok 48:
  
 
{| class="alternative table-responsive"
 
{| class="alternative table-responsive"
 +
!#
 
!Dátum
 
!Dátum
 
!Názov prednášky
 
!Názov prednášky
 
!Literatúra
 
!Literatúra
 
|-
 
|-
 +
|01
 
|21.2.
 
|21.2.
|Úvod do umelých neurónových sietí (NS, konekcionizmu): inšpirácia z neurobiológie, stručná história NS, základné koncepty. NS s logickými neurónmi.
+
|Podmienky na absolvovanie predmetu. Úvod k predmetu, inšpirácia z neurobiológie, stručná história NS, základné koncepty. NS s logickými neurónmi. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.intro.L01.pdf slajdy-L01]
| [U1/1][U2/1,2.1-6,2.8-10,U3]
+
| [U1/1][U3/1][U5/1]
 
|-
 
|-
 +
|02
 
|28.2.
 
|28.2.
|Binárny/spojitý perceptrón: učenie s učiteľom, chybové funkcie, učiace pravidlá, klasifikácia vzorov, lineárne separovateľné problémy. Súvis s Bayesovským lineárnym klasifikátorom.  
+
|Binárny a spojitý perceptrón: učenie s učiteľom, chybové funkcie, binárna klasifikácia a regresia, lineárna separovateľnosť. Súvis s Bayesovským klasifikátorom. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.perceptron.L02.pdf slajdy-L02]
|[U2/3][U1/5]
+
|[U1/1-3]
|-
+
|07.3.
+
|Lineárne NS: vektorové priestory, autoasociatívna pamäť (model General Inverse), ortogonálna projekcia, detektor novosti. Pamäť korelačnej matice (CMM model).  
+
|[U1/4][U2/2.11]
+
 
|-
 
|-
|14.3.
+
|03
|Viacvrstvový perceptrón: algoritmus spätného šírenia chyby (BP), trénovacia a testovacia množina, generalizácia, validácia, selekcia modelu.
+
|06.3.
|[U1/5][U2/4.1-20]
+
|Jednovrstvové NS s učiteľom: Lineárna autoasociácia: model General Inverse. Klasifikácia do n-tried. Chybové funkcie, súvis s teóriou informácie. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.single-layer-models.L03.pdf slajdy-L03]
 +
|[U4/3][U5/4]
 
|-
 
|-
|21.3.
+
|04
|Hebbovské učenie bez učiteľa, extrakcia príznakov, analýza hlavných komponentov, aplikácie.
+
|13.3.
|[U2/8.1-8,8.11]
+
|Viacvrstvový perceptrón: algoritmus BP. Trénovanie, validácia, testovanie. Selekcia modelu.  Bias-variance tradeoff. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.mlp.L04.pdf slajdy-L04]
 +
|[U1/4][U4/4]
 
|-
 
|-
|28.3.
+
|05
|Učenie so súťažením, samoorganizujúca sa mapa (SOM), klasterizácia, topologické zobrazenie, redukcia dimenzie, aplikácie
+
|20.3.
|[U1/7;U2/9].
+
|Modifikácie gradientových metód, optimalizácia druhého rádu, regularizácia. Problémy optimalizácie. [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.optimization.L05.pdf slajdy-L05]
 +
|[U1/15][U4/11]
 
|-
 
|-
|04.4.
+
|06
|NS s radiálnymi bázovými funkciami (RBF), funkčná aproximácia, trénovanie, kernel, stroj s podpornými vektormi (SVM).  
+
|27.3.
|[U2/5-6].
+
|Učenie bez učiteľa, extrakcia príznakov, model neurálnej PCA. Vizualizácia dát: model samoorganizujúcej sa mapy (SOM). [http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.unsup.L06.pdf slajdy-L06]
 +
|[U1/8-9][U5/7]
 
|-
 
|-
|11.4.
+
|07
|Hopfieldov model NS: deterministická dynamika, atraktory v stavovom priestore, autoasociatívna pamäť, stochastický model.
+
|03.4.
|[U1/8.1-5,11]
+
|Modelovanie sekvenčných dát: dopredné NS, vzťah k n-gramom, čiastočne a úplne rekurentné modely, model SRN, algoritmy BPTT, RTRL. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.seq-models.L07.4x.pdf slajdy-L07] -->
 +
|[U4/8][U5/6]
 
|-
 
|-
|18.4.
+
|08
|voľno - Veľká noc
+
|10.4.
|
+
|Hopfieldov model NS: deterministická dynamika, atraktory v stavovom priestore, autoasociatívna pamäť, náčrt stochastického modelu, moderné verzie. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.hopfield-aam.L11.4x.pdf slajdy-L11]-->
 +
|[U1/13][U5/9]
 
|-
 
|-
|25.4.
+
|09
|Modelovanie sekvenčných dát: dopredné NS s časovým oneskorením, čiastočne a úplne rekurentné modely, (gradientové) algoritmy trénovania.
+
|17.4.
|[U1/6,U2/13]
+
|Expanzia skrytej reprezentácie: NS s radiálnymi bázovými funkciami (RBF), sieť s echo stavmi (ESN). <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.rbf-esn.L08.4x.pdf slajdy-L08]-->
 +
|[U1/5][U2]
 
|-
 
|-
|02.5.
+
|10
|Organizácia stavového priestoru v RNN. Siete s echo stavmi (ESN), rekurentná SOM.  
+
|24.4.
|[U1/6,U4]
+
|Hlboké učenie. Konvolučné neurónové siete: základné princípy. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.deep-convol.L09.4x.pdf slajdy-L09]-->
 +
|[U3/6,9, U4/6]
 
|-
 
|-
|09.5.
+
|11
|Stochastické rekurentné modely NS: Boltzmannov stroj, RBM model, hlboké architektúry NS, Deep Belief Network.  
+
|01.5.
|[U5]
+
|Novšie modely NS: autoenkódery, rekurentné GRU, LSTM. <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.autoenc-gated.L10.4x.pdf slajdy-L10]-->
 +
|[U3/14,U4/9.1-2]
 
|-
 
|-
|16.5.
+
|12
|Hlboké neurónové siete: koncept hlbokého učenia, aktivačné funkcie, konvolúcia, inicializácia modelu, (pred)trénovanie, aplikácie
+
|08.5.
|[U5]
+
|Stochastické rekurentné modely NS: úvod do pravdepodobnostného modelovania, inšpirácia z fyziky, Boltzmannov stroj, RBM model, Deep Belief Network.  <!--[http://dai.fmph.uniba.sk/courses/NN/Lectures/nn.stochastic.L12.4x.pdf slajdy]-->
 +
|[U1/11][U3/16]
 
|-
 
|-
|23.5.
 
|Opakovanie, otázky a odpovede (v prípade záujmu).
 
|
 
 
|}
 
|}
  
 
== Literatúra ==
 
== Literatúra ==
  
* Kvasnička V., Beňušková., Pospíchal J., Farkaš I., Tiňo P. a Kráľ A. (1997). [http://dai.fmph.uniba.sk/courses/NN/UvodDoTeorieNS.pdf.zip Úvod do teórie neurónových sietí]. Iris: Bratislava. [U1]
+
* Farkaš I. (2016). [http://dai.fmph.uniba.sk/courses/NN/neural-networks.2016.pdf Neural networks]. Knižničné a edičné centrum FMFI UK v Bratislave. Slajdy k prednáškam.
* Haykin S. (2009). Neural Networks and Learning Machines (3rd ed.). Upper Saddle River, Pearson Education (k dispozícii na štúdium v knižnici FMFI, ale aj stiahnuteľné z webu). [U2]
+
* Haykin S. (2009). Neural Networks and Learning Machines (3rd ed.). Upper Saddle River, Pearson Education (k dispozícii na štúdium v knižnici FMFI, ale aj stiahnuteľné z webu). [U1]
* Farkaš I. (2011). Neural networks (slajdy k prednáškam). Knižničné a edičné centrum FMFI UK v Bratislave. [U3] - aktualizované prednášky budú poskytované priebežne.
+
* Jaeger H. (2007). [http://www.scholarpedia.org/article/Echo_state_network Echo-state network]. Scholarpedia, 2(9):2330. [U2]
* Jaeger H. (2007). [http://www.scholarpedia.org/article/Echo_state_network Echo-state network]. Scholarpedia, 2(9):2330. [U4]
+
* Goodfellow I., Bengio Y., Courville A. (2016). [http://www.deeplearningbook.org Deep Learning]. MIT Press. [U3]   
* Goodfellow I., Bengio Y., Courville A. (2016). [http://www.deeplearningbook.org Deep Learning]. MIT Press. [U5]   
+
* Zhang A. et al. (2020). [https://d2l.ai/ Dive into Deep Learning]. An interactive deep learning book with code, math, and discussions, based on the NumPy interface. [U4]
 +
* Kvasnička V., Beňušková., Pospíchal J., Farkaš I., Tiňo P. a Kráľ A. (1997). [http://dai.fmph.uniba.sk/courses/NN/UvodDoTeorieNS.pdf.zip Úvod do teórie neurónových sietí]. Iris: Bratislava. [U5]
  
 
== Podmienky absolvovania a spôsob hodnotenia ==
 
== Podmienky absolvovania a spôsob hodnotenia ==
  
* Odovzdanie aspoň dvoch (z troch) úspešných projektov počas semestra (max. 3x7 = 21 bodov). Termíny na odovzdanie projektov budú včas uvedené na stránke. Projekty budú ponúkať aj bonusy (max. 2 body) za vypracovanie bonusovej časti projektu.
+
* <b>Odovzdanie aspoň dvoch funkčných projektov</b> (z troch) počas semestra (max. 3x10 = 30 bodov) a získanie z projektov spolu aspoň 15 bodov. Termíny na odovzdanie projektov budú včas uvedené na stránke. Projekty budú ponúkať aj bonusy (spolu max. 4 body).
* Študent môže byť požiadaný, aby prezentoval svoj funkčný kód na cvičení ako súčasť odovzdania projektu.  
+
* Študent/ka môže byť požiadaný, aby <b>prezentoval/a svoj funkčný kód na cvičení</b> ako súčasť odovzdania projektu.
* Absolvovanie záverečnej písomno-ústnej skúšky (3 otázky po max. 6 bodov). Na skúšku sa môže prihlasiť len ten, kto má oznámkované aspoň dva projekty s fungujúcim kódom. Skúška je povinná, písomno-ústna, študent musí na nej získať aspoň 6 bodov.
+
* Na začiatku každého cvičenia (počnúc tretím cvičením) sa budú <b>písať 5-minútovky</b>, za ktoré tiež bude možné získať body (spolu 10x3 bodov za semester).
* Za účasť na prednáškach možno získať max. 3 body, za účasť na cvičeniach max. 8 bodov.
+
* Za <b>aktívnu účasť na cvičení</b> bude možné získať ďalších max. 10 bodov. Z cvičení je nutné získať spolu aspoň 20 bodov (zo 40).
* <b>Celkové hodnotenie:</b> A (50-46), B (45-41), C (40-36), D (35-31), E (30-26), Fx (25-0).
+
* Absolvovanie <b>záverečnej písomno-ústnej skúšky</b> (3 otázky, pseudonáhodný výber, spolu 30 bodov). Na skúšku sa môže prihlásiť len ten, kto má oznámkované aspoň dva projekty s fungujúcim kódom. Skúška je povinná, je nutné získať aspoň 12 bodov.
 +
* <b>Prednášky sú dobrovoľné</b>, za účasť však možno získať max. 5 bonusových bodov.
 +
* <b>Celkové hodnotenie:</b> A (100-91), B (90-81), C (80-71), D (70-61), E (60-51), Fx (50-0).
  
== Pravidlá hodnotenia projektov ==
+
== Projekty počas semestra ==
  
* Projekt, spolu so zdrojovým kódom, sa odovzdáva k stanoveného termínu. Za každý oneskorený kalendárny deň (max. 7 dní) odovzdania vzniká malus 1 bod (až do nuly). Úspešný projekt (fungujúci model) odovzdaný viac ako týždeň po termíne sa započítava bez bodov.
+
* Projekt, spolu so zdrojovým kódom, sa odovzdáva k stanoveného termínu (v systéme Moodle). Za každý oneskorený kalendárny deň (max. 5 dní) odovzdania vzniká malus 2 body (až do nuly). Projekt sa nebude prijímať neskôr ako týždeň po termíne.
* Pri projekte sa hodnotí najmä obsah, ale záleží aj na forme. Za výraznejšie formálne a gramatické nedostatky môžu byť strhnuté body.
+
* Pri projekte sa hodnotí najmä obsah, ale záleží aj na forme (čitateľnosť, úprava). Obsah projektu musí byť zrozumiteľný, aby bolo jasné, čo a ako ste robili, t.j. grafické výstupy majú byť kombinované so sprievodným textom. Za výraznejšie formálne a gramatické nedostatky môže byť strhnutý bod.
* Model môže byť naprogramovaný v hocijakom jazyku (okrem Matlab-u), a projekt musí byť odovzdaný vo formáte PDF.
+
* Model je naprogramovaný v jazyku Python a projekt sa odovzdáva vo formáte PDF.
* Pri zistení plagiátorstva študent(ka) získava automaticky nula bodov z projektu a nebude pripustený(-á) ku skúške.
+
* Pri zistení podvádzania študent/ka získava automaticky nula bodov z projektu a nebude pripustený/á ku skúške.

Aktuálna revízia z 07:01, 27. marec 2024

Neurónové siete 2-AIN-132

Cieľom predmetu je oboznámiť študentov so základnými konceptmi a algoritmami učenia umelých neurónových sietí a ich použitím pri riešení rôznych úloh. Sylabus je kompozíciou starších modelov s novšími, v snahe ponúknuť prierez kľúčovými míľnikmi o tejto oblasti výskumu. Teoretické prednášky sú kombinované s praktickými cvičeniami v jazyku Python.


Rozvrh výučby

Druh výučby Deň Čas Miesto Vyučujúci
Prednáška streda 9:50 - 11:20 M-IV Igor Farkaš
Praktické cvičenie štvrtok 18:10 - 19:40 H3 Štefan Pócoš, Iveta Bečková

Sylabus

# Dátum Názov prednášky Literatúra
01 21.2. Podmienky na absolvovanie predmetu. Úvod k predmetu, inšpirácia z neurobiológie, stručná história NS, základné koncepty. NS s logickými neurónmi. slajdy-L01 [U1/1][U3/1][U5/1]
02 28.2. Binárny a spojitý perceptrón: učenie s učiteľom, chybové funkcie, binárna klasifikácia a regresia, lineárna separovateľnosť. Súvis s Bayesovským klasifikátorom. slajdy-L02 [U1/1-3]
03 06.3. Jednovrstvové NS s učiteľom: Lineárna autoasociácia: model General Inverse. Klasifikácia do n-tried. Chybové funkcie, súvis s teóriou informácie. slajdy-L03 [U4/3][U5/4]
04 13.3. Viacvrstvový perceptrón: algoritmus BP. Trénovanie, validácia, testovanie. Selekcia modelu. Bias-variance tradeoff. slajdy-L04 [U1/4][U4/4]
05 20.3. Modifikácie gradientových metód, optimalizácia druhého rádu, regularizácia. Problémy optimalizácie. slajdy-L05 [U1/15][U4/11]
06 27.3. Učenie bez učiteľa, extrakcia príznakov, model neurálnej PCA. Vizualizácia dát: model samoorganizujúcej sa mapy (SOM). slajdy-L06 [U1/8-9][U5/7]
07 03.4. Modelovanie sekvenčných dát: dopredné NS, vzťah k n-gramom, čiastočne a úplne rekurentné modely, model SRN, algoritmy BPTT, RTRL. [U4/8][U5/6]
08 10.4. Hopfieldov model NS: deterministická dynamika, atraktory v stavovom priestore, autoasociatívna pamäť, náčrt stochastického modelu, moderné verzie. [U1/13][U5/9]
09 17.4. Expanzia skrytej reprezentácie: NS s radiálnymi bázovými funkciami (RBF), sieť s echo stavmi (ESN). [U1/5][U2]
10 24.4. Hlboké učenie. Konvolučné neurónové siete: základné princípy. [U3/6,9, U4/6]
11 01.5. Novšie modely NS: autoenkódery, rekurentné GRU, LSTM. [U3/14,U4/9.1-2]
12 08.5. Stochastické rekurentné modely NS: úvod do pravdepodobnostného modelovania, inšpirácia z fyziky, Boltzmannov stroj, RBM model, Deep Belief Network. [U1/11][U3/16]

Literatúra

  • Farkaš I. (2016). Neural networks. Knižničné a edičné centrum FMFI UK v Bratislave. Slajdy k prednáškam.
  • Haykin S. (2009). Neural Networks and Learning Machines (3rd ed.). Upper Saddle River, Pearson Education (k dispozícii na štúdium v knižnici FMFI, ale aj stiahnuteľné z webu). [U1]
  • Jaeger H. (2007). Echo-state network. Scholarpedia, 2(9):2330. [U2]
  • Goodfellow I., Bengio Y., Courville A. (2016). Deep Learning. MIT Press. [U3]
  • Zhang A. et al. (2020). Dive into Deep Learning. An interactive deep learning book with code, math, and discussions, based on the NumPy interface. [U4]
  • Kvasnička V., Beňušková., Pospíchal J., Farkaš I., Tiňo P. a Kráľ A. (1997). Úvod do teórie neurónových sietí. Iris: Bratislava. [U5]

Podmienky absolvovania a spôsob hodnotenia

  • Odovzdanie aspoň dvoch funkčných projektov (z troch) počas semestra (max. 3x10 = 30 bodov) a získanie z projektov spolu aspoň 15 bodov. Termíny na odovzdanie projektov budú včas uvedené na stránke. Projekty budú ponúkať aj bonusy (spolu max. 4 body).
  • Študent/ka môže byť požiadaný/á, aby prezentoval/a svoj funkčný kód na cvičení ako súčasť odovzdania projektu.
  • Na začiatku každého cvičenia (počnúc tretím cvičením) sa budú písať 5-minútovky, za ktoré tiež bude možné získať body (spolu 10x3 bodov za semester).
  • Za aktívnu účasť na cvičení bude možné získať ďalších max. 10 bodov. Z cvičení je nutné získať spolu aspoň 20 bodov (zo 40).
  • Absolvovanie záverečnej písomno-ústnej skúšky (3 otázky, pseudonáhodný výber, spolu 30 bodov). Na skúšku sa môže prihlásiť len ten, kto má oznámkované aspoň dva projekty s fungujúcim kódom. Skúška je povinná, je nutné získať aspoň 12 bodov.
  • Prednášky sú dobrovoľné, za účasť však možno získať max. 5 bonusových bodov.
  • Celkové hodnotenie: A (100-91), B (90-81), C (80-71), D (70-61), E (60-51), Fx (50-0).

Projekty počas semestra

  • Projekt, spolu so zdrojovým kódom, sa odovzdáva k stanoveného termínu (v systéme Moodle). Za každý oneskorený kalendárny deň (max. 5 dní) odovzdania vzniká malus 2 body (až do nuly). Projekt sa nebude prijímať neskôr ako týždeň po termíne.
  • Pri projekte sa hodnotí najmä obsah, ale záleží aj na forme (čitateľnosť, úprava). Obsah projektu musí byť zrozumiteľný, aby bolo jasné, čo a ako ste robili, t.j. grafické výstupy majú byť kombinované so sprievodným textom. Za výraznejšie formálne a gramatické nedostatky môže byť strhnutý bod.
  • Model je naprogramovaný v jazyku Python a projekt sa odovzdáva vo formáte PDF.
  • Pri zistení podvádzania študent/ka získava automaticky nula bodov z projektu a nebude pripustený/á ku skúške.