Neurónové siete – 2-AIN-132/15

Cieľom predmetu je oboznámiť so základnými konceptmi a metódami umelých neurónových sietí a ich použitím pri riešení rôznych úloh. Teoretické prednášky sú kombinované s praktickým modelovaním na cvičeniach v jazyku Matlab.

Informačný list predmetu

Novinky

13. 2. 2017
Výučba predmetu sa začne prednáškou v utorok 21. februára.


Rozvrh výučby

Druh výučby Deň Čas Miesto Vyučujúci
Prednáška utorok 11:30 F1-109 Igor Farkaš
Praktické cvičenie streda 18:10 I-H6 Tomáš Kuzma, Matúš Tuna

Sylabus

Dátum Názov prednášky Literatúra
21.2. Úvod do umelých neurónových sietí (NS, konekcionizmu): inšpirácia z neurobiológie, stručná história NS, základné koncepty. NS s logickými neurónmi. [U1/kap.1][U2/1,2.1-6,2.8-10,U3]
28.2. Binárny/spojitý perceptrón: učenie s učiteľom, chybové funkcie, učiace pravidlá, klasifikácia vzorov, lineárne separovateľné problémy. Súvis s Bayesovským lineárnym klasifikátorom. [U2/3][U1/5]
07.3. Lineárne NS: vektorové priestory, autoasociatívna pamäť (model General Inverse), ortogonálna projekcia, detektor novosti. Pamäť korelačnej matice (CMM model). [U1/4][U2/2.11]
14.3. Viacvrstvový perceptrón: algoritmus spätného šírenia chyby (BP), trénovacia a testovacia množina, generalizácia, validácia, selekcia modelu. [U1/5][U2/4.1-20]
21.3. Hebbovské učenie bez učiteľa, extrakcia príznakov, analýza hlavných komponentov, aplikácie. [U2/8.1-8,8.11]
28.3. Učenie so súťažením, samoorganizujúca sa mapa (SOM), klasterizácia, topologické zobrazenie, redukcia dimenzie, aplikácie [U1,kap.7;U2/9].
04.4. NS s radiálnymi bázovými funkciami (RBF), funkčná aproximácia, trénovanie, kernel, stroj s podpornými vektormi (SVM). [U2/kap.5-6].
11.4. Hopfieldov model NS: deterministická dynamika, atraktory v stavovom priestore, autoasociatívna pamäť, stochastický model. [U1/8.1-5,11]
18.4. voľno - Veľká noc
25.4. Modelovanie sekvenčných dát: dopredné NS s časovým oneskorením, čiastočne a úplne rekurentné modely, (gradientové) algoritmy trénovania. [U1/6,U2/13]
02.5. Organizácia stavového priestoru v RNN. Siete s echo stavmi (ESN), rekurentná SOM. [U1,kap.6,U4]
09.5. Stochastické rekurentné modely NS: Boltzmannov stroj, RBM model, hlboké architektúry NS, Deep Belief Network. [U5]
16.5. Hlboké neurónové siete: koncept hlbokého učenia, aktivačné funkcie, konvolúcia, inicializácia modelu, (pred)trénovanie, aplikácie [U5]
23.5. Opakovanie, otázky a odpovede (v prípade záujmu).

Literatúra

  • Kvasnička V., Beňušková., Pospíchal J., Farkaš I., Tiňo P. a Kráľ A. (1997). Úvod do teórie neurónových sietí. Iris: Bratislava. [U1]
  • Haykin S. (2009). Neural Networks and Learning Machines (3rd ed.). Upper Saddle River, Pearson Education (k dispozícii na štúdium v knižnici FMFI). [U2]
  • Farkaš I. (2011). Neural networks (slajdy k prednáškam). Knižničné a edičné centrum FMFI UK v Bratislave. [U3] - aktualizované prednášky budú poskytované priebežne.
  • Jaeger H. (2007). Echo-state network. Scholarpedia, 2(9):2330. [U4]
  • Goodfellow I., Bengio Y., Courville A. (2016). Deep Learning. MIT Press. [U5]

Podmienky absolvovania a spôsob hodnotenia

  • Odovzdanie aspoň dvoch (z troch) úspešných projektov počas semestra (max. 3x7 = 21 bodov). Termíny na odovzdanie projektov budú včas uvedené na stránke. Projekty budú ponúkať aj bonusy (max. 2 body) za vypracovanie bonusovej časti projektu.
  • Študent môže byť požiadaný, aby prezentoval svoj funkčný kód na cvičení ako súčasť odovzdania projektu.
  • Absolvovanie záverečnej písomno-ústnej skúšky (3 otázky po max. 6 bodov). Na skúšku sa môže prihlasiť len ten, kto má oznámkované aspoň dva projekty s fungujúcim kódom. Skúška je povinná, písomno-ústna, študent musí na nej získať aspoň 6 bodov.
  • Za účasť na prednáškach možno získať max. 3 body, za účasť na cvičeniach max. 8 bodov.
  • Celkové hodnotenie: A (50-46), B (45-41), C (40-36), D (35-31), E (30-26), Fx (25-0).

Pravidlá hodnotenia projektov

  • Projekt, spolu so zdrojovým kódom, sa odovzdáva k stanoveného termínu. Za každý oneskorený kalendárny deň (max. 7 dní) odovzdania vzniká malus 1 bod (až do nuly). Úspešný projekt (fungujúci model) odovzdaný viac ako týždeň po termíne sa započítava bez bodov.
  • Pri projekte sa hodnotí najmä obsah, ale záleží aj na forme. Za výraznejšie formálne a gramatické nedostatky môžu byť strhnuté body.
  • Model môže byť naprogramovaný v hocijakom jazyku (okrem Matlab-u), a projekt musí byť odovzdaný vo formáte PDF.
  • Pri zistení plagiátorstva študent(ka) získava automaticky nula bodov z projektu a nebude pripustený(-á) ku skúške.