Neural Networks 2-AIN-132

Course information sheet >

The aim of the course is to get acquainted with the basic concepts and algorithms of learning artificial neural networks and their use in solving various problems. Theoretical lectures are combined with practical modeling in Python exercises

News

Partial changes were made in lectures and exercises last year. Some older parts have been shortened, newer topics have been added. The syllabus is updated, as well as the evaluation of course activities.


Schedule

Type Day Time Place Teacher
Lecture Tuesday 09:50 - 11:20 online Igor Farkaš
Exercise Thursday 16:30 - 18:00 online Endre Hamerlik,Štefan Pócoš,

Sylabus

Dátum Názov prednášky Literatúra
16.2. Conditions for passing the course. Introduction, inspiration from neurobiology, brief history of NN, basic concepts. NN with logical neurons. [U1/1][U3/1][U5/1]
23.2. Binary and continuous perceptron: supevised learning, error functions, binary classification and regression, linear separability. Relation to the Bayesian classifier. [U1/1-3]
02.3. Single-layer NS: Linear autoassociation: General Inverse model. Classification into n-classes. Error functions, relation to information theory . [U4/3][U5/4]
09.3. Multilayer perceptron: error back-propagation algorithm. Training, validation, testing. Model selection. [U1/4][U4/4]
16.3. Modifications of gradient methods, second order optimization, regularization. Optimization problems. [U1/15][U4/11]
23.3. Unsupervised learning, feature extraction, neural PCA model. Data visualization: self-organizing map (SOM) model. [U1/8-9][U5/7]
30.3. Sequential data modeling: forward NS, relation to n-grams, partially and fully recurrent models, SRN model, BPTT, RTRL algorithm. [U4/8][U5/6]
06.4. Expansion of hidden representation: NS with radial basis functions (RBF), echo state network (ESN). [U1/5][U2]
13.4. Deep learning. Convolutional neural networks: introduction. [U3/6,9, U4/6]
20.4. Newer models: autoencoders, GRU, LSTM. [U3/14,U4/9.1-2]
27.4. Hopfield model: deterministic dynamics, attractors, autoassociative memory, sketch of the stochastic model . [U1/13][U5/9]
04.5. Stochastic recurrent models: basics of probability theory and statistical mechanics, Boltzmann machine, RBM model, Deep Belief Network. [U1/11][U3/16]
11.5. Recent advances in NN field.

Literatúra

  • Farkaš I. (2016). Neural networks. Knižničné a edičné centrum FMFI UK v Bratislave. Slajdy k prednáškam.
  • Haykin S. (2009). Neural Networks and Learning Machines (3rd ed.). Upper Saddle River, Pearson Education (k dispozícii na štúdium v knižnici FMFI, ale aj stiahnuteľné z webu). [U1]
  • Jaeger H. (2007). Echo-state network. Scholarpedia, 2(9):2330. [U2]
  • Goodfellow I., Bengio Y., Courville A. (2016). Deep Learning. MIT Press. [U3]
  • Zhang A. et al. (2020). Dive into Deep Learning. An interactive deep learning book with code, math, and discussions, based on the NumPy interface. [U4]
  • Kvasnička V., Beňušková., Pospíchal J., Farkaš I., Tiňo P. a Kráľ A. (1997). Úvod do teórie neurónových sietí. Iris: Bratislava. [U5]

Podmienky absolvovania a spôsob hodnotenia

  • Odovzdanie aspoň dvoch (z troch) projektov počas semestra (max. 3x5 = 15 bodov). Termíny na odovzdanie projektov budú včas uvedené na stránke. Projekty budú ponúkať aj bonusy (max. 2 body).
  • Študent môže byť požiadaný, aby prezentoval svoj funkčný kód na cvičení ako súčasť odovzdania projektu. Na cvičeniach sa budú robiť malé úlohy, za ktoré tiež bude možné získať body (max. 17 za semester).
  • Absolvovanie záverečnej písomno-ústnej skúšky (3 otázky po 5 bodov, pseudonáhodný výber). Na skúšku sa môže prihlasiť len ten, kto má oznámkované aspoň dva projekty s fungujúcim kódom. Skúška je povinná, ústna, je nutné získať aspoň 6 bodov.
  • Prednášky sú dobrovoľné, za účasť však možno získať max. 3 body.
  • Celkové hodnotenie: A (50-46), B (45-41), C (40-36), D (35-31), E (30-26), Fx (25-0).

Projekty počas semestra

  • Projekt, spolu so zdrojovým kódom, sa odovzdáva k stanoveného termínu. Za každý oneskorený kalendárny deň (max. 5 dní) odovzdania vzniká malus 1 bod (až do nuly). Úspešný projekt (fungujúci model) odovzdaný viac ako týždeň po termíne sa započítava bez bodov.
  • Pri projekte sa hodnotí najmä obsah, ale záleží aj na forme (čitateľnosť, úprava). Obsah projektu musí byť zrozumiteľný, aby bolo jasné, čo a ako ste robili, t.j. grafické výstupy kombinované so sprievodným textom. Za výraznejšie formálne a gramatické nedostatky môže byť strhnutý bod.
  • Model je naprogramovaný v jazyku Python a projekt sa odovzdáva vo formáte PDF.
  • Pri zistení plagiátorstva študent(ka) získava automaticky nula bodov z projektu a nebude pripustený(-á) ku skúške.