|
Vyučující
|
-
Pavlačka Ondřej, RNDr. Ph.D.
|
|
Obsah předmětu
|
1. Ensemble Learning: Core concepts, parallel techniques (voting, bagging, [?]), sequential techniques (boosting methods, gradient boosting methods). 2. Introduction to Deep Learning: Feedforward Artificial Neural Networks (Multi-Layer Perceptron, MLP) and the Backpropagation algorithm. 3. Optimization Methods and Regularization in Deep Learning. 4. Convolutional Neural Networks (CNNs): Advanced architectures (ResNet, [?]), Transfer Learning. 5. Sequential Data Processing: Recurrent Neural Networks (RNNs). 6. Handling Long-Term Dependencies: LSTM and GRU architectures. 7. Attention Mechanism and the Query-Key-Value formalism. 8. Transformer Architecture and modern Large Language Models (LLMs). 9. Deep Generative Models: Variational Autoencoders (VAEs) and Generative Adversarial Networks (GANs). 10. Reinforcement Learning and Deep Q-Networks (DQN).
|
|
Studijní aktivity a metody výuky
|
|
Přednášení, Dialogická (diskuze, rozhovor, brainstorming), Demonstrace, Projekce (statická, dynamická)
|
|
Výstupy z učení
|
Cílem předmětu je rozvinout schopnost studentů samostatně navrhovat, implementovat a kriticky vyhodnocovat pokročilé modely strojového učení a hluboké neuronové sítě, pochopit principy generativního modelování a zpětnovazebního učení, a zároveň porozumět vnitřnímu fungování moderních velkých jazykových modelů (LLM).
Porozumění pokročilým metodám strojového učení a architekturám hlubokých neuronových sítí. Schopnost aktivní implementace, optimalizace a kritického vyhodnocení komplexních modelů. Porozumění principům generativního modelování, zpětnovazebního učení a vnitřního fungování LLM.
|
|
Předpoklady
|
lineární algebra, kalkulus, programování, angličtina
|
|
Hodnoticí metody a kritéria
|
Známkou, Ústní zkouška, Analýza výkonů studenta, Seminární práce
Zápočet: Samostatně vyřešit zadané úlohy z oblasti strojového a hlubokého učení. Zkouška: Ústní.
|
|
Doporučená literatura
|
-
Bishop, Ch.M., Bishop, H. (2024). Deep Learning: Foundations and Concepts.
-
Géron, A. (2019). Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow. Sebastopol.
-
Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.
-
Hastie, T., Tibshirani, R., Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction.
-
Higham, C. F., Higham, D. J. (2019). Deep Learning: An Introduction for Applied Mathematicians.
-
Chollet, F. (2021). Deep Learning with Python.
-
Murphy, K. P. (2023). Probabilistic Machine Learning: Advanced Topics.
-
Prince, S. J. (2023). Understanding Deep Learning.
-
Sutton, R. S., Barto, A. G. (2018). Reinforcement Learning: An Introduction.
-
Zhang, A., Lipton, Z. C., Li, M., & Smola, A. J. (2023). Dive into Deep Learning.
|