Lista zagadnień - obowiązuje tylko materiał omawiany na ćwiczeniach (notebooki, zadania domowe, wzory na tablicy itp.):
- Znajomość API podstawowych klas z Pythonowych pakietów użytkowanych w kontekście Uczenia Maszynowego: matplotlib, numpy, scikit-learn.
- Różnica pomiędzy modelem dyskryminatywnym i generatywnym.
- Funkcja likelihood, funkcja loglikelihood.
- Maximum Likelihood, Maximum a Posteriori. Definicje, porównanie tych dwóch metod.
- Jednowymiarowy rozkład Gaussa. Wzór.
- Prawdopodobieństwo warunkowe, wzór Bayesa: postać, zastosowanie. Dwa sposoby interpretacji prawdopodobieństwa: jako cecha obiektu, jako wiedza o świecie. Związek z wzorem Bayesa.
- Wnioskowanie Bayesowskie na podstawie obserwacji rzutów monetą: estymacja prawdopodobieństwa wypadnięcia orła.
- Wnioskowanie Bayesowskie o danych pochodzących z rozkładu Gaussa: estymacja średniej rozkładu przy stałej wariancji.
- Regresja liniowa z błędem gaussowskim. Wzór, parametry regresji liniowej.
- Zmiana zmiennych w regresji liniowej, funkcje bazowe. Wzór. Dlaczego używamy zmiany zmiennych.
- Estymator ML regresji liniowej (także w wersji ze zmianą zmiennych). Wzór, wyprowadzenie wzoru.
- Estymator MAP regresji liniowej. Na czym jest rozkład a priori, jak interpretujemy ten rozkład. Założenie gaussowskiego rozkładu a priori. Wzór (bez wyprowadzenia). Działanie parametru sigma, działanie parametru lambda.
- Założenie i.i.d. Definicja, wytłumaczenie.
- Random train-test split, Cross Validation, Leave One Out. Opisy algorytmów.
- Model selection. Model evaluation. Parametry vs hiperparametry. Konieczność automatyzacji doboru hiperparametrów. Strategie poprawnej ewaluacji.
- Model selection i model evaluation za pomocą podwójnej cross validacji. Opis algorytmu.
- Pojęcia bias/variance dowolnego estymatora (np. estymatora średniej zmiennej losowej).
- Bias-variance tradeoff. Definicja bias i variance modelu uczonego na zbiorze treningowym o rozmiarze N, na czym polega tradeoff.
- Bias-variance tradeoff. Definicja bias i variance estymatora używanego w model evaluation (estymujemy skuteczność modelu m uczonego na zbiorze treningowym o rozmiarze N), na czym polega tradeoff.
- Dekompozycja bias/variance/noise błędu MSE. Wzór (bez wyprowadzenia).
- Regularyzacja. Związek z podejściem Bayesowskim w modelu liniowym, równoważność funkcji kosztu. Hiperparametry, które kontrolują bias/variance w modelach omawianych na zajęciach (sieci neuronowe, k-NN, regresja logistyczna).
- Poprawna ewaluacja modelu uczonego na augmentowanych danych.
- Podstawowe metryki w klasyfikacji: accuracy, precision oraz recall. Interpretacja jako prawdopodobieństwa warunkowe.
- Zbalansowane metryki w klasyfikacji: F1, balanced accuracy. Wpływ przewagi klasy pozytywnej na metryki. Sposoby zbalansowania klasyfikatora: wagi przykładów oraz zamiana progu. Wzory (bez wyprowadzenia).
- Definicja krzywej precision-recall. Jakie dodatkowe informacje można zdobyć analizując tę krzywą.
- Wzór (bez wyprowadzenia) na prawdopobieństwo predykcji modelów: regresja logistyczna, Naive Bayes. Różnice między klasyfikatorem Naive Bayes oraz regresją logistyczną: m.in. dyskryminatywność modelu oraz założenia o niezależności (problem “double counting”).
- Ensemble modeli. Definicja, przykładowe strategie obliczania ostatecznej predykcji dla problemu klasyfikacji (głosowanie, głosowanie ważone) i problemu regresji (średnia arytmetyczna, średnia ważona).
- Bagging. Definicja, własności, wady i zalety.
- Boosting. Definicja, własności, wady i zalety.
- Gradient boosting. Nieróżniczkowalne modele - niemożliwość stosowania gradient descent, jak ten problem rozwiązuje gradient boosting: wzór na aproksymowaną pochodną, metoda aproksymacji, update rule.
- Wielowarstwowa sieć neuronowa. Definicja. Zapis regresji logistycznej jako sieci neuronowej.
- SGD i Momentum. Wzory, update rule. Co oznacza "Stochastic" w SGD.
- Pochodna cząstkowa. Własności: siła wpływu parametrów na wartość funkcji, gradient jako kierunek najefektywniejszego wpływu.
- Backpropagation. Zasada działania: sieć neuronowa jako wielokrotne złożenie funkcji, chain-rule przy liczeniu pochodnej. Algorytm forward pass. Algorytm backward pass.
- Warstwy: ReLU, Sigmoid, Dense. Definicja, wzór na forward pass, wzór na backward pass.
- MSE, Entropia krzyżowa. Definicja, wzór na forward pass, wzór na backward pass.
- Funkcja kosztu vs metryka. Dlaczego nie wystarczy sama metryka (problem nieróżniczkowalności), dlaczego funkcja kosztu może zastąpić metrykę (aproksymacja metryki).
- Cel uczenia reprezentacji. Maximum likelihood danych treningowych vs. znajdowanie dobrych semantycznie cech.
- Autoenkoder. Zasada działania. Równoważność liniowego autoenkodera oraz PCA. Zapis autoenkodera jako sieci neuronowej.
- Wady PCA: założenie o globalnej strukturze Euklidesowej, założenie o pochodzeniu z rozkładu normalnego.
- Isomap. Zasada działania. Których wad PCA nie ma isomap.
- t-SNE. Zasada działania. Zastosowanie, rola parametru perplexity.
- Odwracalność modeli. Które modele z: t-SNE, isomap, liniowy autoenkoder, nieliniowy autoenkoder są odwracalne.
Zagadnienia nieobowiązkowe - wszystkie zagadnienia, które nie są obowiązkowe, w tym m.in.:
- Całka po rozkładzie a posteriori (Posterior Predictive Distribution).
- Monte Carlo
- Wielowymiarowy rozkład Gaussa
- Macierze dodatnio określone
- Rozkład produktowy, brzegowy
- Centralne twierdzenie graniczne
- Odwracanie macierzy
- Szeregi czasowe
- Optymalizacja Bayesowska
- Drzewo decyzyjne.
- Random Forest
- xgboost
- SVM
- Feature engineering
- Vanishing gradient