3.12 Regularizacija

Regularizacije predstavljaju još jedan skup tehnika koje se mogu koristiti za kontrolu preprilagođavanja modela. Njihov osnovi cilj je da spreče kompleksne modele, koji nam pomažu da naučimo bogatiji skup zavisnosti u podacima, da se previše prilagode.

Regularizaciju ćemo uvesti na primeru modela linearne regresije. Pretpostavimo da smo obučili model i da smo dobili vrednosti parametara čiji grafički prikaz izgleda kao na slici.

Parametri koji su po svojoj (apsolutnoj) vrednosti najveći su ujedno i najznačajniji za predikcije modela. Na slici su to parametri koji odgovaraju atributima 3 i 5 i njihove vrednosti su, kao što možemo da primetimo, znatno veće od vrednosti preostalih parametara. U tom smislu, ovi atributi mogu da zanemare uticaj preostalih atributa na vrednosti predikcija pa ovo ponašanje modela možemo da protumačimo i kao vid preprilagođavanja podacima.

Zato je poželjno, u nekoj meri, ograničiti vrednosti parametara - želimo da model nauči parametre i da oni oslikavaju svojstva podataka, ali želimo i da pratimo njihovu vrednost kako bi predupredili preprilagođavanje. Ova tehnika se zove   regularizacija   (eng. regularisation). U kontekstu linearne regresije to možemo uraditi dodavanjem sume kvadrata parametara srednjekvadratnoj grešci modela:

\( \frac{1}{N}\sum\limits_{i = 1}^{N}(y_i −(\beta_0 + \beta_1x_1 + \beta_2x_2 +...+ \beta_n x_n))^2 + λ(\beta_1^2 + \beta_2^2 +...+ \beta_n^2) \)

Vrednost \(λ\) koja figuriše u izrazu je hiperparametar kojim utičemo na jačinu regularizacije. Ako je njegova vrednost 0, regularizacija neće imati nikakvog efekta. Zadavanjem nekih ne-nula vrednosti balansiramo učenje određeno srednjekvadratnom greškom i preprilagođavanje mereno vrednostima sume kvadrata parametara. Kvadrati su tu iz tehničkih razloga, prvo da bi onemogućili da se vrednosti koeficijenata između sebe potiru, a potom i da bi se očuvala svojstva funkcije greške za primenu algoritma optimizacije. Ovako prošireni oblik linearne regresije dopunjen regularizacionim članom naziva se   grebena linearna regresija   (eng.  ridge regression  ).

Nešto kasnije ćemo se vratiti na priču o regularizaciji kada budemo uveli neuronske mreže. One su veoma kompleksni modeli pa se često mogu preprilagoditi podacima. Videćemo i kako to možemo da pratimo.

3.12 Regularizacija.pdf