3.12 Regularizácia

Regularizácie sú ďalšou sadou techník, ktoré možno použiť na kontrolu úprav modelov. Ich hlavným cieľom je zabrániť tomu, aby sa zložité modely, ktoré nám pomáhajú naučiť sa bohatší súbor závislostí v údajoch, príliš prispôsobili.

Regularizáciu predstavíme na príklade lineárneho regresného modelu. Predpokladajme, že sme trénovali model a získali sme hodnoty parametrov, ktorých grafické znázornenie vyzerá ako na obrázku.

Parametre, ktoré sú najväčšie (absolútne) z hľadiska svojej hodnoty, sú tiež najdôležitejšie pre predpovede modelov. Na obrázku sú to parametre, ktoré zodpovedajú atribútom 3 a 5 a ich hodnoty, ako vidíme, sú výrazne vyššie ako hodnoty ostatných parametrov. V tomto zmysle môžu tieto atribúty ignorovať vplyv zostávajúcich atribútov na hodnoty predikcie, takže toto správanie modelu môžeme interpretovať ako formu úpravy údajov.

 Preto je žiaduce do určitej miery obmedziť hodnoty parametrov – chceme, aby sa model naučil parametre a aby odrážali vlastnosti údajov, ale chceme tiež sledovať ich hodnotu, aby sme predišli nadmernému prispôsobeniu. Táto technika sa nazýva regularizácia. V kontexte lineárnej regresie to môžeme urobiť pridaním súčtu štvorcov parametrov k strednej štvorcovej chybe modelu:

\( \frac{1}{N}\sum\limits_{i = 1}^{N}(y_i −(\beta_0 + \beta_1x_1 + \beta_2x_2 +...+ \beta_n x_n))^2 + λ(\beta_1^2 + \beta_2^2 +...+ \beta_n^2) \)

Hodnota \(λ\) vo výraze je hyperparameter, ktorý ovplyvňuje silu regularizácie. Ak je jeho hodnota 0, regularizácia nebude mať žiadny účinok. Uvedením niektorých nenulových hodnôt vyvažujeme učenie určené strednou štvorcovou chybou a opätovné nastavenie merané hodnotami súčtu štvorcov parametrov. Štvorce sú tu z technických dôvodov, najprv preto, aby sa zabránilo vzájomnému potlačeniu hodnôt koeficientov a potom na zachovanie vlastností chybovej funkcie pre aplikáciu optimalizačného algoritmu. Takáto rozšírená forma lineárnej regresie doplnená regularizačným členom sa nazýva hrebeňová regresia.

O niečo neskôr sa vrátime k príbehu regularizácie, keď predstavíme neurónové siete. Sú to veľmi zložité modely, takže sa často dajú dátam prispôsobiť. Uvidíme tiež, ako ho môžeme sledovať.