3.10 Generalizacija, potprilagođavanje i preprilagođavanje

Zamisli da se Pera, Ana i Luka pripremaju za kontrolni iz matematike i da svi koriste istu zbirku. Pera je zabušavao i samo je ovlaš provežbao zadatke, Ana je bila vredna i cele nedelje pažljivo i sa razumevanjem vežbala, dok se Luka odlučio da zadatke nauči napamet. Da li možeš da pogodiš ko je najbolje prošao na kontrolnom? Naravno , Ana!

Na zbirku zadataka možemo da gledamo kao na neki apstraktni skup podataka koji se sastoji od ulaza (tekstova zadataka) i izlaza (rešenja). Model mašinskog učenja može, poput Pere, da nauči tek poneku vezu u podacima i dosta greši u praksi. Takvo svojstvo modela zovemo   potprilagođavanje   (eng. underfitting). Model može i da pretera sa nivoom detalja, poput Luke, i izgubi moć da se snađe sa nekim novim podacima. Takvo svojstvo modela zovemo   preprilagođavanje   (eng. overfitting). Najbolje bi bilo kada bi model usvojio prave informacije i mogao, kao Ana, da uspešno reši i poznate i neke nove zadatke. To svojstvo modela zovemo   dobra generalizacija   (eng. generalisation).

Primer potprilagođavanja i preprilagođavanja možemo da ilustrujemo i sledećom slikom. Zamisli da su duž x-ose navedene vrednosti nekog atributa, duž y-oce vrednosti ciljne promenljive i da je isprekidanom linijom prikazan model. Model na levoj slici nije baš najbolji izbor s obzirom na raspored tačaka, deluje previše jednostavno. Podaci više liče na neku”čašu” pa bi neki kvadratni model, koji ima tu formu, mogao da bude bolje rešenje. Njega možemo da vidimo na srednjoj slici. Na desnoj slici vidimo model koji dosledno prati svaku tačku u skupu podataka i koji mu je sasvim prilagođen.

Primer potprilagođavanja i preprilagođavanja

Zadatak pronalaženja optimalnog modela i balansiranja između potprilagođavanja i preprilagođavanja nije jednostavan. Srećom , oblast mašinskog učenja definiše protokole i tehnike koje možemo da koristimo da ispratimo svaku od ovih situacija. Tako, recimo, velike razlike u uspešnosti modela na skupu za treniranje i skupu za testiranje ukazuju da se model preprilagodio. To je obično posledica izbora kompleksnijeg modela nego što je potrebno (kao na gornjoj desnoj slici) ili dužeg treniranja modela. Sa druge strane, male vrednosti mera kvaliteta i na skupu za treniranje i na skupu za testiranje ukazuju da model nije naučio dovoljno na osnovu podataka, da je previše jednostavan (kao na gornjoj levoj slici) ili da mu je potrebno više atributa.

 Dobra generalizacija je svojstvo koje modelima mašinskog učenja omogućava uspešnu primenu u praksi. Za njihovo obučavanje se koristi samo jedan mali deo podataka koji je dostupan, a opet, od njih očekujemo u toku primene da se dobro ponašaju i nad novim podacima koje nisu nikada susreli. Zato je važno da skupovi podataka budu reprezentativni, tj. da budu i dovoljno bogati i raznovrsni i da odgovaraju problemu koji se rešava, kao i da se pažljivo proprate moguća potprilagođavanja i preprilagođavanja modela.