3.4 Višestruka linearna regresija

U uvodnoj priči o skupovima podataka videli smo da se koristi veći broj atributa. Ipak , u priči o linearnoj regresiji smo koristili samo jedan atribut (kvadraturu nekretnine). Verovatno se pitaš šta radimo kada imamo više atributa i da li tada možemo da primenimo model linearne regresije.

 Model linearne regresije koji je prilagođen ovom scenariju se zove   višestruka   linearna regresija i ima oblik \(y = \beta_0 + \beta_1X_1 + \beta_2X_2 + \beta_3X_3 +...+ \beta_nX_n\). Nemoj da te ovaj dugački izraz zbuni - sada vrednosti \(X_1, X_2, X_3, ..., X_n\) predstavljaju pojedinačne atribute a parametri \(\beta_0, \beta_1, \beta_2, \beta_3, ..., \beta_n\) parametre modela. Iza ovog uopštavanja je opet ideja o linearnoj zavisnosti između pojedinačnih atributa i ciljne promenljive.

Cilj učenja je da odredimo vrednosti parametara \(\beta_0, \beta_1, \beta_2, \beta_3, ..., \beta_n\) i tako steknemo predstavu o zavisnostima. Do njih dolazimo na isti način kao i kod linearne regresije koju smo upoznali (za nju kažemo i da je prosta): minimizacijom srednjekvadratne greške na skupu podataka za treniranje. Tehnika gradijentnog spusta se može uopštiti tako da odgovara i ovoj postavci zadatka i može nam pomoći da nađemo baš skup vrednosti \(\beta_0, \beta_1, \beta_2, \beta_3, ..., \beta_n\) za koji je srednjekvadratna greška najmanja.

 U slučaju modela linearne regresije sa jednim atributom mogli smo da zamislimo i smisao koji nose parametri \(\beta_0\) i \(\beta_1\): određivali su pomeraj i nagib prave koja prolazi kroz skup podataka. Tako su nam ukazivali na jačinu linearne zavisnost između ulazne i izlazne promenljive, tj. na to koliko se vrednost izlazne promenljive y promeni kada atribut \(x\) promenimo za 1. Sada, kada imamo više parametara, prirodno je da se pitamo kakvo značenje možemo da im damo. Pa, i oni modeluju istu vrstu zavisnosti. Ako zamislimo da su samo \(\beta_0\) i \(\beta_2\): parametri koji su različiti od nule, onda je veza između ciljne promenljive y i atributa \(X_2\) predstavljena jednačinom \(y = \beta_0 + \beta_2X_2\), tj. linearna i isto nam ukazuje koliko će se promeniti vrednost za ciljnu promenljivu y i u kom smeru kada vrednost za \(X_2\)promenimo za 1.

S obzirom na to da parametri za nas sumiraju znanja iz skupa podataka, u slučaju višestruke linearne regresije, veće vrednosti parametara ukazuju na veći značaj nekog atributa na vrednost ciljne promenljive. Da bismo mogli da ispratimo ovo svojstvo, vrednosti izračunatih parametara obično iscrtavamo grafikonom sa stubićima. Na donjoj slici prikazane su vrednosti parametara jednog modela koji koristi realni skup podataka za predviđanje cena nekretnina (popularni Boston skup podataka o nekretninama). Bez mnogo ulaženja u detalje ovog skupa, odmah možemo primetiti da atribut LSTAT utiče najviše, i to negativno, na vrednost ciljne promenljive, dok atributi RM i RAD imaju pozitivan uticaj, i to skoro podjednako. Grafike ovog tipa, koji mogu da nam daju neku ideju o uticaju atributa, nazivamo graficima važnosti atributa  (eng.  feature importance graph).

Grafik važnosti atributa višestruke regresije

 Još jedan detalj koji treba na naglasimo, da te kasnije ne bi iznenadio, tiče se linearnosti. Model linearne regresije je   linearan po parametrima  . To znači da bi se i model čiji je oblik \(y = \beta_0 + \beta_1X + \beta_2X^2 + \beta_3X^3\) u kojem figurišu stepeni vrednosti atributa, vodio kao linearni model. Slično je i za model \(y = \beta_0 + \beta_1log(X)\),  u kojem figuriše logaritam vrednosti atributa. O ovim možda neočekivanim ulogama atributa možeš da razmišljaš kao transformacijama koje popravljaju linearnu zavisnost između atributa i ciljne promenljive.