3.4 Viacnásobná lineárna regresia

V úvodnom príbehu o súboroch údajov sme videli, že sa používa väčší počet atribútov. V príbehu lineárnej regresie sme však použili iba jeden atribút (štvorcový záber nehnuteľnosti). Pravdepodobne sa pýtate, čo robíme, keď máme viacero atribútov a či potom môžeme použiť lineárny regresný model.

 Model lineárnej regresie, ktorý je prispôsobený tomuto scenáru, sa nazýva viacnásobná lineárna regresia a má tvar \(y = β_0 + β_1X_1 + β_2X_2 + β_3X_3 +...+ β_nX_n\). Nenechajte sa zmiasť týmto dlhým výrazom - teraz hodnoty \(X_1, X_2, X_3, ..., X_n\) predstavujú jednotlivé atribúty a parametre \(β_0, β_1, β_2, β_3, ..., β_n\) sú parametre modelu. Za týmto zovšeobecnením je opäť myšlienka lineárneho vzťahu medzi jednotlivými atribútmi a cieľovou premennou.

Cieľom učenia je určiť hodnoty parametrov \(β_0, β_1, β_2, β_3, ..., β_n\) a získať tak predstavu o závislostiach. Prichádzame k nim rovnakým spôsobom ako pri lineárnej regresii, ktorú sme poznali (tiež hovoríme, že je jednoduchá): minimalizáciou strednej štvorcovej chyby na trénovacom súbore údajov. Techniku gradientného zostupu je možné zovšeobecniť tak, aby vyhovovala tomuto nastaveniu úlohy, a môže nám pomôcť nájsť množinu hodnôt \(β_0, β_1, β_2, β_3, ..., β_n\), pre ktoré je stredná štvorcová chyba najmenšia.

V prípade jednoatribútového lineárneho regresného modelu by sme si mohli predstaviť aj význam parametrov \(β_0\) a \(β_1\): určovali posun a sklon čiary prechádzajúcej súborom údajov. Ukázali nám teda silu lineárnej závislosti medzi vstupnou a výstupnou premennou, t. j. ako veľmi sa zmení hodnota výstupnej premennej y, keď zmeníme atribút \(x\) o 1. Teraz, keď máme viac parametrov, je prirodzené premýšľať, aký význam im môžeme dať. Majú rovnaký druh závislosti. Ak si predstavíme, že iba \(β_0\) a \(β_2\): sú nenulové parametre, potom vzťah medzi cieľovou premennou y a atribútom \(X_2\) predstavuje rovnica \(y = β_0 + β_2X_2\), t. j. lineárna a to isté nám hovorí, ako veľmi sa zmení hodnota cieľovej premennej y a akým smerom, keď zmeníme hodnotu pre \(X_2\) o 1.

 Vzhľadom na to, že parametre pre nás sumarizujú poznatky zo súboru údajov, v prípade viacnásobnej lineárnej regresie väčšie hodnoty parametrov naznačujú väčšiu významnosť atribútu na hodnotu cieľovej premennej. Aby sme mohli sledovať túto vlastnosť, zvyčajne vykresľujeme hodnoty vypočítaných parametrov pomocou stĺpcového grafu. Obrázok nižšie zobrazuje hodnoty parametrov modelu, ktorý používa skutočný súbor údajov na predpovedanie cien nehnuteľností (populárne nehnuteľnosti v Bostone). Bez toho, aby sme zachádzali do podrobností o tejto množine, môžeme si okamžite všimnúť, že atribút LSTAT má najväčšiu a negatívnu hodnotu cieľovej premennej, zatiaľ čo atribúty RM a RAD majú pozitívny účinok, takmer rovnako. Grafika tohto typu, ktorá nám môže poskytnúť určitú predstavu o vplyve atribútov, sa nazýva grafy dôležitosti atribútov. Graf dôležitosti funkcií ).

Graf dôležitosti atribútov viacnásobnej regresie

Ďalší detail, ktorý treba zdôrazniť, aby vás neskôr neprekvapil, sa týka linearity. Lineárny regresný model je lineárny  z hľadiska parametrov. To znamená, že model, ktorého tvar \(y = β_0 + β_1X + β_2X^2 + β_3X^3\), v ktorom sú uvedené stupne hodnôt atribútov, by sa spustil ako lineárny model. Podobne je to aj s modelom \(y = β_0 + β_1log(X)\), v ktorom je zobrazený logaritmus hodnoty atribútu. Tieto možno neočakávané roly atribútov si môžete predstaviť ako transformácie, ktoré opravujú lineárny vzťah medzi atribútom a cieľovou premennou.