2.8 Vytvorenie reprezentácie množiny údajov

Príprava číselných atribútov

Pri práci s číselnými atribútmi sa stretávame s veličinami, ktoré sú vyjadrené na rôznych stupniciach hodnôt. Napríklad v jednom súbore lekárskych údajov môžu byť laboratórne analýzy s hodnotami v rozmedzí od 0 do 1 a informácie o výške pacienta vyjadrené v centimetroch, od 100 do 250, čo je výrazne viac. Mnohé modely strojového učenia sú citlivé na prítomnosť týchto atribútov, a preto hľadanie riešenia trvá dlhšie. Nie je ľahké pochopiť výsledky, ktoré prináša tento druh práce. Preto pri práci s číselnými údajmi používame normalizačné techniky, ktoré nám pomáhajú preniesť množinu hodnôt atribútov do rovnakých rozsahov hodnôt.

Jednou z takýchto normalizácií je  normalizácia min-max. Aby sme objasnili, ako sa to vykonáva, predpokladajme, že potrebujeme normalizovať hodnotu atribútu X, aby sme vyjadrili výšku pacientov. Nech Xmax = 180 predstavuje maximálnu výšku pacientov a Xmin = 110 najmenšiu. Normalizácia min-max  sa vykonáva použitím vzorca (x − Xmin)/(Xmax − Xmin) na každú hodnotu atribútu x. Ak x = 165, nová normalizovaná hodnota bude x′= (165 − 110)/(180 − 110) = 0,786. Týmto spôsobom sa hodnota atribútu zníži na rozsah od 0 do 1.

Jedným z najdôležitejších aspektov normalizácie je štandardizácia. Zahŕňa vycentrovanie hodnoty atribútu okolo nuly a škálovanie na rozptyl jednotiek. Aby sme objasnili, ako sa to vykonáva, môžeme opäť predpokladať, že musíme normalizovať hodnotu atribútu X, ktorý vyjadruje výšku pacientov. Nech teraz Xmean = 153,2 stredná výška v súbore údajov a σ = 40,23 štandardná odchýlka. Štandardizácia sa dosiahne použitím vzorca (x − Xmean)/σ na každú hodnotu atribútu x. Nová štandardizovaná hodnota pre pacienta, ktorého výška je x = 165, je teraz x′= (165 − 153,2)/40,23 = 0,293.

Vplyv normalizácie a štandardizácie na súbor údajov

Príprava kategorických atribútov

Keďže algoritmy strojového učenia možno použiť iba na čísla, kategorické atribúty si vyžadujú špeciálnu prípravu. Povedali sme, že predstavujú veličiny, ktoré majú konečný počet hodnôt a že sa často objavujú vo forme reťazca. Niektoré z príkladov, ktoré sme spomenuli, sú názov farby, pohlavie pacienta a mesiac v roku.

Ak má atribút iba dve hodnoty, napríklad reprezentujúce pohlavie pacienta, jeho hodnoty sa zvyčajne priradia k číslam 0 alebo 1. Napríklad hodnotu "žena" možno priradiť k číslu 1 a hodnotu "samec" k číslu 0. Tieto atribúty sa inak nazývajú binárne atribúty.

Príklad mapovania hodnôt

Pre atribúty, ktoré môžu mať viacero hodnôt, používame jednorazové kódovanie. Aby sme objasnili jeho význam, môžeme sa pozrieť na atribút, ktorý predstavuje farbu, ktorá môže mať tri hodnoty: červenú, žltú a zelenú. Cieľom je reprezentovať predvolený atribút farby pomocou troch nových atribútov, z ktorých každý bude zodpovedať jednej z hodnôt, ktoré môže farba mať: červená, žltá a zelená (pozrite sa na obrázok, bola to komplikovaná veta). To ďalej znamená, že každú z hodnôt počiatočného atribútu transformujeme na trojicu hodnôt, a to hodnotu červenej na trojicu 1 , 0, 0, hodnotu žltej na trojicu 0 , 1 , 0 a hodnotu zelenej na trojicu 0 , 0 , 1 . Trojice, ako vidíme, pozostávajú z núl a presne jednej jednotky v stĺpci, ktorá zodpovedá hodnote atribútu.

Príklad jednorazového kódovania

Reprezentácia súboru údajov

Po kroku transformácie atribútov sa dostaneme ku konečnej podobe údajov, ktoré môžeme použiť na spustenie algoritmov učenia. Táto konečná forma sa nazýva reprezentácia súboru údajov . V doterajšom príbehu sme sa v prvom rade zaoberali tým, ako dospieť k reprezentácii tabuľkových údajov. A pre všetky ostatné typy údajov, ako sú obrázky, audio, text, videoobsah, ale aj zložité štruktúry, ako sú grafy, Musíme vytvoriť vhodné reprezentácie. V časti o neurónových sieťach sa dozvieme o niektorých ďalších spôsoboch vytvárania reprezentácií.