2.8 Kreiranje reprezentacije skupa podataka

Priprema numeričkih atributa

U radu sa numeričkim atributima susrećemo se sa veličinama koje se izražavaju na različitim skalama vrednosti. Recimo , u jednom skupu medicinskih podataka mogu postojati laboratorijske analize sa vrednostima u rasponu od 0 do 1 i informacija o visini pacijenta izražena u centimetrima, od 100 do 250, koja je značajno veća. Mnogi modeli mašinskog učenja su osetljivi na prisustvo ovakvih atributa pa im zbog toga treba više vremena da pronađu rešenje. Dodatno , nije lako interpretirati rezultate koji se dobijaju u ovakvoj postavci. Zato u radu sa numeričkim podacima koristimo tehnike normalizacije koje nam pomažu da skup vrednosti atributa dovedemo na iste opsege vrednosti.

 Jedna takva normalizacija je   min-max   normalizacija. Da bismo pojasnili kako se sprovodi, pretpostavimo da treba da normalizujemo vrednost atributa X kojim se izražava visina pacijenata. Neka Xmax = 180 označava najveću visinu pacijenata a Xmin = 110 najmanju. Normalizacija   min-max   se sprovodi tako što se nad svakom vrednošću atributa x primeni formula x − XminXmax − Xmin. Ako je x = 165, nova normalizovana vrednost će iznositi x′= 165 − 110180 − 110 = 0,786. Na ovaj način vrednost atributa svodimo na opseg od 0 do 1.

Poseban vid normalizacije je standardizacija. Ona podrazumeva centriranje vrednosti atributa oko nule i skaliranje na jediničnu varijansu. Da bismo pojasnili kako se sprovodi, možemo opet pretpostaviti da treba da normalizujemo vrednost atributa X kojim se izražava visina pacijenata. Neka je sada Xmean = 153,2 prosečna visina u skupu podataka i σ = 40,23 standardna devijacija. Standardizacija se sprovodi tako što se nad svakom vrednošću atributa x primeni formula x − Xmeanσ. Nova standardizovana vrednost za pacijenta čija je visina x = 165 sada iznosi x′= 165 − 153,240,23 = 0,293.

Efekat normalizacije i standardizacije na skup podataka

Priprema kategoričkih atributa

S obzirom na to da algoritmi mašinskog učenja mogu da se primene samo nad brojevima, kategorički atributi zahtevaju posebnu pripremu. Za njih smo rekli da predstavljaju veličine koje imaju konačan broj vrednosti i da se često pojavljuju u formi niski. Neki od primera koje smo pomenuli su ime boje, pol pacijenta i mesec u godini.

 Ukoliko atribut ima samo dve vrednosti, na primer, predstavlja pol pacijenta, njegove vrednosti obično mapiramo u brojeve 0 ili 1. Recimo vrednost ”žensko”možemo mapirati u broj 1, a vrednost ”muško” u broj 0. Ovakve atribute inače zovemo binarnim atributima.

Primer mapiranja vrednosti

For attributes that can have multiple values, we use one-hot coding. To clarify its meaning, we can look at an attribute that represents a color, which can have three values: red, yellow, and green. The idea is to represent the default color attribute using three new attributes, each of which will correspond to one of the values that the color can take: red, yellow and green (look at the picture, this was a complicated sentence). This further means that we will transform each of the values of the initial attribute into a triplet of values, namely the value of red into a triplet of 1 , 0, 0, the value of yellow into a triplet of 0 , 1 , 0, and the value of green into a triplet of 0 , 0 , 1 . The triplets, as we can see, consist of zeros and exactly one unit in the column that corresponds to the value of the attribute.

Primer one-hot mapiranja 

Reprezentacija skupa podataka

 Nakon koraka transformacije atributa stižemo do finalnog oblika podataka koji možemo da iskoristimo za pokretanje algoritama učenja. Taj finalni oblik zovemo   reprezentacijom skupa podataka. U priči do sada smo pokrili, pre svega, kako se stiže do reprezentacije tabelarnih podataka. I za sve druge vrste podataka kao što su slike, audio-zapisi, tekst, video-sadržaji, ali i kompleksne strukture kao što su grafovi,  potrebno je da kreiramo odgovarajuće reprezentacije. U delu sa neuronskim mrežama upoznaćemo još neke načine kreiranja reprezentacija.