2.7 Eksplorativna analiza skupa podataka (EDA)

Svaki zadatak mašinskog učenja započinjemo upoznavanjem sa skupom podataka. Ako koristimo tabelarne podatke, zanima nas koji se atributi pojavljuju, koje vrednosti imaju i da li neki od njih mogu biti povezani. Kada radimo sa drugim vrstama podataka, kao što je tekst, obično nas zanima da li su svi tekstovi napisani na istom jeziku i koliko su dugi. Pošto nijedan skup podataka nije savršen, u analizi pokušavamo da pronađemo potencijalne duplikate i neke atipične unose. Svi ovi zadaci se nazivaju istraživačka analiza skupa podataka . Istraživačka analiza podataka (EDA). Njegov cilj je da nam pomogne, kroz raznovrstan skup zadataka, da bolje upoznamo skup podataka i da donosimo dalje odluke u vezi sa pripremom podataka više informisani. S obzirom na važnost podataka u narednim koracima (zapamtite izreku "smeće na ulazu, smeće na izlazu"), pokušavamo da posvetimo dovoljno vremena istraživačkoj analizi skupa podataka i pređemo na sledeći korak samo kada smo sigurni da razumemo podatke.

Istraživački zadaci analize podataka

Analiza atributa

Pošto se atributi koriste za opisivanje širokog spektra svojstava, njihovi tipovi i opseg vrednosti variraju. Dve velike grupe atributa sa kojima se susrećemo su numerički (kvantitativni) i kategorički (kvalitativni) atributi. Numerički atributi imaju, kao što ime kaže, numeričke vrednosti. Takvi su, na primer, visina igrača, udaljenost od aerodroma, broj kućnih ljubimaca, spoljašnja temperatura, broj prodatih sladoleda, koncentracija glukoze u krvi i mnogi drugi. Za ove atribute, obično gledamo opsege vrednosti, najviše i najniže vrednosti, prosečnu vrednost, medijan, kao i samu distribuciju. Sve ove  analize nazivamo deskriptivnim analizama,  jer nam pomažu da opiše količinu na koju je atribut povezan.

Primeri nekih opisnih analiza atributa Iris skupa podataka

Kategorički atributi su vrsta atributa koji mogu imati konačan skup vrednosti. Takvi atributi su, na primer, boja automobila, vrsta odeće, pol pacijenta, tekuća sezona i drugi. Ovi atributi su obično predstavljeni nizovima ili ekvivalentnim numeričkim kodovima. Na primer, mesec u godini može biti naveden kao naziv "februar" ili kao broj "dva" (jer je februar drugi mesec u godini). Važno je napomenuti da čak i ako koristimo numeričke kodove za predstavljanje ovih atributa, nema smisla izračunavati vrednosti kao što su prosek ili maksimum, jer ove vrednosti nisu inherentno numeričke. Za njih obično analiziramo koje vrednosti mogu uzeti i koliko često se pojavljuju, a te zaključke prikazujemo pomoću grafikona.

Primer analize atributa "godina" u setu Titanik

Ujedinjenje vrednosti

U toku analize podataka, možemo ustanoviti da vrednosti atributa nisu ravnomerno postavljene. Na primer, imena boja mogu biti napisana nedosledno, ponekad malim, a ponekad velikim slovima, ili datumi mogu biti dati u različitim formatima kao što su dan-mesec-godina i godina/mesec/dan. Da bi mogli pravilno izvršiti zadatak analize, poželjno je ujediniti ove vrijednosti, tj. Hajde da ih smanjimo na isti način predstavljanja. Obično postoji način koji je poželjniji ili korisniji, ali se takođe dešava da su izbori potpuno jednaki.

Nedostajuće vrednosti

Kada analiziramo skup podataka, možemo primetiti da nedostaju vrednosti nekih atributa. To može biti zbog nepažnje u unosu podataka ili jednostavno nedostupnosti informacija. Takve vrednosti u skupu podataka nazivaju nedostajuće vrednosti.

Primer skupa sa nedostajućim vrednostima

Najjednostavniji korak koji možemo preduzeti kada primetimo nedostajuće vrednosti je da izbrišemo ili atribute (kolone skupa podataka) ili instance (vrste skupa podataka) u kojima se pojavljuju. Na primer, ako ne znamo vrednost atributa za više od 50% instanci skupa podataka, ima smisla da ga izbrišemo. Ako, s druge strane, imamo samo nekoliko slučajeva u kojima nedostaje vrednost atributa, najbolje je da obrišete instance i zadržimo atribut. Međutim, ove odluke nisu uvek lake. Na primer, može se desiti da različite vrednosti atributa nedostaju u različitim slučajevima, tako da na ovaj način brišemo i ignorišemo značajan broj instanci, što može biti problematično ako nemamo veliki skup podataka. Zato ima smisla razmotriti još neke opcije u radu sa nedostajućim vrednostima.

Ako je atribut koji nedostaje numerički, na primer, udaljenost do aerodroma ili visina igrača, možemo zameniti vrednosti koje nedostaju sa prosečnom vrednošću poznatih vrednosti. Argument koji imamo za ovaj izbor je da ćemo koristiti informacije koje već postoje u skupu podataka i da nećemo mnogo promeniti o nekim drugim svojstvima atributa. S druge strane, ako govorimo o kategoričkim atributima, kao što su boja automobila ili zemlja proizvodnje, koji mogu imati konačan skup vrijednosti, možemo zamijeniti nedostajuću vrijednost najčešćom vrijednošću. Druga opcija koja važi i za numeričke i za kategoričke atribute je upotreba slučajnih vrednosti - tako da možemo zameniti nedostajuću boju slučajnom bojom iz mogućeg skupa boja, a nedostajuću visinu igrača sa vrednošću iz opsega najmanje i najviše visine u setu. U svim slučajevima, moramo biti oprezni jer promene u podacima mogu uticati na uspeh modela i rezultate koje dobijemo. Takođe je veoma važno u kom trenutku vršimo ove popravke. O tome ćemo pričati kasnije.

Duplikate

Prisustvo duplikata u skupu podataka može uticati na moć generalizacije modela. Zato je uvek zgodno proveriti da li postoje podaci koji se ponavljaju ili su veoma slični. Kada su u pitanju tabelarni podaci, duplikati se mogu naći direktnim upoređivanjem vrednosti atributa. Kada radimo sa različitim vrstama podataka, obično su nam potrebne naprednije tehnike. Na primer, duplirane slike mogu biti simetrične, kao u ogledalu, bilo horizontalno ili vertikalno. Isto je i sa tekstualnim podacima. Dve vesti mogu sadržavati istu objavu (koju su izveštale neke novinske agencije) sa malo drugačijim naslovima, tako da su u smislu direktnog poređenja karaktera, različite, ali iste.

Uočavanje izuzetaka

Uočavanje podataka koji se na neki način razlikuju od ostalih omogućava nam da uočimo greške u podacima ili otkrijemo nova, atipična ponašanja. Takvi podaci se nazivaju izuzeci ili izuzetci. Udaljenost od aerodroma, koja je -1,2 km, bila bi razlika u brojci jer očekujemo da će udaljenost biti pozitivna vrednost. Na taj način smo mogli uočiti grešku i ispraviti je. S druge strane, temperatura od 45 °C je takođe neobična vrednost , ali stvarna zbog klimatskih promena i možda veoma korisna kao informacija za preduzimanje određenih koraka i akcija .

Grafički prikaz neslaganja

Odstupanja takođe mogu uticati na ishod algoritama mašinskog učenja. Zbog toga, kada su uočeni i obrađeni, važno je odlučiti da li ih treba zadržati ili izbrisati.

Atribut korelacija

Atributi mogu biti povezani jedni sa drugima. Možemo videti vezu ako nacrtamo graf koji ima vrednost jednog atributa duž k-ose i vrednost drugog atributa duž y-ose. Na primer, možemo pratiti parove atributa spoljnu temperaturu i broj prodatih sladoleda, spoljnu temperaturu i potrošnju električne energije i spoljašnju temperaturu i broj knjiga u biblioteci. Neka svaki od ovih parova odgovara grafikonu kao na slici ispod. Možemo primetiti da je porast temperature praćen povećanjem broja prodatih sladoleda. Ako povećanje vrednosti jednog atributa prati povećanje vrednosti drugog atributa, kažemo da su oni pozitivno povezani. Na grafu takođe možemo primetiti da je ova zavisnost linearna, tj. da prati imaginarnu liniju koja prolazi kroz skup tačaka. S druge strane, čini se da je situacija sa spoljašnjom temperaturom i potrošnjom struje nešto drugačija, tj. da je smanjenje temperature praćeno većom potrošnjom električne energije, Verovatno zbog upotrebe grejača. Atributi u kojima je povećanje vrednosti jednog atributa praćeno smanjenjem vrednosti drugog atributa se kaže da su negativno korelirani . Iz grafike, možemo zaključiti, opet, da je ova vrsta korelacije linearna. Treći grafikon, koji prikazuje spoljašnju temperaturu i broj knjiga u biblioteci, ne ukazuje na nikakvu, barem ne očiglednu, pravilnost između atributa. Svakako možemo zaključiti da ovi atributi nisu linearno povezani.

Grafika asocijacije atributa

Da bi se izmerio linearni odnos atributa, možemo koristiti različite vrste koeficijenata koji su uspostavljeni u domenu matematičke statistike. Jedan takav koeficijent je Pirsonov koeficijent korelacije. Njegove vrednosti se kreću od -1 do 1 i ukazuju na pravac i snagu veze. Vrednosti koeficijenata bliže -1 ukazuju na negativnu korelaciju, vrednosti koeficijenata bliže 1 ukazuju na pozitivnu korelaciju, a vrednosti oko nule ukazuju na odsustvo linearne korelacije.

Uobičajeno je da se vrednosti koeficijenata korelacije između atributa grafički prikazuju u obliku takozvane toplotne mape. Svaki kvadrat na ovoj mapi odgovara jednom paru atributa i njegova boja je prilagođena vrednosti koeficijenta korelacije. Kolona koja se nalazi na strani ove mape povezuje vrednosti i nijanse boja. Posmatrajući ovu mapu, lako možemo videti korelacije u podacima. Na slici ispod prikazani su parovi atributa jednog skupa podataka koji kombinuje informacije o zaposlenima. Iako malo znamo o ovom setu, možemo zaključiti da iskustvo i broj godina (atribut starosti) najbolje prate vrednosti plata. Takođe možemo videti da postoji korelacija između broja godina (atribut starosti) i atributa iskustva .

Toplotna mapa sa vrednostima koeficijenta korelacije

Uočavanje atributa koji su povezani omogućava nam, pre svega, da bolje razumemo domen na koji se podaci odnose. Neke veze se mogu očekivati, dok druge mogu da nam donesu nova znanja. Brisanjem atributa koji su povezani, možemo smanjiti dimenzionalnost skupa podataka. Na taj način možemo ubrzati rad nekih algoritama i lakše razumeti rezultate. Postoje i algoritmi mašinskog učenja koji se ne ponašaju dobro ako postoje asocijacije u skupu podataka - brisanje atributa za koje se ovo odnosi može poboljšati uspeh algoritma.

Ova lekcija je uparena sa Jupiter notebook 03-ekploratori-data-analisis.ipinb . Ako želite da vežbate zadatke koje smo opisali, kliknite na link, a zatim na dugme  da biste otvorili sadržaj u Google Colab okruženju. Ako pogledate sveske na lokalnoj mašini, pronađite svesku sa istim imenom među sadržajem i pokrenite je. Za detaljnija uputstva, pogledajte odeljak Hands-on zona i lekcija Jupiter vežbe sveske .

U beležnici Jupiter, koristeći funkcije biblioteke Pandas, analizirani su podaci seta Titanik. Ovaj set sadrži informacije o putnicima koji su bili na čuvenom brodu Titanik kada je 1912. godine, ploveći u Atlantskom okeanu, udario u ledeni breg i doživio brodolom.