2.6 Podaci u mašinskom učenju

Danas skoro svi domeni aktivnosti generišu velike količine podataka: informacije o video zapisima koje smo gledali na mreži, proizvodima koje smo kupili, prijateljima sa kojima smo se povezali na društvenim mrežama, kao i informacije o posetama lekaru, vremenskim uslovima u našem gradu ili saobraćajnim uslovima koje su zabeležile relevantne institucije. Svi ovi podaci mogu se koristiti za bolje razumevanje okruženja u kojem se generiše.

Baš kao u priči o bazama podataka sa kojima ste se susreli prošle godine, u mašinskom učenju opisujemo važne entitete i događaje čije ponašanje želimo da modeliramo pomoću atributa (koji se nazivaju i funkcije). Na primer, film se može opisati naslovom, žanrom, godinom izdanja, produkcijskom kućom, budžetom, profitom, sinopsisom, imenom reditelja i imenima glavnih glumaca. Odabir pravih atributa za praćenje i snimanje prilikom prikupljanja podataka nije lak zadatak jer ne znamo unapred koji će atributi biti najkorisniji za zadatak koji želimo da rešimo u budućnosti. Na primer, ako želimo da koristimo podatke za predviđanje profita filma (regresijski zadatak), informacije o glumcima i produkcijskoj kući mogu biti korisnije, dok za određivanje žanra filma (zadatak klasifikacije), sinopsis može biti korisniji. U složenijim domenima, ovi izbori dolaze sa još više dilema i izazova.

Zbog potrebe da se koriste podaci za širok spektar aplikacija, mogli bismo razmotriti prikupljanje što više vrednosti atributa moguće. Iako ova ideja važi u nekim situacijama, generalno, moramo imati na umu da velike količine podataka zahtevaju odgovarajuće skladištenje, hardver koji podržava njihovu obradu i tim stručnjaka sa potrebnim veštinama i znanjem za obavljanje ovih zadataka. Stoga, takvi izbori mogu biti skupi i zahtevaju posebno planiranje. Takođe je važno napomenuti da je analiza i razumevanje velikih količina podataka izazov i zahteva odgovarajuće tehničke kompetencije, kao što su tehnike vizuelizacije podataka. Pored toga, mnogi domeni koji uključuju privatne i osetljive podatke moraju dosledno pratiti propise i etičke smernice o prikupljanju podataka, što nameće dodatna ograničenja na izbor atributa i mogućnosti skladištenja. Dakle, zadatak prikupljanja podataka i stvaranja visokokvalitetnih skupova podataka je izazovan i zahtjevan, što zahtijeva pažljivu organizaciju.

U narednim lekcijama videćemo da je svaki atribut definisan svojim tipom i skupom vrednosti, a ove osobine utiču na to kako pripremamo podatke. Na kraju, algoritmi mašinskog učenja mogu se primeniti samo na numeričke vrednosti. Broj atributa i njihove osobine takođe utiču na izbor algoritma mašinskog učenja.

Napredni algoritmi mašinskog učenja, kao što su neuronske mreže, mogu sami da identifikuju važne atribute za rešavanje zadatka. Ovo nas oslobađa od razmišljanja o izboru atributa i kombinacijama. Ovo je posebno korisno kada se radi sa složenim podacima kao što su slike ili tekstualni sadržaj, gde definisanje i izdvajanje atributa nije uvek intuitivno. Ovi algoritmi mogu raditi sa sirovim podacima.

• Šta smatrate izazovnim u prikupljanju podataka u domenu koji vas zanima? To može biti sport, naučna disciplina, društveni fenomen ili bilo šta drugo.
• Da li imate bilo kakvih nedoumica ili rezervi u vezi sa prikupljanjem i obradom podataka?
• Šta je vama lično najvažnije u procesu prikupljanja podataka?

Popularni skupovi podataka

Možda će vas iznenaditi, ali skupovi podataka mogu biti popularni previše! Neki od njih su poznati po tome što se koriste u prvim zadacima mašinskog učenja, dok su neki postigli svoju popularnost kroz uporne angažmane zajednice kako bi ih proširili i dopunili. Kako različiti skupovi podataka prate različite domene AI, ovde ćemo ovo koristiti kao kriterijum za grupisanje i prikazivanje. Naime, upoznaćemo setove koji sadrže slike, tekstualne podatke, audio arhive i video zapise. Veliki broj biblioteka koje se koriste u oblasti mašinskog učenja omogućavaju brzo i jednostavno učitavanje skupova o kojima ćemo razgovarati.

Računarski vid

MNIST

 Svakako jedan od najpopularnijih setova u oblasti kompjuterskog vida je   MNIST, skup slika rukom pisanih brojeva. Njegov razvoj je započeo američki Nacionalni institut za standarde i tehnologiju (eng.  Nacionalni institut za standarde i tehnologiju (NIST)  još 1998. godine. Sve slike su 28k28 piksela, crno-bele, a ima ih ukupno 70.000: 60.000 slika čine set za obuku i 10.000 slika čine test set. Na slici možete videti neke od cifara iz ovog skupa podataka.

Neke od figura MNIST konferencije

MNIST set se koristi za obuku multiklasnih klasifikatora, najčešće u kombinaciji sa konvolucijskim neuronskim mrežama, o čemu ćete čuti više kasnije u toku kursa.

Za svaku cifru MNIST skupa obezbeđena je jedna klasa. Razmislite o tome koje su cifre potencijalno problematične za razlikovanje (na primer, cifre 1 i 7 mogu ličiti jedna na drugu), a zatim pokušajte da pronađete neke primere na vebu.

ImageNet

 Slike u ImageNet  setu predstavljaju slike opštih objekata: računara, prozora, aviona, sadnica, tropskih životinja i raznih drugih entiteta. Zanimljivo je da su ove slike organizovane u srodne grupe (tzv. Synsets) između kojih se primenjuje odnos roditelj-dete. Na primer, svi jedrenjaci pripadaju jednoj grupi (jedan sinset), u hijerarhiji ispod njih postoje grupe jedrilica i trimarana, dok u hijerarhiji iznad postoje grupe plovila, plovila i vozila. Na slici, u donjem redu, možete pratiti ovu hijerarhiju: na dnu su trimarani, a na vrhu vozila. U gornjem redu su sinseti koji se odnose na pse i neke od njihovih kategorizacija.

Primer ImageNet slike

Zbirka trenutno sadrži oko 14 miliona slika i preko 21.000 sinseta. Koristi se u različitim zadacima klasifikacije slika i otkrivanja objekata na slikama.

 Zvanični sajt ImageNet konferencije je   https://www.image-net.org/index.php  . Istraživači sa univerziteta Stanford i Princeton aktivno rade na njegovom razvoju.

 

Pokušajte da saznate kojoj grupi računar pripada u ImageNet skupu i koje grupe su u hijerarhiji ispod i iznad

KOKO

 Skup  podataka  COCO  (akronim za Common Objects in Context  ) koristi se u zadacima otkrivanja objekata, segmentacije slika i automatskog povezivanja naslova sa slikama. Kreirao ga je Microsoft i podelio sa zajednicom 2015. godine.

Slika COCO seta sa označenim prepoznatim objektima: avionima, kamionima i automobilima

 Set se može interaktivno pregledati na zvaničnom sajtu: za svaku sliku postoji URL sa kojeg je slika snimljena, nekoliko naslova povezanih sa slikom, a zatim niz ikona koje odgovaraju prepoznatim objektima. Broj slika u skupu podataka je 330.000 i sadrži 80 kategorija objekata sa preko 1,5 miliona instanci. Link do odeljka za pretragu na sajtu je https://cocodataset.org/#explore .

Obrada prirodnog jezika

IMDB

 Ako volite da gledate filmove i TV emisije, bićete zainteresovani  za  IMDB  skup podataka, koji sadrži recenzije korisnika sa popularne IMDB platforme. Za svaki pogled u ovom skupu podataka, takođe je poznato da li je pozitivan ili negativan, tj. da li prvenstveno sadrži nešto pohvalno i dobro o filmu ili neku kritiku i prigovor. Kada je reč o skupovima podataka koji sadrže tekstualni sadržaj, Uvek je važno naglasiti na kom jeziku su napisani. IMDB skup podataka sadrži prikaze koji su na engleskom jeziku sa ukupno 50.000 pregleda, 25.000 pozitivnih i 25.000 negativnih pregleda. Ispod možete videti pozitivan i negativan unos u ovom skupu podataka.

Primeri pozitivnih i negativnih kritika IMDB seta

IMDB skup podataka se koristi u zadacima analize osećanja - podsetimo se da su to zadaci u kojima je potrebno prepoznati emociju ili stav prisutan u tekstu. Pošto skup sadrži samo informacije da li je pregled pozitivan ili negativan, zadatku analize raspoloženja u IMDB skupu se pristupa kao problemu binarne klasifikacije. Generalno, skala osećanja može biti finija i uključuje ocene kao što su veoma pozitivan, pozitivan, neutralan, negativan ili veoma negativan.

Obrada zvuka

Pretraživanje

 AudioSet   je skup podataka koji sadrži 10-sekundne isječke video zapisa sa IouTube-a. Svaki od ovih isečaka povezan je sa karakteristikama zvukova koji se čuju u njima. Set je kreirao Google i sadrži preko 2 miliona klipova sa ukupnim trajanjem od 5,8 hiljada sati.

Primer video klipa sa pripadajućim audio napomenama koje sadrži

 Zvanični sajt konferencije pruža pregled primera i uvid u organizaciju konferencije. Korišćene su 632 različite kategorije, kao što su zvuci muzičkih instrumenata, zvuk vetra, zvuk čoveka, buka itd. Možete posetiti adresu https://research.google.com/audioset/index.html i poslušati još neke primere. Sama konferencija je stvorena sa idejom da podrži razvoj algoritama za prepoznavanje zvuka.

Obrada video zapisa

Trenuci u vremenu

 Moments in Time   je skup podataka koji se razvija sa idejom da pomogne sistemima veštačke inteligencije da nauče da prepoznaju akcije i događaje. Ovaj set trenutno sadrži milion video zapisa dužine 3 sekunde u kojima su aktivnosti označene. Video snimci sadrže ljude, životinje, predmete i prirodne fenomene. Samo neki od događaja koji su pokriveni su ples, vežbanje, penjanje na drvo, skakanje u vodu i spavanje.

 Okupljanje Moments in Time razvija tim sa Masačusetskog instituta za tehnologiju (MIT), a na zvaničnom sajtu projekta možete videti još nekoliko primera video zapisa i priznatih akcija. Link ka zvaničnom sajtu je http://moments.csail.mit.edu/ .

Video u kojem se prepoznaje da čovek hrani zeca

 

 

2.6 Podaci u mašinskom učenju.pdf