Intro Exercise: Platforma Google Colab

U ovoj uvodnoj vežbi ćemo prikazati platformu Google Colab. Zahvaljujući njoj možeš da obrađuješ podatke i razvijaš svoje modele mašinskog učenja bez mnogo vratolomija oko instalacije i podešavanja računara.

Postoji veliki broj biblioteka koje podržavaju rad u domenu veštačke inteligencije. Neke od njih su usko specijalizovane, na primer koriste se samo u radu sa slikama, dok su druge opšte i mogu se koristiti za modelovanje i rešavanje šireg skupa problema. U zajednici koja se bavi mašinskim učenjem, programski jezik Python je čest izbor pa su biblioteke ovog jezika trenutno najbrojnije. Sigurno su ti poznate biblioteke scikit-learn, TensorFlow, PyTorch и ЈАX - sve one su otvorenog koda i podržane od strane mnogih istraživačkih zajednica i kompanija.

U praktičnom radu, uz izbor biblioteka, uvek se razmatra i pitanje raspoloživog hardvera. Da bi mogle brže da se obrade velike količine podataka i obuče kompleksniji modeli, koriste se grafičke kartice (eng.graphical processing unit, GPU) i tenzorske kartice (eng.tensor processing units, TPU). Zato se često može čuti da se za obučavanje modela koriste računski servisi u oblaku poput platformi Amazon Web Sevices (AWS), Microsoft Azure, Google Cloud i drugih koje nude specifične arhitekture i superioran hardver na korišćenje uz odgovarajuću novčanu naknadu.

Da bi u toku upoznavanja mašinskog učenja izbegli poteškoće u vezi sa tehničkim konfiguracijama i instalacijama koje uslovljavaju različiti operativni sistemi, koristićemo okruženje Google Colab. Ovo okruženje razvija kompanija Gugl i može se besplatno koristiti uz postojeći Gugl nalog. Za okruženje je karakterističan rad sa Jupyter sveskama sa kojima si se već susreo tako da će ti biti sasvim intuitivne i jednostavne za korišćenje. Najveći broj biblioteka sa kojima ćemo raditi je već dostupan u okviru okruženja Google Colab, a sve dodatne instalacije će biti pravolinijske i izvršavaće se u oblaku, tj. neće opterećivati lokalnu mašinu. Sveskama ćemo pristupati iz pregledača veba, a razmenom njihovih linkova moći ćemo lako da delimo sadržaje. Posebno, podešavanjem Google Colab okruženja moći ćemo da oprobamo i korišćenje GPU i TPU kartica.

Kao što je bilo reči u prethodnoj lekciji, propratne materijale sa kodom možeš da otvoriš u okruženju Google Colab tako što ćeš pratiti ikonicu . Klik na nju će te direktno odvesti do pripremljene sveske u kojoj ćeš moći da izvršiš kôd i dalje eksperimentišeš. Okruženju Google Colab možeš pristupiti i direktno, na adresi https://colab.research.google.com/notebooks/welcome.ipynb iz pregledača koji najviše voliš. Strana dobrodošlice koja će te sačekati sadrži pregled osnovnih funkcionalnosti okruženja. U nastavku ćeš upoznati neke od njih kako bi lakše mogao da pratiš sadržaje.

Da bi se koristio Google Colab potreban ti je Gugl nalog. Ukoliko nemaš Google nalog, možeš da ga kreiraš na adresi https://accounts.google.com/. 

Baš kao i sveske okruženja Jupyter, sveske okruženja Google Colab se sastoje od ćelija koje se interaktivno izvršavaju. Razlikuju se ćelije u kojima se piše kôd i ćelije u kojima se pišu propratni tekstualni sadržaji uz mogućnost dodavanja slika, HTML koda i LaTeX anotacija. Ćelija sa kodom se kreira klikom na + Code dugmence u traci ispod glavnih opcija okruženja. Slično,ćelija sa tekstom se kreira klikom na dugmence + Text. Ovako kreirane ćelije se uvek dodaju na kraj niza ćelija, tj. na kraj sveske.

Traka sa glavnim opcijama okruženja Google Colab

Dugmići za kreiranje ćelija koda i ćelija teksta

 Kada se duže pozicioniramo iznad postojeće ćelije, na vrhu će se pojaviti dugmići za kreiranje ćelija koda i ćelija teksta koje se postavljaju tik ispod ćelije nad kojom smo pozicionirani. Bez obzira na to kako su kreirane, ćelije se mogu premeštati klikom na strelice gore ili dole (opcija  ), mogu se brisati (opcija  ), mogu se komentarisati (opcija  ) ili deliti linkovi do ćelija (opcija ), što je posebno korisno kada se radi u timu. Sve ove opcije se nalaze sa desne strane aktivne ćelije, tj. ćelije u koju unosimo sadržaj. Aktivna ćelija se izvršava klikom na strelicu sa leve strane (  ) ili kombinacijom tasteraShift + Enter , što je obično brže. Da bi neka ćelija postala aktivna, potrebno je dva puta kliknuti na nju.

Opcije za rad sa pojedinačnim ćelijama

Ako je ćelija aktivna, klikom naControl + m + m ćelija sa kodom se može pretvoriti u tekstualnu ćeliju, dok se komandom Control + m + y tekstualna ćelija pretvara u ćeliju sa kodom. Ove skraćenice ti mogu olakšati i ubrzati rad. Lista svih skraćenica koje platforma Google Colab podržava se može videti odabirom opcije Keyboard shortcuts u menijuTools.

Nova sveska se može kreirati klikom na meni File i zatim odabirom opcijeNew notebook. Nova sveska će se otvoriti u novom tabu pregledača i podrazumevano će imati ime Untitled1.ipynb. Klikom na ovaj tekst može se uneti novi naslov sveske. Ekstenziju sveske .ipynb (akronim od engleskog IPython Notebook) treba zadržati prilikom preimenovanja. Kreirane sveske se podrazumevano čuvaju u oblaku, u okviru pridruženog Google Drive prostora. Klikom na meni File pa odabirom opcije Locate in Drive može se pristupiti Google Drive prostoru i videti sveska. Već kreirane sveske je moguće prebacivati u oblak klikom na meni File i odabirom opcije Upload notebook. Često je potrebno i da se sveska sačuva lokalno. To se može postići klikom na meni File i odabirom opcije Download. Sveska se može sačuvati u formatu Jupyter svezaka (sa ekstenzijom .ipynb) ili Python datoteka (sa ekstenzijom .py).

Опције менија File

Datoteke poput skupova podataka ili slika se u okruženju Google Colab učitavaju tako što se odabere opcija Files vertikalnog menija, a potom i ocija Upload menija koji se aktivira kada se pozicioniramo nad direktorijumom sample_data i kliknemo na tačkice sa desne strane. Status prebacivanja datoteke se može pratiti u donjem levom uglu. U radu nam je često potrebna i putanja do ovih datoteka. Da bismo je očitali, treba da se pozicioniramo nad datotekom u direktorijumu sample_data, aktiviramo meni označen tačkicama sa desne strane i odaberemo opciju Copy path. Direktorijum sample_data se može organizovati kreiranjem poddirektorijuma, suvišne datoteke se mogu obrisati, a postojeće se mogu preimenovati. Sve ove funkcionalnosti su dostupne i kroz meni koji se aktivira klikom na tačkice sa desne strane dok smo pozicionirani nad direktorijumom sample_data.

Prilikom rada u okruženju Google Colab pridružuju nam se i određeni računski resursi. Informacije o memorijskim resursima možemo pratiti RAM i disk vizuelizacijama u gornjem desnom uglu. Klikom na ovu ikonicu možemo dobiti detaljan prikaz.

Ikonica za prikaz raspoloživih memorijskih resursa

Detaljan prikaz informacija o raspoloživim resursima

Opcija Change Runtime Type omogućava korišćenje GPU i TPU resursa. Zbog svoje prirode deljenja i besplatnog korišćenja, okruženje Google Colab ni u jednom trenutku ne može garantovati da će se dobiti resursi u punom kapacitetu. Politika dodeljivanja i raspoređivanja resursa je organizacione prirode i na nju se ne može uticati. Zbog toga se ne može odabrati ni neki specifičan tip GPU ili TPU resursa jer se njihov broj i tip menjaju vremenom. U dokumentaciji okruženja Google Colab navedeno je da se najčešće koriste resursi Nvidia K80s, T4s, P4s i P100s. Da bi se koristile ove pogodnosti, nakon klika na opciju Change Runtime Type potrebno je promeniti opciju Hardware accelerator na GPU ili TPU . Tada će se pojaviti i dodatna ikonica za novi resurs u prozoru za praćenje resursa. 

GPU ili TPU panel za izbor resursa

Svaka Google Colab sveska se izvršava u zasebnoj sesiji koja ima svoja podešavanja. Opcija Manage Sessions panela sa resursima se odnosi na podešavanje Google Colab sesija. Klikom na nju se dobija lista svih aktivnih sesija. Sesija se može prekinuti klikom na opciju . Sesija se nakon 30 minuta neaktivnosti automatski prekida, kao i nakon 12 sati aktivnog korišćenja (to je trenutna kvota okruženja). Status sesije se može pratiti u donjem desnom uglu: zeleni kružić označava aktivnu, a narandžasti neaktivnu sesiju.