Úvodné cvičenie: Platforma Google Colab

V tomto úvodnom cvičení si ukážeme platformu Google Colab. Vďaka nemu môžete spracovávať dáta a vyvíjať vlastné modely strojového učenia bez mnohých kaskadérskych kúskov pri inštalácii a nastavovaní počítača.

Existuje množstvo knižníc, ktoré podporujú prácu v oblasti umelej inteligencie. Niektoré z nich sú úzko špecializované, napríklad sa používajú iba pri práci s obrázkami, zatiaľ čo iné sú všeobecné a dajú sa použiť na modelovanie a riešenie širšieho súboru problémov. V komunite strojového učenia je programovací jazyk Python bežnou voľbou, takže knižnice tohto jazyka sú v súčasnosti najpočetnejšie. Som si istý, že poznáte knižnice. scikit-learn, TensorFlow, PyTorchaJAX - všetky sú open source a podporované mnohými výskumnými komunitami a spoločnosťami.

V praktickej práci sa spolu s výberom knižníc vždy berie do úvahy otázka dostupného hardvéru. Aby bolo možné rýchlejšie spracovať veľké množstvo údajov a trénovať zložitejšie modely,  používajú sa grafické karty (GPU) a tenzorové procesorové jednotky (TPU). Preto často počuť, že na trénovanie modelov sa používajú služby cloud computingu ako Amazon Web Sevice (AWS), Microsoft Azure, Google Cloud a ďalšie, ktoré ponúkajú špecifické architektúry a špičkový hardvér na použitie za zodpovedajúci peňažný poplatok.

Aby sme sa vyhli ťažkostiam súvisiacim s technickými konfiguráciami a inštaláciami, ktoré vyžadujú rôzne operačné systémy v procese spoznávania strojového učenia, použijeme prostredie Google Colab. Toto prostredie je vyvinuté spoločnosťou Google a je možné ho bezplatne používať s existujúcim účtom Google. Prostredie sa vyznačuje prácou s notebookmi Jupyter, s ktorými ste sa už stretli, takže budú celkom intuitívne a ľahko použiteľné. Väčšina knižníc, s ktorými budeme pracovať, je už dostupná v prostredí Google Colab a všetky ďalšie inštalácie budú rovné a budú sa vykonávať v cloude, t.j. nebude to obťažovať lokálny počítač. K poznámkovým blokom budeme pristupovať z webového prehliadača a výmenou ich odkazov budeme môcť obsah jednoducho zdieľať. Najmä nastavením prostredia Google Colab budeme môcť otestovať používanie GPU a TPU kariet.

Ako už bolo spomenuté v predchádzajúcej lekcii, sprievodné materiály s kódom môžete otvoriť v prostredí Google Colab kliknutím na ikonu . Kliknutím naň sa dostanete priamo do pripraveného poznámkového bloku, kde budete môcť spustiť kód a ďalej experimentovať. Do prostredia Google Colab môžete pristupovať aj priamo, na https://colab.research.google.com/notebooks/welcome.ipynb adresu z prehliadača, ktorý sa vám najviac páči. Uvítacia stránka, ktorá na vás bude čakať, obsahuje prehľad základných funkcionalít prostredia. Nižšie sa s niektorými z nich zoznámite, aby ste mohli obsah ľahšie sledovať.

Ak chcete používať Google Colab, potrebujete účet Google. Ak účet Google nemáte, môžete si ho vytvoriť na https://accounts.google.com/.

Rovnako ako poznámkové bloky Jupyter, aj poznámkové bloky Google Colab sa skladajú z buniek, ktoré sa spúšťajú interaktívne. Rozlišuje sa medzi bunkami, v ktorých je kód napísaný, a bunkami, v ktorých je napísaný sprievodný textový obsah, s možnosťou pridania obrázkov, HTML kódu a anotácií LaTeXu. Bunka kódu sa vytvorí kliknutím na tlačidlo + Kód v lište pod hlavnými možnosťami prostredia. Podobne sa textová bunka vytvorí kliknutím na tlačidlá + Text. Takto vytvorené bunky sa vždy pridajú na koniec sekvencie buniek, t. j. na koniec zošita.

Lišta hlavnej ponuky prostredia Google Colab

Tlačidlá na vytvorenie buniek kódu a textových buniek

 Keď sa umiestnime nad existujúcu bunku na dlhší čas, v hornej časti sa zobrazia tlačidlá na vytvorenie kódových buniek a textových buniek, ktoré sú umiestnené tesne pod bunkou, nad ktorou sme umiestnení. Bez ohľadu na to, ako sú vytvorené, bunky je možné presúvať kliknutím na šípky nahor alebo nadol (možnosť  ), možno ich odstrániť (možnosť ), je možné ich komentovať (voliteľné ) alebo zdieľať odkazy na bunky (možnosť ), čo je užitočné najmä pri práci v tíme. Všetky tieto možnosti sa nachádzajú na pravej strane aktívnej bunky, t. j. bunky, do ktorej sa zadáva obsah. Aktívna bunka sa spustí kliknutím na šípku doľava (  ) alebo stlačením Shift + Enter , čo je zvyčajne rýchlejšie. Aby sa bunka stala aktívnou, musíte na ňu dvakrát kliknúť.

Možnosti práce s jednotlivými bunkami

Ak je bunka aktívna, kliknutím na kombináciu klávesov Control + m + m môžete skonvertovať bunku kódu na textovú bunku, zatiaľ čo kombinácia klávesov Control + m + y  skonvertuje textovú bunku na bunku kódu. Tieto skratky vám môžu uľahčiť a zrýchliť prácu. Zoznam všetkých skratiek podporovaných službou Google Colab môžete zobraziť výberom  možnosti Klávesové skratky  v ponuke Nástroje.

Nový poznámkový blok je možné vytvoriť kliknutím na ponuku Súbor   a následným výberom možnosti Nový poznámkový blok. Nový poznámkový blok sa otvorí na novej karte prehliadača a predvolene sa použije názov Untitled1.ipynb. Kliknutím na tento text môžete zadať nový názov zväzku. Prípona zväzku .ipynb (skratka pre anglický poznámkový blok IPython) by sa mala pri premenovaní zachovať. Vytvorené poznámkové bloky sú predvolene uložené v cloude v rámci priradeného priestoru  na Disku Google. Kliknutím na ponuku File  a výberom  možnosti Nájsť na Disku  získate prístup k priestoru na Disku Google a uvidíte poznámkový blok. Už vytvorené poznámkové bloky je možné preniesť do cloudu kliknutím na ponuku Súbor a výberom možnosti Nahrať poznámkový blok. Často je potrebné notebook uložiť lokálne. Môžete to urobiť kliknutím na ponuku Súbor a výberom možnosti Stiahnuť. Poznámkový blok je možné uložiť vo formáte zväzkov Jupyter (s príponou .ipynb) alebo súborov Python (s príponou .py).

Možnosti ponuky File 

Súbory, ako sú datasety alebo obrázky, sa nahrávajú do  prostredia  Google Colab  výberom  možnosti Files  vo vertikálnom menu a následne  ponuky Upload, ktorá sa aktivuje, keď sa umiestnime nad adresár sample_data  a klikneme na bodky vpravo. Stav prenosu súborov je možné sledovať v ľavom dolnom rohu. V našej práci často potrebujeme cestu k týmto súborom. Aby sme si ho mohli prečítať, musíme sa umiestniť nad súbor v adresári sample_data, aktivovať ponuku označenú bodkami vpravo a vybrať možnosť Copy path. Adresár sample_data je možné usporiadať vytvorením podadresára, nadbytočné súbory je možné vymazať a existujúce premenovať. Všetky tieto funkcie sú dostupné aj prostredníctvom ponuky, ktorá sa aktivuje kliknutím na bodky vpravo, zatiaľ čo sa nachádzame nad  adresárom sample_data.

Pri práci v Google Colab sa k nám pripájajú aj určité výpočtové zdroje. Informácie o pamäťových zdrojoch môžeme sledovať pomocou vizualizácií RAM a disku v pravom hornom rohu. Kliknutím na túto ikonu získame podrobný pohľad.

Ikona na zobrazenie dostupných pamäťových zdrojov

Podrobné zobrazenie informácií o dostupných zdrojoch

Možnosť Zmeniť typ modulu runtime  umožňuje použitie zdrojov GPU a TPU. Vďaka svojej zdieľateľnej povahe a bezplatnému používaniu  nemôže prostredie Google Colab  v žiadnom okamihu zaručiť, že zdroje budú získané v plnej kapacite. Prideľovanie a prideľovanie zdrojov má organizačný charakter a nemožno ho ovplyvniť. Preto si nemôžete vybrať konkrétny typ prostriedku GPU alebo TPU, pretože ich počet a typ sa časom mení. V dokumentácii prostredia Google Colab sa uvádza, že najčastejšie používanými zdrojmi sú Nvidia K80, T4, P4 a P100. Pre využitie týchto výhod je po kliknutí na možnosť Zmeniť typ modulu runtime potrebné zmeniť  možnosť Hardvérový akcelerátor  na GPU alebo TPU. V okne sledovania zdrojov sa potom zobrazí ďalšia ikona nového zdroja. 

Panel výberu zdrojov GPU alebo TPU

Každý  poznámkový blok Google Colab sa spúšťa v samostatnej relácii, ktorá má svoje vlastné nastavenia. Možnosť Spravovať relácie na paneli zdrojov odkazuje na nastavenie relácií Google Colab. Kliknutím naň sa zobrazí zoznam všetkých aktívnych relácií. Reláciu je možné ukončiť kliknutím na možnosť . Relácia sa automaticky ukončí po 30 minútach nečinnosti, ako aj po 12 hodinách aktívneho používania (toto je aktuálna kvóta prostredia). Stav relácie je možné sledovať v pravom dolnom rohu: zelený kruh označuje aktívnu reláciu a oranžový kruh označuje neaktívnu reláciu.