2.6 Údaje v strojovom učení

Dnes takmer všetky domény aktivít generujú veľké množstvo údajov: informácie o videách, ktoré sme sledovali online, produkty, ktoré sme si zakúpili, priateľov, s ktorými sme sa spojili na sociálnych sieťach, ale aj informácie o návštevách lekára, poveternostných podmienkach v našom meste alebo dopravnej situácii zaznamenanej príslušnými inštitúciami. Všetky tieto údaje možno použiť na lepšie pochopenie prostredia, v ktorom sa generujú.

Rovnako ako v príbehu databáz, s ktorými ste sa stretli minulý rok, aj v strojovom učení popisujeme dôležité entity a udalosti, ktorých správanie chceme modelovať pomocou atribútov (nazývaných aj funkcie). Film možno napríklad opísať podľa názvu, žánru, roku vydania, produkčnej spoločnosti, rozpočtu, zisku, synopsy, mena režiséra a mien hlavných hercov. Výber správnych atribútov na sledovanie a zaznamenávanie pri zbere údajov nie je jednoduchá úloha, pretože vopred nevieme, ktoré atribúty budú najužitočnejšie pre úlohu, ktorú chceme v budúcnosti vyriešiť. Napríklad, ak chceme použiť údaje na predpovedanie zisku filmu (regresná úloha), informácie o hercoch a produkčnej spoločnosti môžu byť užitočnejšie, zatiaľ čo na určenie žánru filmu (klasifikačná úloha) môže byť užitočnejšia synopsa. V zložitejších oblastiach tieto voľby prinášajú ešte viac dilem a výziev.

Vzhľadom na potrebu používať údaje pre širokú škálu aplikácií by sme mohli zvážiť zhromaždenie čo najväčšieho počtu hodnôt atribútov. Aj keď je táto myšlienka v niektorých situáciách platná, vo všeobecnosti si musíme uvedomiť, že veľké množstvo údajov si vyžaduje vhodné úložisko, hardvér na podporu ich spracovania a tím odborníkov s potrebnými zručnosťami a znalosťami na vykonávanie týchto úloh. Preto môžu byť takéto rozhodnutia nákladné a vyžadujú si špeciálne plánovanie. Je tiež dôležité poznamenať, že analýza a pochopenie veľkého množstva údajov je náročné a vyžaduje si vhodné technické kompetencie, ako sú techniky vizualizácie údajov. Okrem toho mnohé domény zahŕňajúce súkromné a citlivé údaje musia dôsledne dodržiavať predpisy a etické smernice o zhromažďovaní údajov, čo ukladá ďalšie obmedzenia týkajúce sa výberu atribútov a možností ukladania. Úloha zhromažďovania údajov a vytvárania vysokokvalitných súborov údajov je preto náročná a náročná a vyžaduje si starostlivú organizáciu.

V nasledujúcich lekciách uvidíme, že každý atribút je definovaný svojím typom a sadou hodnôt a tieto vlastnosti ovplyvňujú spôsob prípravy údajov. V konečnom dôsledku je možné algoritmy strojového učenia aplikovať iba na číselné hodnoty. Počet atribútov a ich vlastnosti tiež ovplyvňujú výber algoritmu strojového učenia.

Pokročilé algoritmy strojového učenia, ako sú neurónové siete, dokážu samy identifikovať dôležité atribúty na riešenie úlohy. To nás oslobodzuje od premýšľania o výbere atribútov a kombináciách. To je užitočné najmä pri práci so zložitými údajmi, ako sú obrázky alebo textový obsah, kde definovanie a extrahovanie atribútov nie je vždy intuitívne. Tieto algoritmy môžu pracovať s nespracovanými údajmi.

• Čo považujete za náročné na zbere údajov v doméne, ktorá vás zaujíma? Môže to byť šport, vedecká disciplína, spoločenský fenomén alebo čokoľvek iné.
• Máte nejaké obavy alebo výhrady týkajúce sa zhromažďovania a spracovania údajov?
• Čo je pre vás osobne najdôležitejšie v procese zberu údajov?

Populárne množiny údajov

Možno vás to prekvapí, ale populárne môžu byť aj súbory údajov! Niektoré z nich sú známe tým, že sa používajú v prvých úlohách strojového učenia, zatiaľ čo niektoré dosiahli svoju popularitu vďaka neustálemu zapojeniu komunity do ich rozširovania a dopĺňania. Keďže rôzne súbory údajov sledujú rôzne domény AI, tu to použijeme ako kritérium na ich zoskupenie a zobrazenie. Konkrétne sa zoznámime so súbormi, ktoré obsahujú obrázky, textové údaje, zvukové archívy a videá. Veľké množstvo knižníc používaných v oblasti strojového učenia umožňuje rýchlo a jednoducho načítať množiny, o ktorých budeme diskutovať.

Počítačové videnie

MNIST

 Určite jednou z najpopulárnejších súprav v oblasti počítačového videnia je  MNIST, súbor obrázkov ručne písaných číslic. Jeho vývoj začal americký Národný inštitút pre štandardy a technológie (angl.  Národný inštitút pre štandardy a technológie (NIST) v roku 1998. Všetky obrázky majú rozmery 28 x 28 pixelov, čiernobiele a celkovo ich je 70 000: 60 000 obrázkov tvorí tréningovú sadu a 10 000 obrázkov tvorí testovaciu sadu. Na obrázku môžete vidieť niektoré číslice z tohto súboru údajov.

Niektoré z postáv z konferencie MNIST

Sada MNIST slúži na trénovanie viactriednych klasifikátorov, najčastejšie v kombinácii s konvolučnými neurónovými sieťami, o ktorých sa dozviete viac neskôr v kurze.

Pre každú číslicu množiny MNIST je poskytnutá jedna trieda. Zamyslite sa nad tým, ktoré číslice je potenciálne problematické rozlíšiť (napríklad číslice 1 a 7 sa môžu navzájom podobať), a potom sa pokúste nájsť nejaké príklady na webe.

Sieť ImageNet

 Obrázky v súprave ImageNet  predstavujú obrázky všeobecných objektov: počítačov, okien, lietadiel, sadeníc, tropických zvierat a rôznych ďalších entít. Zaujímavosťou je, že tieto obrazy sú usporiadané do príbuzných skupín (tzv. synsets), medzi ktorými sa vzťahuje vzťah rodič-dieťa. Napríklad všetky plachetnice patria do jednej skupiny (jeden synset), v hierarchii pod nimi sú skupiny klzákov a trimaránov, zatiaľ čo v hierarchii vyššie sú skupiny plavidiel, plavidiel a vozidiel. Na obrázku v spodnom rade môžete sledovať túto hierarchiu: v spodnej časti sú trimarány a v hornej časti vozidla. V hornom rade sú synsety, ktoré odkazujú na psov a niektoré z ich kategorizácií.

Príklad obrázka ImageNet

Zbierka v súčasnosti obsahuje asi 14 miliónov obrázkov a viac ako 21 000 synsetov. Používa sa pri rôznych úlohách klasifikácie obrázkov a detekcie objektov na obrázkoch.

 Oficiálna webová stránka konferencie ImageNet je   https://www.image-net.org/index.php  . Na jeho vývoji aktívne pracujú výskumníci zo Stanfordských a Princetonských univerzít.

Pokúste sa zistiť, do ktorej skupiny počítač patrí v množine ImageNet a ktoré skupiny sú v hierarchii nižšie a vyššie

COCO

 Súbor  údajov  COCO  (skratka pre Common Objects in Context  ) sa používa pri úlohách detekcie objektov, segmentácie obrázkov a automatického priraďovania názvov k obrázkom. Vytvoril ho Microsoft a zdieľal ho s komunitou v roku 2015.

Obrázok súpravy COCO s označenými rozpoznanými objektmi: lietadlami, nákladnými autami a autami

 Súpravu je možné interaktívne zobraziť na oficiálnej webovej stránke: pre každý obrázok je adresa URL, z ktorej bol obrázok nasnímaný, niekoľko názvov spojených s obrázkom a potom séria ikon zodpovedajúcich rozpoznaným objektom. Počet obrázkov v množine údajov je 330 000 a obsahuje 80 kategórií objektov s viac ako 1,5 miliónmi inštancií. Odkaz na sekciu vyhľadávania na stránke je https://cocodataset.org/#explore .

Spracovanie prirodzeného jazyka

IMDB

 Ak radi sledujete filmy a televízne programy, zaujme vás  dataset  IMDB  , ktorý obsahuje recenzie používateľov z populárnej platformy IMDB. Pri každom pohľade v tomto datasete je tiež známe, či je pozitívny alebo negatívny, t. j. či primárne obsahuje niečo chvályhodné a dobré na filme alebo nejakú kritiku a námietku. Pokiaľ ide o súbory údajov, ktoré obsahujú textový obsah, Vždy je dôležité zdôrazniť, v akom jazyku sú napísané. Množina údajov IMDB obsahuje zobrazenia v angličtine s celkovým počtom 50 000 zobrazení, 25 000 pozitívnych a 25 000 negatívnych zobrazení. Nižšie môžete vidieť pozitívny a negatívny záznam v tomto súbore údajov.

Review	Sentiment (0-negative, 1-positive)

Príklady pozitívnych a negatívnych recenzií súboru IMDB

Súbor údajov IMDB sa používa v úlohách analýzy sentimentu - pripomeňme, že ide o úlohy, pri ktorých je potrebné rozpoznať emóciu alebo postoj prítomný v texte. Keďže množina obsahuje iba informáciu, či je recenzia pozitívna alebo negatívna, k úlohe analýzy sentimentu v množine IMDB sa pristupuje ako k problému binárnej klasifikácie. Vo všeobecnosti môže byť stupnica sentimentu jemnejšia a zahŕňa hodnotenia ako veľmi pozitívne, pozitívne, neutrálne, negatívne alebo veľmi negatívne.

Spracovanie zvuku

Zvuková súprava

 AudioSet   je množina údajov, ktorá obsahuje 10-sekundové úryvky videa zo služby YouTube. Každý z týchto úryvkov je spojený s charakteristikami zvukov, ktoré v nich počuť. Súprava bola vytvorená spoločnosťou Google a obsahuje viac ako 2 milióny klipov s celkovou dĺžkou trvania 5,8 tisíc hodín.

Príklad videoklipu s priradenými zvukovými anotáciami, ktoré obsahuje

 Oficiálna webová stránka konferencie poskytuje prehľad príkladov a pohľad na organizáciu konferencie. Používa sa 632 rôznych kategórií, ako sú zvuky hudobných nástrojov, zvuk vetra, zvuk človeka, hluk atď. Môžete navštíviť adresu https://research.google.com/audioset/index.html a vypočuť si ďalšie príklady. Samotná konferencia vznikla s myšlienkou podporiť vývoj algoritmov rozpoznávania zvuku.

Spracovanie videa

Momenty v čase

 Moments in Time   je súbor údajov, ktorý sa vyvíja s myšlienkou pomôcť systémom umelej inteligencie naučiť sa rozpoznávať akcie a udalosti. Táto sada v súčasnosti obsahuje milión videí s dĺžkou 3 sekundy, v ktorých sú označené aktivity. Videá obsahujú ľudí, zvieratá, predmety a prírodné javy. Len niektoré z udalostí, ktoré sú pokryté, sú tanec, cvičenie, lezenie na strom, skákanie do vody a spánok.

 Stretnutie Moments in Time vyvíja tím z Massachusettského technologického inštitútu (MIT) a na oficiálnej stránke projektu si môžete pozrieť ďalšie príklady videí a uznaných akcií. Odkaz na oficiálnu webovú stránku je http://moments.csail.mit.edu/ .

Video, v ktorom sa uznáva, že muž kŕmi králika