2.9 Školiace, validačné a testovacie súbory

Po analýze údajov a výbere príslušných inštancií a atribútov sa množina všetkých údajov rozdelí na trénovaciu množinu (trénovateľnú) a testovaciu množinu. Ako môžete uhádnuť z názvu množiny, trénovacia množina sa používa na trénovanie samotného modelu strojového učenia. Použije sa naň vybraný algoritmus a vytvorí sa samotný model. Na testovanie modelu sa používa testovací súbor, t. j. výpočet vhodných meradiel kvality modelu. Vďaka nemu je možné objektívne posúdiť, ako dobre sa model naučil potrebnú úlohu. Zvyčajne používame aj časť základných údajov množiny údajov na vytvorenie overovacej množiny. Overovacia súprava sa používa na sledovanie procesu trénovania modelu a určenie niektorých konfigurácií modelov, ktoré vedú k lepším opatreniam kvality. O týchto témach sa bude diskutovať neskôr v kurze.

Rozdelenie množiny údajov na trénovaciu množinu, overovaciu množinu a testovaciu množinu

Množiny trénovania, overovania a testovania sa zvyčajne vytvárajú náhodným rozdelením základného súboru údajov. Najprv definujeme, aké veľké by tieto množiny mali byť, a potom náhodne vyberieme inštancie, ktoré sa v každej z nich nachádzajú. Zvyčajne je trénovací súbor najväčší, zatiaľ čo testovacie a validačné množiny sú menšie, pretože chceme mať dostatok údajov na trénovanie modelu, ale aj dostatok údajov na adekvátne vyhodnotenie jeho výkonu. Prax je taká, že pomery veľkosti týchto súborov sú vyjadrené v pomere. Často napríklad nájdete pomer tréningovej množiny k testovacej množine vyjadrený ako 2:1, čo by znamenalo, že dve tretiny počiatočnej množiny sú tréningové súbory a jedna tretina je testovací súbor. Podobne pomer 2:1:1 by znamenal, že dve štvrtiny (t. j. jedna polovica) základného súboru by sa použili ako tréningová súprava a každá štvrtina ako validačný a testovací súbor.

Aj keď je vhodné, že trénovanie, overovanie a testovacie množiny sa vytvárajú náhodne, stále by to znamenalo určitý prehľad o tom, ako sa toto rozdelenie urobilo. Napríklad, keď chceme replikovať experiment alebo umožniť ostatným, aby ho spustili sami (toto je dôležitá vlastnosť experimentov a nazýva sa reprodukovateľnosť), je vhodnejšie použiť rovnaké trénovacie súbory, validáciu a testovanie. Podobne, keď riešime problém, nie sme si hneď istí, čo je najlepšie urobiť, preto skúšame väčší počet algoritmov a vytvárame väčší počet modelov. V záujme spravodlivosti porovnania by to znamenalo, že vytvoríme všetky modely v rovnakom tréningovom súbore a vyhodnotíme ho v rovnakom testovacom súbore. Preto je dobré nastaviť na úrovni knižnice parameter, ktorý ovplyvňuje náhodnosť delenia (zvyčajne sa nazýva náhodný seed a má rovnaký účel ako nastavenie semien v generátore náhodných čísel) alebo jednoducho rozdeliť dáta od začiatku a pokračovať v ich dôslednom používaní. Niektoré bežne používané množiny údajov majú tieto preddefinované rozdelenia do množiny na trénovanie, overovanie a testovanie (môžete sa napríklad pozrieť na množinu MNIST ).

Dôležitou vlastnosťou, ktorú musia školiace, validačné a testovacie súpravy spĺňať, je to, že sú nesúvislé. To znamená, že každá inštancia zdrojovej množiny údajov pri vytváraní množín trénovania, overovania a testovania musí patriť presne do jednej z týchto množín a nesmú existovať žiadne priesečníky a zdieľané inštancie. Malo by sa pamätať na to, že od modelov strojového učenia sa očakáva, že sa budú dobre zovšeobecňovať, t. j. že sa budú správať dobre pre nové prípady, ktoré model nemal možnosť splniť v trénovacom súbore. Ak sa tréningové a testovacie súbory prekrývajú, nebudeme schopní objektívne posúdiť, či sa model skutočne učí alebo si zapamätá. Pamätá si informácie z tréningovej množiny. To isté platí pre vzťah medzi trénovacím súborom a overovacím súborom: funkciou overovacieho súboru je pomôcť vybrať konfigurácie, vďaka ktorým bude učenie čo najúspešnejšie. Ak sa tieto množiny prekrývajú, nebudeme schopní objektívne a nestranne vyhodnotiť správanie modelu a zvoliť vhodné konfigurácie.

Požiadavka, aby školiace, validačné a testovacie súbory boli disjunktné, znamená aj to, že informácie z jedného zo súborov sa nesmú prelievať do ostatných súborov. To je obzvlášť dôležité pri aplikácii techník predbežného spracovania a prípravy sady. Uvažujme o nasledujúcom príklade. Spomenuli sme, že vzhľadom na citlivosť modelu strojového učenia na hodnotu atribútov sa často vykonáva štandardizácia číselných atribútov. K tejto transformácii možno pristupovať tak, že vypočítame priemer a štandardnú odchýlku na základe celého súboru a potom ho použijeme na štandardizáciu trénovacích a testovacích súborov. Aby nedošlo k pretečeniu informácií, správna postupnosť týchto krokov je v skutočnosti nasledovná:

• rozdelenie súboru údajov na tréningový a testovací balík,
• výpočet priemeru a štandardnej odchýlky len na tréningovom súbore,
• transformácia tréningovej množiny pomocou vypočítaných hodnôt,
• Transformujte testovaciu množinu pomocou hodnôt vypočítaných v trénovacom súbore.

Kvôli túžbe nerobiť chyby si človek môže myslieť aj nasledovne: po rozdelení počiatočného súboru údajov na tréningový súbor a testovací súbor vykonám samostatnú štandardizáciu tréningového súboru a testovacieho súboru. A tento prístup, aj keď je opatrnejší, nie je správny, pretože vedie k úprave testovacej sady. Na obrázku vľavo dole žlté trojuholníky predstavujú inštancie trénovacieho súboru a modré kruhy predstavujú inštancie testovacieho súboru. Obrázok v strede predstavuje tieto prípady po správnej štandardizácii (môžete starostlivo porovnať obrázky a usporiadanie bodov - mierka pozdĺž osi x sa zmenila v dôsledku štandardizácie, všetko ostatné zostalo rovnaké). Na obrázku vpravo môžete vidieť inštancie po vykonaní štandardizácie oddelene nad tréningovou sadou a testovacou sadou - priestorové usporiadanie sa teraz dosť zmenilo.

Príklady správnej a nesprávnej štandardizácie

Pri delení základného súboru údajov by bolo ideálne zachovať proporcie vzhľadom na hodnoty atribútov a hodnotu cieľovej premennej. Napríklad, ak je pomer mužov a žien v lekárskom súbore údajov 4:5, bolo by ideálne, aby po rozdelení bol pomer pacientov v tréningovom súbore a v testovacom súbore približne 4:5. Techniky, ktoré umožňujú tento typ delenia, sa nazývajú stratifikačné techniky. Vzhľadom na množstvo atribútov a ich kombinácií to však v praxi často nie je reálna požiadavka, preto sa najčastejšie trvá na proporcionalite vo vzťahu k hodnotám cieľovej premennej. Tejto téme budeme diskutovať osobitne v kontexte úlohy klasifikácie.

Stratifikované školiace a testovacie zostavy

Ukáž odpoveď

Ukáž odpoveď