Hodnocení výsledků klasifikačních úloh - Janošíková, Lucie; Řezanková, Hana, 1956-; Šulc, Zdeněk; Vysoká škola ekonomická v Praze. Fakulta informatiky a statistiky (2025)
Klasifikace dat představuje jednu z klíčových oblastí statistiky. Práce stručně představuje vybrané klasifikační metody, přičemž hlavní důraz je kladen na metody hodnocení výsledků klasifikačních úloh. Popsány jsou klasifikační tabulky pro binární i nebinární úlohy a z nich odvozené metriky, stejně jako pokročilejší míry úspěšnosti a souhlasu, například Cohenovo kappa, Matthewsův korelační koeficient nebo Brier skóre. Praktická část práce obsahuje analýzu několika datových souborů, které zahrnují jak reálná data z různých odvětví, tak uměle generované soubory pro binární klasifikaci i pro klasifikaci pro více tříd. Na každý datový soubor jsou aplikovány vybrané modely a jejich výstupy jsou vyhodnoceny pomocí představených metrik. Cílem práce je posoudit vhodnost metrik při hodnocení klasifikačních úloh v různých typech dat. V závislosti na vlastnostech dat, některé metriky mohou poskytovat odlišné nebo zavádějící informace. Analýza ukazuje, že AUC (Area Under Curve) je spolehlivou metrikou pro měření rozlišovací schopnosti modelu, zejména v binárních úlohách. Přesnost a úplnost se ukázaly jako klíčové při interpretaci výkonnosti v nerovnoměrně rozdělených třídách, kde každá z těchto metrik zachycuje jiný aspekt chyb klasifikace. Pro posouzení kvality pravděpodobnostních predikcí byly použity Brier skóre a logaritmická ztráta. V úlohách s více než dvěma třídami bylo hodnocení složitější, avšak metriky jako AUC nebo logaritmická ztráta stále poskytovaly srovnatelné výsledky. Dále byla zkoumána role Lasso regularizace, která měla pozitivní vliv na hodnoty AUC i Brier skóre, zejména u nevyvážených dat, u kterých přispěla ke zlepšení úplnosti méně zastoupených tříd. Po aplikaci Lasso byly výsledky modelů stabilnější a méně náchylné k přeučení, což vedlo k lepší generalizaci na nevyv
U logistické regrese a lineární diskriminační analýzy se po aplikaci Lasso zlepšila schopnost modelu rozlišovat mezi třídami, zatímco klasifikační stromy vykázaly pokles výkonu, protože redukce dimenzionality odstranila některé důležité proměnné. Hlavním přínosem práce je systematické porovnání evaluačních ukazatelů a jejich interpretací, které může sloužit jako návod pro volbu vhodné metriky pro konkrétní klasifikační úlohy.
Vedoucí práce: Hana Řezanková
Diplomová práce (Ing.)—Vysoká škola ekonomická v Praze. Fakulta informatiky a statistiky, 2025
Obsahuje bibliografii
Textový (vysokoškolská kvalifikační práce)
Rok obhajoby 2025
Způsob přístupu: Internet
Keywords: statistika [obor dipl. práce]; diplomové práce; master's theses