03446ntm a22005297i 4500 000723050 CZ-PrVSE 20250614131007.0 m d cr n|||||||||| 250614s2025 xr fsbm 000 0 cze d NEZPRACOVANÝ IMPORT ABA006 cze ABA006 ABA006 rda Dragoun, Jiří ISIS:155565 dis Exploration of model distillation technique for efficient deep learning of classification transformers eng Průzkum techniky destilace modelu pro efektivní hluboké učení klasifikačních transformerů / Jiří Dragoun 2025 ?? stran : digital, PDF soubor Vedoucí práce: Ondřej Zamazal Diplomová práce (Ing.)—Vysoká škola ekonomická v Praze. Fakulta informatiky a statistiky, 2025 Obsahuje bibliografii Textový (vysokoškolská kvalifikační práce) Rok obhajoby 2025 Tato diplomová práce se zabývá technikou destilace znalostí pro efektivní hluboké učení klasifikačních transformerů. S rostoucí velikostí a výpočetní náročností moderních neuronových sítí se destilace znalostí stává vhodným nástrojem pro přenos schopností z velkých učitelských modelů do menších a efektivnějších studentů. Tato práce experimentálně ověřuje přínos destilace znalostí a zkoumá, za jakých podmínek dosahuje nejlepších výsledků. V rámci práce byly navrženy a realizovány experimenty s různými typy architektur studentů i učitelů, nad textovými i obrazovými daty, přičemž byla porovnávána výkonnost modelů, jejich velikost a rychlost inference. Výsledky ukazují, že destilace znalostí přináší největší přínos při aplikaci na náhodně inicializované studentské modely, zatímco její efekt při doladění předtrénovaných modelů je omezený. Práce zároveň ukazuje synergické vlivy kombinace destilace a dalších technik zaměřených na efektivitu, jako jsou augmentace dat a předpočítání logitů, které vedou k celkově efektivnějšímu tréninku. Výsledky této práce experimentálně potvrzují přínos destilace znalostí a identifikují její slabá místa a faktory, které zásadně ovlivňují její účinnost. Způsob přístupu: Internet znalostní a webové technologie [obor dipl. práce] diplomové práce fd132022 czenas master's theses eczenas přenos znalostí efektivita učení hluboké učení destilace znalostí transformery klasifikace Zamazal, Ondřej ISIS:7282 ths Vacura, Miroslav mzk2006343245 opn Vysoká škola ekonomická v Praze. Fakulta informatiky a statistiky kn20010709399 dgg https://insis.vse.cz/zp/90162/podrobnosti VŠKP v InSIS https://insis.vse.cz/zp/90162 Hlavní práce https://insis.vse.cz/zp/90162/posudek/vedouci Hodnocení vedoucího https://insis.vse.cz/zp/90162/posudek/oponent/85602 Oponentura https://insis.vse.cz/zp/90162/podrobnosti dc:identifier NEPOSILAT VSKP vse90162 250613 90162