Průzkum techniky destilace modelu pro efektivní hluboké učení klasifikačních transformerů - Dragoun, Jiří (2025)
Tato diplomová práce se zabývá technikou destilace znalostí pro efektivní hluboké učení klasifikačních transformerů. S rostoucí velikostí a výpočetní náročností moderních neuronových sítí se destilace znalostí stává vhodným nástrojem pro přenos schopností z velkých učitelských modelů do menších a efektivnějších studentů. Tato práce experimentálně ověřuje přínos destilace znalostí a zkoumá, za jakých podmínek dosahuje nejlepších výsledků. V rámci práce byly navrženy a realizovány experimenty s různými typy architektur studentů i učitelů, nad textovými i obrazovými daty, přičemž byla porovnávána výkonnost modelů, jejich velikost a rychlost inference. Výsledky ukazují, že destilace znalostí přináší největší přínos při aplikaci na náhodně inicializované studentské modely, zatímco její efekt při doladění předtrénovaných modelů je omezený. Práce zároveň ukazuje synergické vlivy kombinace destilace a dalších technik zaměřených na efektivitu, jako jsou augmentace dat a předpočítání logitů, které vedou k celkově efektivnějšímu tréninku. Výsledky této práce experimentálně potvrzují přínos destilace znalostí a identifikují její slabá místa a faktory, které zásadně ovlivňují její účinnost.