Využití LLMs pro vysvětlitelnou klasifikaci obrazu z oblasti biomedicíny - Ay, Michael Ahmet; Kliegr, Tomáš; Cihlo, Miroslav; Vysoká škola ekonomická v Praze. Fakulta informatiky a statistiky (2025)
Bakalářská práce se zabývá využitím velkých jazykových modelů (LLMs) při vysvětlitelné klasifikaci biomedicínských obrazových dat. Navržený systém generuje textové popisy z rentgenových snímků horní končetiny pomocí dvou typů jazykových výstupů: přirozeně formulovaných frází a segmentovaných výstupů vzniklých slovním rozkladem. Každý popis je následně převeden do prostoru vnoření a dále zpracován pomocí čtyř pooling strategií a rozšířen o doménové příznaky. Na takto získaných vstupech jsou trénovány vysvětlitelné klasifikátory. Výsledky ukazují, že nejvyšších hodnot metriky úplnost dosáhla logistická regrese využívající segmentované výstupy generované modelem Qwen 2.5-VL-7B-Instruct a Bio_ClinicalBERT ve spojení s kombinovanou pooling strategií a doménovými příznaky. Tato konfigurace dosáhla úplnosti 0,696. Přestože tento výsledek nepřekonal obrazový klasifikátor ResNet-34, který dosáhl úplnosti 0,818, nabídla vnořená reprezentace konkurenceschopný výkon při zachování vysvětlitelnosti vstupních dat. Nejlepšího výsledku v rámci přirozeně formulovaných frází bylo rovněž dosaženo pomocí logistické regrese, konkrétně při využití GPT-4o-mini od OpenAI s text-embedding-3-small a Max pooling, s úplností 0,604. Práce dále analyzuje jazykové výstupy, vliv pooling strategií a význam doménových příznaků. Celý systém je implementován jako reprodukovatelný a snadno rozšiřitelný postup, který umožňuje další aplikace v oblasti biomedicínské klasifikace.
Vedoucí práce: Tomáš Kliegr
Bakalářská práce (Bc.)—Vysoká škola ekonomická v Praze. Fakulta informatiky a statistiky, 2025
Obsahuje bibliografii
Textový (vysokoškolská kvalifikační práce)
Rok obhajoby 2025
Způsob přístupu: Internet
Keywords: aplikovaná informatika [obor bakal. práce]; bakalářské práce; bachelor's theses