Fine-tuning LLM modelu pro simulaci algoritmu dolování asociačních pravidel - Ježek, Stanislav; Kliegr, Tomáš; Sýkora, Lukáš; Vysoká škola ekonomická v Praze. Fakulta informatiky a statistiky (2025)
Předkládaná práce se věnuje tématu dotrénování a následnému využití velkých jazykových modelů k hledání častých množin položek. Hlavním cílem práce bylo zjistit, zdali je možné doučit modely pro vyšší úspěšnost na dané úloze. V rámci práce byly dotrénovány dva modely (Deepseek R1 Distill Qwen 7B a Qwen1.5 1.8B Chat) na třech autorem vytvořených datasetech. Pro každý model i dataset bylo zároveň provedeno dotrénování na dvou různých nastaveních trénovací metody. Dotrénované modely byly poté otestovány na čtyřech různých datasetech pro hledání častých množin položek. Každý dataset na každém modelu byl přiložen v promptu a následně byl prompt generován na třech různých nastaveních kreativity modelu. Výstupy modelů byly porovnávány oproti výsledkům algoritmu apriori a následně oproti výsledkům nedotrénované verze daného modelu na stejné úloze. Nejlepších výsledků dosáhl nedotrénovaný model Deepseek R1 s 14 % úspěšností. Následovaly dotrénované modely Deepseek R1 s průměrnou úspěšností blížící se nule. Model Qwen1.5 na úloze hledání častých množin položek ve všech případech selhal. V případě dotrénovaných modelů docházelo k selhání modelů a v případě nedotrénovaného šlo nejčastěji o generování kódu místo výstupu.
Vedoucí práce: Tomáš Kliegr
Bakalářská práce (Bc.)—Vysoká škola ekonomická v Praze. Fakulta informatiky a statistiky, 2025
Obsahuje bibliografii
Textový (vysokoškolská kvalifikační práce)
Rok obhajoby 2025
Způsob přístupu: Internet
Keywords: aplikovaná informatika [obor bakal. práce]; bakalářské práce; bachelor's theses