Využití velkých jazykových modelů pro analýzu textu - Pumrová, Nikol; Kliegr, Tomáš; Sýkora, Lukáš; Vysoká škola ekonomická v Praze. Fakulta informatiky a statistiky (2025)
Bakalářská práce se zabývá využitím velkých jazykových modelů pro analýzu textu. V práci byla vytvořena a otestována sada tří promptů pro velký jazykový model Llama 3.1 8B, které umožňují vyhodnotit znaky manipulace, posoudit dodržování etických zásad a identifikovat emoce v textu. V práci jsou teoreticky vymezeny pojmy manipulace, etické zásady, emoce a s nimi spojená expresivita, dále jsou popsány současné přístupy k jejich detekci pomocí LLMs. Následně je shrnuto, jak probíhal proces návrhu promptů. Funkčnost promptů byla otestována na vybraných datasetech (MentalManip, Hate Speech and Offensive Language, Emotions) s hlavním modelem Llama 3.1 8B. Bylo také provedeno testování kompatibility promptů s modely GPT-4o, Gemini 2.0 Flash a Claude 3.7 Sonnet na menším vzorku dat. Výsledky testování ukázaly, že model na základě promptu pro detekci manipulace správně identifikoval většinu manipulativních textů (úplnost 92,31 %), ale docházelo k častému chybnému označování nemanipulativních textů jako manipulativních. S tímto problémem se setkali i autoři jiných studií. Prompt pro detekci nenávistných projevů dosáhl celkové přesnosti klasifikace 86,5 %. Model Llama 3.1 8B v kombinaci s promptem pro detekci emocí detekoval v testovacích datech 172 hlavních a 202 vedlejších emocí. V seznamu detekovaných emocí převažovaly negativní emoce. Celková přesnost klasifikace při použití kategorií emocí z datasetu byla nízká (47,77 %). Prompt je vhodné využívat v situacích, kdy není požadována přesná klasifikace do předem definovaných kategorií. Je důležité zdůraznit, že LLMs mají sloužit pouze jako nástroj a konečné vyhodnocení a odpovědnost leží na uživateli.
Vedoucí práce: Tomáš Kliegr
Bakalářská práce (Bc.)—Vysoká škola ekonomická v Praze. Fakulta informatiky a statistiky, 2025
Obsahuje bibliografii
Textový (vysokoškolská kvalifikační práce)
Rok obhajoby 2025
Způsob přístupu: Internet
Keywords: aplikovaná informatika [obor bakal. práce]; bakalářské práce; bachelor's theses