03262ntm a22005657i 4500 000723086 CZ-PrVSE 20250608110309.0 m d cr n|||||||||| 250608s2025 xr fsbm 000 0 cze d NEZPRACOVANÝ IMPORT ABA006 cze ABA006 ABA006 rda Bruch, Stanislav ISIS:170683 dis Evaluation techniques for the effectiveness of LLM (Large Language Models) eng Evaluační techniky efektivnosti LLM (Large Language Models) / Stanislav Bruch 2025 ?? stran : digital, PDF soubor Vedoucí práce: Miroslav Umlauf Diplomová práce (Ing.)—Vysoká škola ekonomická v Praze. Fakulta informatiky a statistiky, 2025 Obsahuje bibliografii Textový (vysokoškolská kvalifikační práce) Rok obhajoby 2025 Diplomová práce představuje komplexní metodiku pro systematické hodnocení velkých jazykových modelů (LLM) v kontextu firemního nasazení ve společnosti Easy Software. Hlavním cílem práce je vytvoření systematického evaluačního frameworku, který umožní objektivní hodnocení kvality promptů před jejich nasazením do produkčního prostředí softwaru. Práce propojuje teoretické poznatky o evaluaci LLM s praktickou implementací evaluačního systému založeného na nástroji LangSmith a specializovaných LLM evaluátorech. V rámci práce je navržena a implementována evaluační metodika umožňující systematické porovnávání promptů a modelů na základě definovaných kritérií hodnocení. Zároveň je provedena jejich validace. Výsledky práce poskytují metodologický základ pro evaluace AI výstupů a modelů v komerční sféře a mohou sloužit jako referenční rámec pro implementaci podobných evaluačních procesů v dalších softwarových organizacích. Práce přispívá k lepšímu porozumění výkonnostním kritériím jazykových modelů a jejich praktické využitelnosti při integraci AI do firemních aplikací. Způsob přístupu: Internet data a analytika pro business [obor dipl. práce] diplomové práce fd132022 czenas master's theses eczenas umělá inteligence large language models LangSmith evaluace prompty datasety OpenAI Llama LLM judge Umlauf, Miroslav ISIS:145945 ths Novák, Martin opn Vysoká škola ekonomická v Praze. Fakulta informatiky a statistiky kn20010709399 dgg https://insis.vse.cz/zp/90630/podrobnosti VŠKP v InSIS https://insis.vse.cz/zp/90630 Hlavní práce https://insis.vse.cz/zp/90630/posudek/vedouci Hodnocení vedoucího https://insis.vse.cz/zp/90630/posudek/oponent/86921 Oponentura https://insis.vse.cz/zp/90630/podrobnosti dc:identifier NEPOSILAT VSKP vse90630 250607 90630