05578ntm a22005657i 4500 000713626 CZ-PrVSE 20240601120724.0 m d cr n|||||||||| 240601s2024 xr fsbm 000 0 cze d NEZPRACOVANÝ IMPORT ABA006 cze ABA006 ABA006 rda Dvořák, Michal ISIS:163389 dis Evaluating deep Q-learning agents using an algorithmic IQ test eng Vyhodnocení agentů hlubokého Q-učení pomocí testu algoritmického IQ / Michal Dvořák 2024 ?? stran : digital, PDF soubor Vedoucí práce: Ondřej Vadinský Diplomová práce (Ing.)—Vysoká škola ekonomická v Praze. Fakulta informatiky a statistiky, 2024 Obsahuje bibliografii Textový (vysokoškolská kvalifikační práce) Rok obhajoby 2024 Hluboké Q-učení propojuje dva směry oboru umělé inteligence, a to neuronové dopředné sítě a posilované učení. Posilované učení představuje metodu, kdy se agent, v podobě například umělé inteligence, učí postupným řešením daného problému. Problém představuje prostředí, které s agentem komunikuje a předává mu informaci v jakém se nachází stavu. Agent na tuto informaci reaguje provedením akce, za kterou mu prostředí může dá odměnu. Agentovým cílem je naučit se takové chování, aby nasbíral co největší počet odměn. Hluboké Q-učení je nadstavbou klasické metody řešení problémů posilovaného učení zvané Q-učení. Tato metoda používá k učení svého chování Q-funkci. Hluboké Q-učení aproximuje tuto Q-funkci neuronovou sítí, díky čemuž dokáže pracovat s prostředími s velkými stavovými prostory. V rámci této práce byl implementován agent hlubokého Q-učení do testu algoritmického IQ (AIQ), který vychází právě z posilovaného učení, a využívá koncept univerzální inteligence. Velmi zjednodušenou myšlenkou AIQ testu je otestovat agenta na co nejvíce prostředích, změřit jeho nasbíranou odměnu a přes složitost prostředí sečíst výsledky do finálního AIQ skóre. V důsledku výzkumu hlubokého Q-učení byly finálně implementovaní dva agenti. První agent využívá původní znění z práce o hlubokém Q-učení a obsahuje mechanismus sbírající agentovi interakce v testu zvaný replay memory, a dále obsahuje jednu neuronovou síť, která se učí agentovu politiku a tedy chování. Druhý agent vychází z rozšiřující práce o hlubokém Q-učení a do této architektury přidává druhou neuronovou síť, která pomáhá tvořit učící data, čímž stabilizuje proces učení hlavní neuronové sítě pro agentovu politiku. Test algoritmické inteligence a samotná implementace agenta využívá programovací ja Z důvodu velkého parametrového prostoru byl do testu přidán algoritmus založený na evolučních algoritmech, díky kterému byly nalezeny vhodné konfigurace pro použití hlubokého Q-učení v rámci AIQ testu. Pomocí evolučních algoritmů byly nalezeny konfigurace, která pro prvního agenta nezískala lepší výsledek než konfigurace z původních článků, ale u konfigurace pro agenta s dvěma neuronovými sítěmi byla nalezena konfigurace, která je se statistickou významností lepší než konfigurace z původního článku. Pro toto ověření byl použit Studentův t-test. Výsledky agentů hlubokého Q-učení byly porovnány s výsledky agenta prostého Q-učení, protože bylo zajímavé zjistit, jak velký vliv aproximace Q-funkce přes neuronovou síť bude mít. Podle Studentova t-testu ale nebyly výsledky na testovaném nastavení AIQ testu signifikantně rozdílné. Otestování agentů ani nepotvrdilo statistický rozdíl mezi výsledky obou architektur. Při porovnání všech nejlepších konfigurací agentů testu, oba agenti hlubokého Q-učení získali přední příčky ve výsledném skóre. Tyto výsledky byly získány pomocí testu algoritmického IQ, který byl nastaven pro všechny agenty stejně. Rozdíly mezi agenty byly testovány pomocí Studentova t-testu. Způsob přístupu: Internet znalostní a webové technologie [obor dipl. práce] diplomové práce fd132022 czenas master's theses eczenas hluboké Q-učení měření inteligence neuronové sítě posilované učení algoritmické IQ evoluční algoritmy Vadinský, Ondřej ISIS:43066 ths Berka, Petr, 1959- jn20001103427 opn Vysoká škola ekonomická v Praze. Fakulta informatiky a statistiky kn20010709399 dgg https://insis.vse.cz/zp/82875/podrobnosti VŠKP v InSIS https://insis.vse.cz/zp/82875 Hlavní práce https://insis.vse.cz/zp/82875/posudek/vedouci Hodnocení vedoucího https://insis.vse.cz/zp/82875/posudek/oponent/81860 Oponentura https://insis.vse.cz/zp/82875/priloha/28293 Přiloha k práci https://insis.vse.cz/zp/82875/priloha/28294 Přiloha k práci https://insis.vse.cz/zp/82875/podrobnosti dc:identifier NEPOSILAT VSKP vse82875 240529 82875