Využití hlubokých neuronových sítí při tvorbě chatovacího robota - Kerner, Josef (2018)
Práce se zabývá využitím deep learning generativních modelů pro zpracování přirozeného jazyka za účelem vytvoření chatovacího robota. S chatbotem bude možné, aby v určité míře usnadňoval práci zákaznické podpory elektronického obchodu tím, že bude odpovídat na uživatelské dotazy.V první části práce jsou nejprve zmíněny příčiny rostoucí popularity využití deep learning modelů ve strojovém učení a pro počítačové zpracování přirozeného jazyka (NLP). Následně jsou zmíněny nejvíce používané architektury v rámci deep learningu jako konvoluční a rekurentní sítě a jejich využití v oblasti NLP a nové inovativní přístupy, jimiž jsou například LSTM a GRU sítě nebo obousměrné rekurentní sítě.Dále se práce zabývá přístupy pro statistické modelování přirozeného jazyka za účelem efektivní reprezentace sémantického významu zkoumaného textu. V této části práce jsou porovnávány starší přístupy jako bag of words, tf-idf nebo n-gramové modely s novějšími přístupy založenými na učení se vektorové reprezentaci textu ve mnoho-dimenzionálním vektorovém prostoru (Word2Vec a GloVe modely).V další části se práce zaměřuje na generativními modely pro tvorbu chatbota jako je například seq2seq model a porovnává tento způsob s metodami založenými na pravidlech a zmiňuje nedostatky generativních architektur a nastiňuje možnosti, jak tyto problémy řešit, jako je například attention mechanismus nebo paprskové prohledávání.Druhá část práce se poté zabývá praktickou implementací deep learning architektur, využití jazykových vektorových modelů a zpracování trénovacích dat pro natrénování chatbota. Také je provedeno ověření dosažených výsledků.Nakonec práce jsou též zmíněny etické otázky spojené s využitím deep learning technologií.