Shlukování binárních dat v distribuovaném výpočetním prostředí - Dalecký, Šimon; Máša, Petr; Nevyhoštěný, Radek; Vysoká škola ekonomická v Praze. Fakulta informatiky a statistiky (2021)
Tato diplomová práce se věnuje identifikaci modelových portfolií v rámci rozsáhlých datových souborů, kdy rozměry datových souborů odpovídají desítkám milionů záznamů a tisícovkám popisných atributů. Jedním z nejvhodnějších nástrojů pro zpracování a analýzu rozsáhlých datových souborů je v současnosti Apache Spark, který poskytuje rozhraní pro zpracovávání dat na výpočetních clusterech a pomocí paralelizace zpracování a výpočtů dovoluje v krátkém čase analyzovat rozsáhlé datové soubory. Úlohu identifikace investičních modelových portfolií lze pojmout jako úlohu shlukování dat. Za účelem hledání vhodného algoritmu byla provedena rešerše dostupných implementací shlukovacích algoritmů pro platformu Apache Spark, kdy nebyla nalezena žádná vhodná implementace, pro řešení této úlohy. Cílem této práce je návrh a praktická implementace metody pro shlukování rozsáhlých datových souborů popsaných binárními proměnnými v jazyce Scala, která je použitelná pro paralelní výpočetní zpracování pomocí platformy Apache Spark. Nejdůležitější charakteristikou této metody není nutnost specifikovat počet hledaných shluků. Navrhovaná metoda shlukování byla nejprve evaluována na základě syntetického datového souboru a následně s drobnými modifikacemi ověřena při řešení reálné úlohy identifikace investičních modelových portfolií. Výsledky shlukování na základě navrhované metody byly v souladu s očekáváním dle doménové znalosti zadavatele úlohy a očekává se reálné používání metody ve firmě zadavatele úlohy.
Vedoucí práce: Petr Máša
Diplomová práce (Ing.)—Vysoká škola ekonomická v Praze. Fakulta informatiky a statistiky, 2021
Obsahuje bibliografii
Textový (vysokoškolská kvalifikační práce)
Rok obhajoby 2021
Způsob přístupu: Internet
Keywords: znalostní a webové technologie [obor dipl. práce]; diplomové práce; master's theses