Reinforcement learning and optimal control - Bertsekas, Dimitri P. (Belmont : Athena Scientific, 2019)
In this book we consider large and challenging multistage decision prob- lems, which can be solved in principle by dynamic programming (DP for short), but their exact solution is computationally intractable. We discuss solution methods that rely on approximations to produce suboptimal poli- cies with adequate performance. These methods are collectively referred to as reinforcement learning, and also by alternative names such as approxi- mate dynamic programming, and neuro-dynamic programming. Our subject has benefited greatly from the interplay of ideas from optimal control and from artificial intelligence. One of the aims of the book is to explore the common boundary between these two fields and to form a bridge that is accessible by workers with background in either field. Our primary focus will be on approximation in value space. Here, the control at each state is obtained by optimization of the cost over a limited horizon, plus an approximation of the optimal future cost, starting from the end of this horizon. The latter cost, which we generally denote by ˜J, is a function of the state where we may be at the end of the horizon. It may be computed by a variety of methods, possibly involving simulation and/or some given or separately derived heuristic/suboptimal policy. The use of simulation often allows for implementations that do not require a mathematical model, a major idea that has allowed the use of DP beyond its classical boundaries.
Publikace se věnuje řešení rozsáhlých a komplexních vícestupňových rozhodovacích problémů, u nichž je přesné řešení pomocí dynamického programování výpočetně neproveditelné. Autor představuje metody založené na aproximacích, které umožňují nalézt suboptimální, avšak prakticky dobře použitelné řídicí strategie. Tyto přístupy jsou souhrnně označovány jako posilované učení, případně aproximované či neuro-dynamické programování. Kniha systematicky propojuje teorii optimálního řízení s koncepty umělé inteligence a vytváří srozumitelný most mezi oběma oblastmi. Hlavní důraz je kladen na aproximaci hodnotové funkce a na metody využívající simulace, které často nevyžadují explicitní matematický model systému.
Obsahuje bibliografii a rejstřík
Keywords: vícekriteriální rozhodování; matematická optimalizace; optimalizační metody; generativní umělá inteligence; monografie; multicriteria decision making; mathematical optimization; optimization methods; generative artificial intelligence; monographs