Непрерывное динамическое программирование: уравнение Гамильтона-Якоби-Беллмана (HJB)

В непрерывном детерминированном случае состояние системы описывается вектором, эволюция которого подчиняется системе обыкновенных дифференциальных уравнений (задается функцией динамики). Лицо, принимающее решение (ЛПР), в каждый момент времени t выбирает вектор управления из допустимого множества, чтобы максимизировать интегральный функционал (сумму накопленной полезности за период плюс терминальную награду в конце пути). Применяя принцип оптимальности Беллмана к бесконечно малому интервалу времени dt и разлагая функцию ценности (Value Function) в ряд Тейлора, аналитики получают нелинейное дифференциальное уравнение в частных производных — уравнение HJB.

Уравнение Гамильтона-Якоби-Беллмана гласит, что максимальная скорость изменения функции ценности во времени плюс максимальное значение суммы мгновенной полезности и скалярного произведения градиента функции ценности на вектор динамики системы должно тождественно равняться нулю во всем фазовом пространстве. Это уравнение превращает поиск оптимальной траектории во времени в задачу поиска функции ценности, зависящей от координат состояния. Решив уравнение HJB (аналитически или численно), исследователь получает не просто одну оптимальную траекторию для конкретной стартовой точки, а синтез оптимального управления — математический закон, который подсказывает идеальное действие для абсолютно любого состояния, в котором система может внезапно оказаться.

Грандиозным прорывом стало обобщение уравнения HJB на стохастические системы, где динамика описывается стохастическими дифференциальными уравнениями Ито (содержащими броуновское движение). Применение леммы Ито добавляет в уравнение HJB члены второго порядка (матрицы Гессе), превращая его в параболическое дифференциальное уравнение в частных производных второго порядка. Классическим применением этого аппарата стала знаменитая задача Мертона о непрерывном инвестировании и потреблении. В этой задаче инвестор каждую долю секунды решает, какую часть капитала потратить, а какую вложить в рискованные акции или безрисковые облигации. Решение стохастического уравнения HJB дало точные алгебраические формулы (дроби Мертона), доказав, что оптимальная доля капитала в акциях должна быть строго пропорциональна премии за риск и обратно пропорциональна дисперсии рынка и коэффициенту неприятия риска инвестором.

Несмотря на теоретическую красоту, решение уравнений HJB сталкивается с серьезными аналитическими препятствиями. Для многих задач функция ценности оказывается негладкой (не имеет непрерывных производных), что делает классическую формулировку дифференциального уравнения бессмысленной. Для преодоления этого алгебраического тупика Пьер-Луи Лионс и Майкл Крэндалл разработали концепцию вязкостных решений (Viscosity Solutions). Это обобщенное определение позволило строго математически доказывать существование и единственность решений даже для разрывных и негладких задач оптимального управления, став золотым стандартом в теории робастного управления, алгоритмическом трейдинге и расчетах траекторий автономных дронов в условиях аэродинамической турбулентности.