Содержание к диссертации
Введение
Глава 1. Необходимые сведения из функционального анализа, теории вероятностей и теории случайных процессов 10
1. Области, функциональные пространства гладких функций . 10
2. Измеримые пространства с мерой 13
3. Некоторые сведения из теории обобщенных функций 22
4. Сведения из теории вероятностей 25
5. Элементы теории случайных процессов 28
Глава 2. Гланый член асимптотического разложения "в целом" решения задачи Коти для уравнения Гамильтона-Якоби-Беллмана, соответствующего управляемым процессам с малыми случайными возмущениями 38
1. Постановка задачи. Вспомогательные результаты и замечания 40
2. Априорные оценки для решения уравнения (1.4) и его производной по я 45
3. Априорные оценки для производных v\ и vxx решения
4. Предельный переход в уравнении Гамильтона-Якоби-Беллмана (1.4) 63
5. Существование главного члена асимптотического разложения "в целом" решения задачи Коши для уравнения (1.4) . 65
6. Примеры 67
Заключение по главе 2 87
Глава 3. Асимптотика "в малом" решения задачи Коши для уравнения Гамильтона-Якоби-Беллмана, соответствующего управляемым процессам с малыми случайными возмущениями 88
1. Постановка проблемы построения асимптотики "в малом" решение задачи оптимального управления с малыми случайными возмущениями 90
2. Оценки вторых производных vxx и vxt решение задачи Коши для уравнения (1.4) 98
3. Главный член асимптотического разложения "в малом" решения задачи Коши для уравнения (1.4) 111
4. Априорная оценка третьей производной по х решения задачи Коши для уравнения (1.4) (равномерная по (є, t, х)) 120
5. Второй член асимптотического разложения "в малом" решении задачи Коши для уравнения (1.4) 126
6. Доказательство теоремы 1 141
7. Пример 144
Заключение по главе 3 150
Глава 4. Асимптотика "в целом" решения задачи Коши для уравнения Гамильтона-Якоби-Беллмана, соответствующего управляемым процессам с малыми случайными возмущениями 152
1. Постановка задачи. Формулировка основного результата 153
2 Вспомогательные построения 157
3. Уравнения для второго члена асимптотического разложения "в целом" и условия его разрешимости 173
4. Доказательство основного результата теоремы 1 188
Заключение по главе 4 189
Литература 190
- Области, функциональные пространства гладких функций
- Постановка задачи. Вспомогательные результаты и замечания
- Постановка проблемы построения асимптотики "в малом" решение задачи оптимального управления с малыми случайными возмущениями
- Постановка задачи. Формулировка основного результата
Введение к работе
Диссертация посвящена теоретическому исследованию проблемы построения асимптотик решения задачи оптимального управления динамическими системами без последействия находящихся под воздействием малых случайных возмущений с аддитивной функцией потерь.
Актуальность темы. В теории оптимального управления динамическими системами существует два подхода. Первый подход основан на принципе максимума Л.С. Понтрягина [1,14], а второй - на методе динамического программирования [1,14]. Известно [1,14], что первый подход дает необходимые условия существования оптимальных управлений. Второй подход обычно применяется для оптимального управления динамическими системами без последействия. При практическом использовании метода динамического программирования возникает ряд трудностей: не существует строго обоснованной методики вывода соответствующего уравнения Гамильтона-Якоби-Беллмана, кроме того, неясно в каком смысле существуют фигурирующие в нем производные от решения, а также разрешимо ли это уравнение.
В последнее время в проблеме разрешимости уравнения Гамильтона-Якоби-Беллмана имеется существенный прогресс. Так в работах В.П. Маслова и его учеников [11] получены условия разрешимости этого уравнения, основанные на идемпотентном анализе. А.И. Субботиным [13] был предложен метод, названный им минимаксным, построения обобщенных решений этого уравнения. Ранее, С.Н. Кружковым [5,6], а затем в работах Crandall С.Н., Ishii Н. и Lions P.L. и ряда других авторов [19,20] была разработана методика построения обобщенных решений задачи Коши для уравнения Гамильтона-Якоби-Беллмана, которая получила название метода исчезающей вязкости.
Параллельной с теорией оптимального управления динамическими системами развивалась теория оптимального управления случайными процессами диффузионного типа. В работах Р.Л. Стратоновича [12], Г.Е. Колосова [4], А.Н. Ширяева [16], Ф.Л. Черноусько и В.Б. Колмановского [15], У. Флеминга и Р. Ришела [14], Н.В. Крылова [7,8] и других авторов была обоснована возможность применения метода динамического программирования
для решения задач оптимального управления случайными процессами диффузионного типа. Эти результаты позволили дать вероятностную трактовку методу исчезающей вязкости, как задачи оптимального управления процессами диффузионного типа с малой диффузией.
Проблеме построения асимптотик решения задач оптимального управления с малыми случайными возмущениями были посвящены работы W. Fleming [14], У. Флеминга и Р. Ришела [14], В.В. Баклана и Л.А. Зуева [2], С. Holland [18], P.L. Lions [20]. Необходимо отметить, что в них такая асимптотика была построена в предположении, что вторая производная функции Беллма-на (по пространственным переменным) существует и ограничена либо в предположении, что оптимальное управление существует и непрерывно.
Цель работы. Целью диссертационной работы являлась разработка методики построения асимптотики функций Беллмана, соответствующей задаче оптимального управления динамическими системами без последействия находящимися под воздействием малых случайных возмущений (типа "белого шума") с аддитивным критерием "в малом" и "в целом".
Методика исследования. В диссертации применяются методы функкционального анализа, выпуклого анализа, теории уравнений в частных производных параболического типа, теории обобщенных функций, теории случайных процессов.
Научная новизна. В работе для задач оптимального управления динамическими системами без последействия находящимися под воздействием малых случайных возмущений типа "белого шума" с аддитивным критерием установлены условия существования двух членов асимптотического разложения функции Беллмана "в малом" и "в целом".
Обоснованность научных результатов. Все результаты диссертационной работы сформулированы в виде теорем, которые содержат развернутые доказательства.
Теоретическая и практическая ценность. Теоретическую ценность представляют следующие результаты:
достаточные условия существования главного члена асимптотических разложений "в малом" и "в целом" для функции Белл-мана;
первая поправка к главному члену асимптотического разложения, которая учитывает вклад малых случайных возмущений типа "белого шума" в асимптотику функции Беллмана.
Следующие результаты работы имеют практическую ценность:
методика построения разрывных управлений при синтезе оптимальных управляемых динамических систем без последействия;
методика учитывающая влияние малых случайных возмущений типа "белого шума" на качество оптимального управления.
Апробация работы. Основные результаты докладывались:
на Международной конференции и 5 Международном симпозиуме молодых ученых, аспирантов. Инженерная защита окружающей среды. М.О. Р.Ф., ЮНЕСКО, Москва, 2001;
на конференции Математические методы в технике и технологии. ММТТ-15. 2002, Тамбов;
на научно-технических конференциях студентов, аспирантов и молодых специалистов МИЭМ в 2005 и 2006 годах;
на научном семинаре кафедры "Кибернетика" в МИЭМ;
на Шестом Всероссийском симпозиуме по прикладной математике (осенняя открытая сессия) г. Сочи - Дагомыс, 1-7 октября 2005г.
Публикации. Основные результаты диссертации опубликованы в работах [1-5], список которых содержится в конце автореферата.
Структура и объём работы. Диссертация состоит из введения, четырех глав и списка литературы. Общий объем работы составляет 196 страниц.
Области, функциональные пространства гладких функций
Данная глава носит вспомогательный характер. В ней приводятся известные, но необходимые для изложения результатов диссертации факты и утверждения из функционального анализа, теории вероятностей и теории случайных процессов 1. Области, функциональные пространства гладких функций 1.1. Пусть R+ = [0, со), Rn — n-мерное евклидово пространство со скаті лярным произведением в нем (a,b) = Ylai ii где а = (аі,...,ап)т и г=1 Гп j + Ъ = (&i,... ,Ъп)т - элементы Лп, \а\ = Л ]а-. Через R (R ) обозначим у г=1 расширенную прямую, т.е. R = R1 U{} U{—oo}.(R+ = R+ (J{})-Обозначим для Vz Є R1 f sgn X = ,z 0 0 ,ж = 0 -1 ,z 0. 1.2. Обозначим Dr = {x Rn : \x\ r}, CTr = (0,Г) x Д., {x} одноточечное множество. Определение. Множество А С Rn называется выпуклым, если из того, что для любых і,2 Є А причем Х\ ф Ж2 следует, что ха = ажі + (1 — а)х2 Є Л, где Vet Є [0,1]. 1.3. Пусть В{С) — п х т (п х т х к) матрица с элементами 6 , где г = l,n, j = 1,т (Су/, где г = l,n, j = 1,т, 1 = 1,к). Через Б (С) обозначим норму матрицы В (С), определяемую равенством JB = тахЬг-,- І 7 (ШСїИталсІСу,,!). 1.4. Пусть f : R+ х Rn — Rl — функция. Нам понадобятся обозначения для ее частных производных ft{t,x) = 5 fXi{t,x) = f , fXiXj{t,x) = дхіЗх.,- JXiXjXkitiZ) — дхгдх3 дхк Jx\t X) vj\t,x) = (fXl(t, X), . . . , /Xn(, #)) — градиент, Af(t,x) = {ді , т.е. A — оператор Лапласа в Яп. г=1 Если V,0 Rn, то мы будем обозначать /е = (/ ,) Л - (fxx,0)-f{, fa называют первой и второй производной функции / по направлению вектора Є Rn, соответственно. 1.5. Пусть Г подмножество Rn и / : Г — R1. Через sup f(x) (inf f(x)) обозначим точную верхнюю (нижнюю) грань функции f(x) на множестве Г. 1.6. Пусть D - открытая область в Rn. Через Ck{D) (Cl k((Q,T) х D)) обозначим пространство функций / : D — R1 (/ : (О, Г) х D — і?1) /г-раз непрерывно дифференцируемых по х (и Z-раз непрерывно дифференцируемых по t) с нормой, обозначаемой /cfc(D) (!I/IIC - ((O,T)XD)) И определяемой равенством \\f\\&(D) - SUP 1/0 01 + J2 SUP 1/ ,..., ( )1 x =L . . _, xD 1) ") П — 12 З7( ГЕ) + dv ( /c . ((0,T)xD) - SUp \f{t,x)\ + J2 SUp У (t,x)e(0,T)xD г=1 {t,x) E(0,T)xD іі+....+іп=к + Е SUp \fXil,...,Xin(t,x)\ г і,...,г„=1 ( в)є(0,Г)хР 1.7. Функция f(x) называется финитной в D (-открытое множество в Rn), если она обращается в нуль везде вне некоторого множества D , которое лежит в D вместе со своим замыканием. Совокупность финитных в D функций к-раз дифференцируемых обозначим через CQ(D). 1.8. Нам понадобится формула Адамара, являющаяся следствием формулы Ньютона-Лейбница [21]. Пусть / : D — R1, f(x) С1 ). Тогда для \/х, у D справедливо равенство і /( ) - /fe) = j{fx(0x + (1- в)у), х-у) дВ. о 1.9. Лемма (Лагранжа [20, 21]). Пусть выполняются условия: 1) a(t) - определена на [io, i] со значениями в R+, 2) любая непрерывно дифференцируемая x(i), определеная на (io i) со значениями в Л1, причем x(to) = x{t\) = 0; «і 3) выполнено равенство f a{t)x{t)dt = 0. to Тогда a(t) = 0. 1.10. Определение [17], [21]. Множество К С C(D) называется равно степенно непрерывным, если для каждого є 0 и х Є D найдется такая окрестность точки х - 0(х), что sup sup \f(x) — f(y)\ є. feK уЄО{х) 1.11. Теорема (Арцела-Асколи) [17], [21]. Пусть D С D - компактно. Множество К С C(D ) компактно тогда и только тогда, когда множество К - ограничено и равностепено непрерывно. 1.11. Определение. Пусть А С Rn — выпуклое множество. Функцию ц : А —» Я1 назовем выпуклой, если для любых Х\,Х2 Є А, причем хі 7 х2, и а Є [0,1] справедливо неравенство ср(ах\ + (1 — а)х2) анр(хі) + (1- a)ip(x2). 2. Измеримые пространства с мерой 2.1. Определение. Пространство Е называется полным, если любая фундаментальная последовательность сходится в нем. 2.2. Определение. Множество А С В называется плотным в В, если замыкание А, обозначаемое через А, таково, что AD В. Множество А называется всюду плотным в пространстве Е, если А Э Е, при этом само пространство Е называют сепарабелъным. 2.3. Определение. Метрическим пространством называется пара (Х,р), состоящая из некоторого множества (пространства) X элементы (точки) которого обозначаем через х, у и расстояния, т.е. однозначной неотрицательной действительной функции р : X х X — R+ и удовлетворяющей условиям: і) р(х,у) 0; ii) р{х, у) = 0 4=== х = у; in) р(х,у) = р(у,х); iv) р{х, z) р{х, у) + р{у, z).
Определение. Полное сепарабельное метрическое пространство называется польским. 2.4. Определение. Полное нормированное пространство называется банаховым. 2.5. Измеримые пространства. 2.5.1. Определение, а-алгеброй в Е называется система множеств такая, что: oo і) Е, 0 Є \ іі) если {ЛІ}І \, где ЛІ С -Б для любого і, то р) А, и г=1 [J ЛІ Є Є; ііі) если А Є , то \ А Є . Любое множество А Є называется измеримым. Известно [20], [53], что существует наименьшая о-алгебра, содержащая все множества из . Эту -алгебру мы будем обозначать через В{Е). При этом если Е = R1(E = Rn), то B(R1)(B(Rn)) называют борелевской сг-алгеброй в R1(Rn), а множество А Є B(R1)(B(Rn)) — борелевским. Соглашение. Везде ниже мы полагаем, что = В(Е). 2.5.2. Определение. Функцию / : E(Rn) — Rl назовем измеримой (борелевской), если для любого В B(R1) {х Є Rn : f(x) Є В} Є B(E)(B(Rn)). Через Соо(Е,) обозначим банахово пространство измеримых функций f(x) с нормой /оо = sup \f(x)\. хєЕ 2.5.3. Определение. Пусть Е — некоторое пространство, а В(Е) — т алгебра. Пара (Е, В(Е)) — называется измеримым пространством. 2.5.4. Определение. Измеримое пространство (Е,В(Е)) называется боре левским, если оно изоморфно измеримому подмножеству В С X — полного сепарабельного метрического (польского) пространства. 2.6. Измеримые пространства с мерой. 2.6.1. Определение. Пусть (Е,) — измеримое пространство. Функция множеств v : — R называется зарядом, если она счетно аддитивна. 2.6.2. Определение. Счетно аддитивная функция множеств на (Е,) \i: — R называется мерой. В частности, если Е = Rn, — B(Rn), а мера ц обладает следующим / n \ n свойством /і fl(fl« i] — П Ik — ai\i то она называется мерой Лебега, V=l / i=l которую мы будем обозначать через Л. 2.6.3. Определение. Мера /х называется конечной, если д(і?) со. Конечная мера ц называется вероятностной, если ц{Е) = 1. 2.6.4. Определение. Мера /х называется а-конечной в Е, если существует семейство множеств {Лп}п і, причем Ап Є для любого п, такое, что ЕС (J Лге и /х(Дг) со для любого п 1. п 1 2.6.5. Известно [20], [53], что любой заряд v в (Е,) допускает единствен ное разложение v{A) = /х+(А) — //""(А), где V.A є , а /х+ и /х — меры на 5. Измеримое пространство (Е,В(Е)) с мерой /х на В{Е) будем обозначать через (Е,В(Е),ц). 2.6.6. Через В (Е) обозначим совокупность подмножеств АСЕ, для ко торых найдутся такие множества C,D Є В(Е), что С С А С D, причем fi(D\A) = 0. Равенством /х(Л) = fi(D) определяется мера на BfX(E). Таким образом, построенное (Е, В (Е), /х) называют пополнением (Е, В(Е), у) от носительно меры /х. Соглашение. Считаем, что все рассматриваемые ниже измеримые пространства с мерой полные, т.е. являются пополнеными относительно меры. 2.7. Пространство bv. 2.7.1. Определение. Регулярным зарядом v в D С Rn назовем любую счетно аддитивную действительную функцию, определенную на B{D), конечную на всяком открытом множестве А лежащем вместе со своим замыканием Ав D. Регулярные заряды в дальнейшем будем называть зарядами, а множества таких зарядов в D обозначим через bvi0C(D). 2.7.2. Определение. Вариацией заряда v Є bvi0C{D) на открытом множестве В С D, обозначаемой через Н(Б) либо var v{B), назовем величину Н( 0 = sup (Л). Отметим, что (В,В(В)) с нормой И(В) будем Обозна-чать через bv(B). Пространство bv(B) — банахово. 2.8. Сходимость по мере \х, ji — почти всюду, fi — почти всюду равномерно. 2.8.1. Определение. Будем говорить, что измеримые функции f(x) и д{х) на, Е fi — эквиваленты, если ц(х Є Е : f(x) д{х)) = 0. 2.8.2. Определение. Говорят, что последовательность измеримых функций {/п}п 15 гДе fn Е —» R для любого п 1, сходится к измеримой функции /о, где /о : Е — R , по мере /і, если для любого є 0 lim ii(xeE: \fn(x) - f0{x)\ є) = 0. n »00 2.8.3. Определение. Говорят, что последовательность измеримых функ ций {fn)n \i гДе /п : Е — R для любого п 1, сходится к /о, где /о : Е —У R , /І — почти всюду, если \і{х Є Е : lim fn{x) ф /о(#)} = О п—юо (Последнее означает, что каковы бы ни были є 0 И х Є Е \ EQ, где EQ - фиксированное множество \х — меры нуль, можно указать, такое целое число N = N(x,e), что для всех п N /п( ) \, если /(#) = со, и \fn(x) - f(x)\ є, если \f(x)\ CO.)
Постановка задачи. Вспомогательные результаты и замечания
1.1. Сначала введем ряд обозначений: i) a : R+ X Rn х Л — Rn — борелевская функция, обозначаемая через a(t, 2:,7), гДе А — борелевское пространство (управлений); ii) / : R+ xRn х А —» R1 — борелевская функция, обозначаемая через iii) с : R+ х Rn х А - Я — борелевская функция, обозначаемая через c(t,rr,7); iv) F : Я+ х Rn х Л1 х Rn - Я1 — борелевская функция, обозначаемая через F(t,:r,q,p), причем F(t,x,q,p) 4 mf [(a(i,rr,7),p) + Ж ,7) + c( ,s,7)0] где рЄ Rn, qe R\ называемая в дальнейшем гамильтонианом. В дальнейшим мы часто будем использовать функцию F(t,x,q,p), поэтому приведем некоторые ее свойства. 1.1.1. В данном разделе мы приведем условия, выполнение которых обеспечивает измеримость функции F(t,x,q,p). Если функции a(t,x,-y),f(t,x, y) и ф,хп) при каждом (і,а) ограничены по 7 Є А, то F(t, х, q,p) - конечна. Если, кроме того, эти функции непрерывны по 7 Є А а А - сепарабельно и компактно, то F(ttx,q,p) борелевская функция. Поскольку функция F(t,x,q,p) может оказаться неизмеримой функцией, то для того чтобы обойти эту неприятную возможность нижнюю грань по 7 можно понимать в структуре (классов эквивалентных (по мере Лебега) функции) измеримых функций [17]. 1.2. В данном пункте мы вводим уравнение Гамильтона-Якоби-Беллмана, соответствующее управляемым процессам с малыми случайными возмущениями. 1.2.1. Пусть a: R+ х Rn х А- Rn- борелевская функция, обозначаемая a(i,,7) удовлетворяет условиям {К): i) a(i,#,7) Для любых {t,x) непрерывна по г, іі) для любых {t, х, 7) существует константа L такая, что o(t,rc,7) L(l + a:).
Пусть на стохастическом базисе (Q, F, {F tzR+i P) задан непрерывный слева (предсказуемый) случайный процесс а. = {oLt, Ft)t o со значениями в А называемый стратегией, значение которого в момент времени t будем обозначать at и называть управлением в момент времени t. Пусть на этом стохастическом базисе задан также W = (Wt, .7 i) o - стандартный n-мерный винеровский процесс, є Є (0,1] - параметр. Положим ох() — x-heWt, где Ух Rn. Интеграл Лебега относительно меры Р будем обозначать буквой М. Определение 1. Стратегию а, назовем є - регулярной если для любых 0 и х Є Rn Т т Мехр{- J (a{s,?0x{s),as),dWs) 1 1Ф,й,хМ а )2 М = 1. о о Здесь и ниже интеграл по винеровскому процессу понимается как стохастический интеграл Ито [32], Т 0 - горизонт. Множество є - регулярных стратегии обозначим через R. Отметим, что условие К и) гарантирует, что R ф 0. Для є 0 равенством определим новую вероятностную меру Ра є (эквивалентную мере Р) Р - {А) 4 М1А(и,)ехр{± j(a(s, ЙД ), a,), dWs)- J a(s, (s), as)\4s}, о 0 где MA Є Тт- Относительно меры Ра , в силу теоремы Гирсанова [32], процесс (о:г(0)« ) о удовлетворяет стохастическому уравнению t fo,xW = x + ja(s,e0!X(s),as)ds + EWta , (1.1) о где (И а , )і о - n-мерный винеровский процесс относительно меры Рає. Известно, что для любого є 0 стохастическое уравнение (1.1) имеет единственное слабое решение [32]. Отметим, что стохастическое уравнение (1.1) описывает эволюцию управляемой динамической системы без последействия находящуюся под воздействием малых случайных возмущениях, типа "белого шума", причем малость случайных возмущений характеризует параметр є Є (0,1].
Перейдем к описанию целевого функционала. Пусть с, / : R+ х Rn х А —» R1 - борелевские функции, обозначаемые через с(,х,у), /(,,7), соответственно. Пусть Ф : Rn —» R1 - борелевская функция. Определим теперь функионал потерь Т т т тл /АЄ N Д f ,t Е ( \ \ $с{то,х{т),ост) 1т fc{T,f0 (т),ат)сіт Я-т(Го, - a.) = J /( ,Й, М а )е ёв+Ф( (Т))ео о Обозначим через і0( ,)ІМа%йіГ,«.) средние потери относительно меры Рає, где через Мае - обозначен интеграл Лебега относительно меры Ра. Определение 2. є-регулярную стратегию а. назовем е-допустимой, если для любого х Є Rn \JQ(X,ct)\ со. Множество є-допустимых стратегий обозначим через DQT. Целью управления является выбор такой є-допустимой стратегии а0, что J%(x,a.)= inf Jo(x,a). a.eDs0T Решение этой задачи при є О следует из теории управляемых процессов диффузионного типа [7,14]. Пусть: і) DST сужение D\т на интервал [t,Т], причем будем писать а? Є ІУф И) s ff» = x + f a «» r)dr + e(W?- - W?- ) (1.2) iii) (х.аП == M« (tlx(T))exp{jc(T,(iix(T),aT)dT} + T + t J f{r (T),OLT)exp{J c(s,lx(s),as)ds}dT]; (1.3) iv) v(t, x) == inf Jf(x, a?) - функции Беллмана. afeDEtT Сформулируем предположения. Условия (К): і) любую из функций а, /, с, Ф обозначим через р(,а;,7) и предположим, что для любых (, ж, 7) она непрерывна по 7, один раз дифференцируема по t и два раза по х причем, существует положительная константа К\, такая, что: IMt, ,7)1 + 1 ( ,7)1 + 11 , ,7)11 Ki, ii) c(t, ж, 7) 0. Если выполнены условия (К) то из теории управляемых процессов диффузионного типа [26],[51] следует, что для лобого є 0 v(t,x) Є С1,2((0,Т) х Rn) и является единственным решением задачи Коши для уравнения Гамильтона-Якоби-Беллмана «?( ,х) + F(t,х,v(t,x),vx(t,х)) + A we(t,ж) = 0 ve( ,o;) t=T=$(s), где F(t,x,v,vx) = F(t,x,q,p)\q=veit x) p=veitjX), є Є (0,1], А - оператор Лапласа. Целью данной главы является разработка методики построения главного члена асимптотического разложения "в целом" решения задачи Коши для уравнения (1.4). 1.3. Изложим, теперь, наш подход к решению выше описанной проблемы. Уравнение (1.4) является квазилинейным параболическим уравнением [27], [29], [51], [52]. Известно [27], [29], [52], что vE,v\,vx,v%x є 7 ((6, ), ), если — дважды непрерывно дифферен цируема по совокупности переменных. Опираясь на эти факты и теорию стохастического интегрирования Ито, мы устанавливаем условия существования равномерных по (e,t,x) оценок для ve,v vx,e2vxx в пространстве oo(Rn , B(Rn)). Кроме того, мы устанавливаем для vxx равномерную по (E,t,x) оценку снизу. Основываясь на этих результатах находим условия, выполнение которых обеспечивает: a) \imv(t,x) = v(t,x); б) существование у v(t, х) почти всюду производных Vt и vx; в) возможность проведения предельного перехода в уравнении (1.4), когда є J, 0; г) единственность решения задачи Коши для уравнения (1.1).
Сформулируем основной результат данного параграфа. Теорема 1. Пусть выполняются условия: &!) существует константа С\ такая, что Фс2(дп) Сі; i \) F(t,x,q,p) — непрерывно дифференцируемая функция по x,q,p, причем существуют положительные константы Сг -4- Сь и 1\,І2 большие или равные единицы такие, что для любых (t,x,q,p): i)\Fp(t,x,qtp)\ C2(l+\q\b + \p\b); ii) Fq(t,x,q,p) 0; iii) F( ,a;,g,p) - Сз( р(,ж,д,р),р) - C4qFq(t,x,q,p)\ + (і,я;,д,р) C5(l+M + p). Тогда существует константа 6 0 такая, что для любых (, :г) и 0 для решения гЛ уравнения (1.4) и его производной v% справедливо неравенство \ve(t,x)\ + \vx(t,x)\ C6.
2.2.1. Замечание. Утверждение теоремы 1 содержит более слабые предположения на рост функции F(t, х, q,p) по переменным q и р по сравнению с результатами работ [24], [37], [47], [56]. Это связано с тем, что мы одновременно оцениваем сверху 1 (/:, )( и г4(,ж) равномерно по (e,t,x), причем, в отличие от этих работ, наш метод построения этих оценок опирается на теорию стохастических интегралов, формулу Ито и теорему Гирсанова.
Постановка проблемы построения асимптотики "в малом" решение задачи оптимального управления с малыми случайными возмущениями
Постановка задачи. Пусть на стохастическом базисе (О, F, (Tt)t o, Р) задан n-мерный винеровский процесс (Wt, t)t o- Пусть х. Є C(R+ х Rn) = Q — пространство непрерывных функций на R+ принимающих значения в Rn, Р — винеровская мера, a Tt = cr{Ws,s t} — фильтрация порожденная траекториями винеровского процесса пополненная множествами нулевой меры Р. Обозначим \\х\\% = sup z(s). Пусть a. = (at t)t o 0 s t предсказуемый процесс [7] со значениями в борелевском пространстве А, называемый стратегией, а значение процесса (at, Ft)t o в момент времени t — at назовем управлением в момент времени t Є R+. Пусть a : R+ х Rn х А — Rn — борелевская функция, обозначаемая через a(t,x,j) и удовлетворяющая условиям (К): г) a{t,x ) — непрерывна по у Є Аъ каждой точке (t,x) Є R+ х Rn; іг) при каждом 7 o,{t,xfj) - измеримая функция; гіг) для любого (,,7) существует константа L такая, что а(,а;,7) L(l+ И). Обозначим х\ = х + eWt, где є Є (0,1]. Определение. Стратегию а. назовем є-регулярной, если для любого є 0 { Г Т "\ -J(a(t,xl,at),dWt) - J \ a{t,xlat) \2 dt\ = 1, о о J а Г R+ — будем называть горизонтом. Множество е-регулярных стратегий обозначим через RE. Замечание. Условие Кщ) гарантирует, что множество Re 0. Определим новую вероятностную меру { т т \ і J(a(t,xst,at) dWt) - 2 У I a(t,sf ,at) 2 dt\ , о 0 J где 0, \/A Є "т- Известно [7], [32], что относительно меры Рає, в силу теоремы Гирсанова, {х\,Tt)t o удовлетворяет стохастическому уравнению t xet=x+ / a(s,xs,as)ds + eW? E, (1.1) о ще (Wf ,\?t)t o n-мерный винеровский процесе относительно меры Ра-Є, для которого справедливо представление W? = Wt - - f a(s,xs,as)ds. t Ч Замечания. 1) Стохастическое уравнение (1.1) имеет единственное слабое решение [7], [32]. 2) Рає Р. 3) є2 — будем называть малым параметром. Перейдем к описанию целевого функционала. Обозначим: с : R+ х Rn х А — R1 — борелевская функция, обозначаемая через c(i,a:,7), имеющая смысл дисконтирования; / : R+ х Rn х А — R1 — борелевская функция, обозначаемая через f(t,x,j), имеющая смысл текущих потерь; Ф : Rn — R1 — борелевская функция, имеющая смысл терминальных потерь. Мы будем полагать, что функции а, с, / и Ф удовлетворяют условиям (К). Тогда определен функционал потерь т т т л f J с(т,х%,ат)(іт / с(т,хег,ат)йт Лг(є,а , a.) = f(s,xes,as)e ds + Ф(хєг)е о Определим средние потери относительно меры Рає Jl{x,a.) 4 M a-RT(e„Xе., а.), (1.2) где Мє а- — математическое ожидание (интеграл Лебега) относительно меры Ра. Стратегию а. Є Re назовем є-допустимой, если (х,а.) со. Множество е-допустимых стратегий обозначим через ог Целью управления является выбор такой стратегии а.0 Є VQ Т, ЧТО Д(х,а.) = inf Jn(x,a.). Обозначим: т m А Г c(s,xfr(s),a3) ds і) Jf(o;,an 4 М ЩхІх(Т))еІ 1 Л + т Т J c{s,xfx($),aT) dr + jf(s xt,x(s),as)e ds], . t где xlx(s) = x + /a(r.ж .аг) dr + є(ІУ5а" - Wta"); ii) Dfr — суждение V.E на интервал [i,T] и af Є X fT. Введем функцию v%t,x)± inf eTJt(x,af), (1.3) которую мы будем называть функцией Беллмана.
В дальнейшем мы будем полагать, что выполняются условия (К): любую из функций а, /, с, Ф мы будем обозначать через g(t, х, а) и будем полагать, что они непрерывно дифференцируемы по t для любых (ж,7) Є Rn х А, дважды непрерывно дифференцируемых по х для любых (, 7) и непрерывны по 7 для любых (, х), причем при всех (,,7) Є R+ х Rn х А существует константа С45 такая, что: gt(t,x,a) + gx(t,x,a) + gxx{t,x,a) С45, с(,ж,7) 0. Тогда, как следует из [26, 51], если є 0, то функция Беллмана v(t,x) Є С1,2 ((0,71) х Rn) и удовлетворяет уравнению: vl + inf:((0(4,1,7), V ) + Ж ,7) + tfc{t,xa)] + f А г; = = v + F(t,x,v,vex) + f Л ve = 0 С1-4) где F(t,x,q,p) = inf [(a(t,x,7),p) + /(t, ,7) + c{t,x, /)q], (1.5) 7ЄЛ F(i,z, ) 4 F(t,x,q,p) . Уравнение (1.4) обычно называют урав q=ve p=vex пением Гамильтона-Якоби-Беллмана. Задача Коши для уравнения (1.4) соответствует задаче оптимального управления при малых случайных возмущений типа "белого шума" [4], [51], [56], [61], [63]. Al Целью данной главы является построение двух членов асимптотического разложения решения задачи Коши для уравнения (1.4) "в малом". 1.2. В данном пункте определим,что мы понимаем под построением двух членов асимптотического разложения решения задачи Коши для уравне ния (1.4) "в малом". Определение. Будем говорить, что функция ve(t, х), являющаяся решением задачи Коши для уравнения (1.4) допускает построение двух членов асимптотического разложения по малому параметру є2 "в малом", если существуют горизонт Т 0 и борелевские функции v : [О, Г] х Rn —» Я1, v1 : [0,Т] х Rn — R1, обозначаемые через v(t,x), vl(t,x), соответственно, такие, что: i)u, v1 ЄС([0,Т] х Rn), іі)для любых (t, x) Є [О, T] х Rn справедливо ve(t,x) = v{t,x) + e2v1(t,x) + о(є2); (1.6) т.е. для любых (, х) Є [О, Т] х Rn \\m—[ve(t,х) - v(t,х) - eV( ,х)] = 0. єіО Є2 1.3. Основным результатом данной главы является следующее утвержде ние. Теорема 1. Пусть функции Ф(х), F(t, х, q,p) — трижды непрерывно дифференцируемы по х, q, р и один раз по t, причем: і) для любого х существует положительная константа C4G такая, что Ф(а01 + Фх(э01 + ЦФ (аОИ + ПІДМІН CW, іі) для любых (, х, q,p) существуют положительные константы С47, Сщ, С д такие, что справедливо неравенство \F(t,x,q,p) - C47{Fp(t,x,q,p),p) - C48Fq{t,x,q,p)q\ + \Fx{t,x,q,p)\ с49(і+і ? I + Ы); iii) для любых (і, re, q,p) существуют положительные константы С о и 1и 1, /i5 1 такие, что 1 ( , , , )1+ ,0:, )1+ 5( , )1+1 ( ,9, )11+1 ( ,9, )14-\\Fxp(t,x,q,p)\\ + \Fqq(t,x,q,p)\ + \Fqp(y,x,q,p)\ + \\Fpp(t,x,q,p)\\+ -f-liJ orrrrarC , , ,.Р) И" N r gC , , -7, )11 "И і га:р( , , , ) И Ь r; (t, Ж, , ) Ь \Fqqq(t,x,q,p)\ + \\Fxqp(t, х, q, р)\\ + \Fqqp(t,x,q,p)\ + \\Fqpp{t, ar, q,p)\\+ +111 ( ,0:,9 )111 + \\\Fppp(t,x,q,p)\\\ C50(l+ q \hi + p 15); iv) для любых (t,x,q,p) Fq(t,x,q,p) 0. Пусть v(t,x) Є C1,3((0,T) x Rn) и является единственным решением задачи Коши для уравнения (1.4). Тогда решение задачи Коши для уравнения (1.4) v(t, х) допускает построение двух членов асимптотического разложения по малому параметру . 2 "в малом", причем: i) v0(t,x) Є С1,2((0,Т) х Rn) и существует положительная константа С$\ такая, что для любых (t, х) \v(t,x)\ + \vt{i,x)\ + \vx(t,x)\ + \\vxx(t,x)\\ C51, v(t,x) является единственным классическим решением (смотри 5) уравнения v + F(t,xy,vQx) = 0 ] v\=T = Ф(х); ii) v1 Є W 1(Crfl)» Р Є (1,оо), причем для любого і Є (0,Г) v} Є Lp(Dr),p Є (1,оо), существует положительная константа С52 такая, что для любого t Є (0, Т) и почти всех ге И , )! + vj( ,a;) + \vlx(t,x)\ C52, a v1 (t, x) является единственным обобщенным решением (смотри 5) задачи Копій для уравнения v\ + Fq{t,xy,vl)v\t,x)+ +(Fp(t,x,v,vx),Vv%x)) + ±Avo{t,x) = 0 (1.8) vl\t=T = 0. Замечание. Остановимся подробнее на отличиях утверждений теоремы
1 от утверждений содержащихся в [51],.[60]. В работах [51], [60] строится (как и в нашем случае) асимптотика решения задачи Коши для уравнения (1.4) в точках "регулярности". Как следует из [51], [60] такие точки существуют если А-компакт и для любого t Є [0, Т] существует минимизирующая послсдственпость управлений сходящаяся к оптимальному почти всюду. Отсюда немедленно следует, что достаточным условием существования таких точек является непрерывность по (t, х) первой производной по х решения задачи Коши для уравнения (1.4). Однако (в общем случае) условия существования точек регулярности в [51], [60] не получены. Кроме того в [51], [60] не установлены условия при которых существует горизонт Т 0.
В отличие от [51], [60] теорема 1 является "безусловной" и дает достаточные условия существования асимптотичесого разложения "в малом", причем не требуется существования оптимального управления. 1.4. Доказательство теоремы 1 составляет содержание 2-6. 2 посвящен нахождению условий, выполнение которых гарантирует существование двухсторонней оценки для второй производной по х решения уравнения (1.4) равномерной по (є, t, х). Здесь показано, что существуют Ті,Т2 Є і?+ такие, что 0 Т\ Т2, причем если горизонт VT є [Ті, ], то для этого горизонта Т указанная выше двухсторонняя оценка имеет место.
В 3 строится главный член асимптотического разложения v(t,x) и устанавливаются: а) уравнение, которому он удовлетворяет, т.е. обосновывается предельный переход в уравнении (1.4), когда є —» 0 в пространстве, б) условия его разрешимости "в малом", т.е. условия существования и единственности классического решения уравнения Гамильтона-Якоби-Беллмана (1.7).
Постановка задачи. Формулировка основного результата
Постановка задачи.Рассматривается задача оптимального управления с малыми возмущениями, описанная в 1 главы 3, с той лишь разницей, что c(t, re, 7) = 0. В этом случае уравнение Беллмана (3.1.4) будет иметь вид v\(t,x) + inf [(a(t, 2:,7), W(,z))+ +/( )7)] + TA (U)= (ы) = v?(t, x) + F(t, x, t# + f A v (t, x) = 0 УЄ(І,Х)\І=Т=Ф{Х) Будем полагать, что выполнены условия Кц) К 1 главы 3 (смотри пункт 1.1) Целью данной главы является построение двух членов асимптотического разложения решения задачи Коши для уравнения (1.1) "в целом", когда є2 і 0. Определим, что мы будем понимать под построением двух членов 154 асимптотического разложения решения задачи Коши для уравнения (1.1) "в целом". Определение. Будем говорить, что функция ve{t,x) являющаяся решением задачи Коши для уравнения (1-1), допускает построение двух членов асимптотического разложения по малому параметру е2 "в целом", если для данного горизонта Т существуют борелевские функции v(t, х) и v1 , х) такие, что для почти всех (, х) (относительно меры Лебега) справедливо разложение v ( , х) = v(t, х) + fiV(t, х) + о(2), (1.2) т.е. для почти всех (t, х) \im\[ve(t,x)-v(t,x)-e2vl(t,x)] = 0. єЮ Є2 1.3. Основным содержанием данной главы является утверждение. Теорема 1. Пусть выполняются условия: Ф) Ф(х) Є C3(Rn) и существует положительная константа С\2\ такая, что Фсз(д») Сш; F) F(t,x,p) Є С1,3 3((0,Т)хЯпхЯп) и для любых t,x,p выполняются условия: Fi) существует измеримая ограниченная функция C\(t,x) и константа положительная С122 такие, что справедливо неравенство \F(t,x,p) -Ci(i,z)(Fp(i,:r,p),p) + \Fx(ttx,p)\ С122{1 + p); F2) существует положительные константы С\2% и 122 1 такие, что \Ft(ttxlP)\ + \FM,x,P)\ Сі2з(1 + Н 22); 155 F3) для любого G Є Rn, 0 1, существуют положительные константы Сі24 и /гз 1» такие, что \Fee(t,x,p)\ + \FQp{t,x,p)\ + F„(t,x,p)\ С124(1 + И 23); F4) для любого О Є Rn существуют положительные константы Сугъ-, Сі2б, & (0, \), такие, что: г) Ст\в\2 (Fpp(t,x,p)S,e) Сі26Є2, и) 5\ д\2 ((Fpp{t,x,p) - )Є,Є), т.е. {Сиъ + 6). Тогда решение задачи Коши для уравнения (1.1) v(t, х) допускает построение двух членов асимптотического разложения (1.2) по параметру є2 "в целом", причем: г) v(t,x) Є УУр,1(Стн),Р Є (1 о) 5 является главным членом асимптотического разложения "в целом" и почти всюду удовлетворяет уравнению v(t,x) + F(t,Xyx(t,x)) = 0, (1.3) причем v(t, x)\t=T = Ф(#), и для всех t и почти всех х существует константа С127 0 такая, что \v(t,x)\ + \v?(t,x)\ + I V v(t,x)\ Сщ п.в. и у v(t, х) существует вторая частная производная по х, в смысле теории обобщенных функций, являющаяся зарядом, т.е. для любого t vxx Є bv[oc(Rn) и для W Є (О, Т) существует положительная константа Cus такая, что И Ичд.) 128; ii) v1 (t, х) является единственным энтропийным решением задачи 156 Коши для уравнения (1.4) v} + (F(t,x,vx)1v1x) + Av = 0 т.е. для любой r](t,x) Є CQ {CTR) справедливо равенство ffe- {[m(t, х) + (Fp(t,x, t/), W(t, ))+ 0 R +!/( , a;)((F„,(t, ж, v) + ±Я)у,У«( , &))]} = 0 при этом справедливы оценки: а) для любых (t, х) существует положительная константа Сш такая, что vl(t,x) —С129; б) для любого t Є (О,Г) vl Є L2l0C(Rn,B(Rn),A) и v1 ь2(д.) Сш.
1.4. Основной "технически" сложной проблемой, которая возникает при построении асимптотики решения v(t,x) задачи Коши для уравнения (1.1), является отсутствие равномерной по параметру є2 оценки сверху для второй производной по а; у ve(t,x). Последнее приводит нас к необходи мости в разработке новой методики построения второго члена асимптоти ческого разложения. Так в 2 мы выводим уравнение (2.2), которому при є 0 удовлетворяет функция vu(t,x) = v \t,x) 2v ( х , а также уста навливаем условия, при которых функция vl(t, х) обладает следущими свойствами: а) для любых (є, t, х) существует константа С д 0 такая, что vl(t,x) -Cm, б) для любых (є,) существует константа Сш 0 такая, что VU \\L2(Dr) С120. 157 Опираясь на эти факты, в 3 мы выводим уравнение, которому удовлетворяет второй член асимптотического разложения, а также условия его разрешимости. В 4 содержится доказательство основного результата главы 4 — теоремы 1, т.е. обоснование разложения (1.2). 2 Вспомогательные построения 2.1. В главе 2 мы установили условия, при выполнении которых у функции v(t,x) удовлетворяющей уравнению (1.1) существует предел limve(t,x) = v(t,x), который является обобщенным решеним задачи Коши для уравне ния (1.2). Обозначим (і,х)й Ьх)- Х\ (2.1) где є 0. В данном параграфе мы исследуем некоторые свойства этой функции. 2.2. В данном пункте аналогично лемме 4 главы 3 мы выводим уравнение, которому удовлетворяет функция vl(t,x). Предложение 1. Пусть v(t,x) Є C1,2((0,T),Rn) — решение задачи Коши для уравнения (1.4) главы 2, a v(t,x) Є (Стк), р Є (1,оо), главный член асимптотического разложения "в целом" решения задачи Коши для уравнения (1.4). Пусть функция F(t,x, g,p) для любых (,х) непрерывно дифференцируема по (р, q). Тогда для любых є 0 vl(t,x) Є WP 1(CTR),P Є (1, СО), И для любых t и почти всех х удовлетворяет урав 158 vl + Fq(t,x,v ,v,vx)vl+ +(Fp(t, х, v, v, v%),S7v)u + \ Д«е = 0 vu\t=T = 0, нению (2.2) і Fq(t, x, v, v, v%) = J Fq{t, x, Qv + (1- S)v, vx)dv, где о і Fp(t, x, t/, vx, vl) = J Fp(t, x, v, Gvx + (1- e)vx)dv. Доказательство. Так как є 0 и v Є W CTA) Є (l,oo), то из условий определения функции vu и линейности пространства Соболева Wp 1(Gri?) следует, что vu W CTT?)- Покажем теперь, что vl удовлетворяет (2.2). Для этого заметим, что из формулы Адамара, имеем Fit, х, if, v%) - F{t, х, v, vx) = F(t, x, v, v%) - Fit, x, v, rfx)+ і + F(t, x, v, vx) - F(t, x, v, vl) = J Fq{t, x, Єи + (2.3) о ч +(1 - Q)v,vx)de -hjFp(t,x,v0,Gvx + (1- B)vx)de. Поэтому утверждение предположения следует из определения функции vle(t,x), уравнений (1.1), (1.3) и равенства (2.3). Доказательство закончено. 2.3. В данном пункте мы покажем, что у функции vle{t,x) имеет место оценка снизу и для любых (є, t) vl Є Li{Dr, B(Dr), Л). Сформулируем предположения: Ф) Ф{х) Є C3(Rn) и существует константа C\z\ 0 такая, что II Ф с3(Я") Сізь F) Fit, х, q,p) Є C1,3(R+ xR2n+1) и для любых (t, х, q,p) выполняются условия: 159 Fi) существуют измеримые, ограниченные функции Ci(t,x), г = 1,2 и константа Сізі 0 такие, что \F(t,x,q,p)-Ci(t,x)(Fp(t,x,p,q),p)-C2(t,x)Fq(t,x,p,q)q\+\Fx(t,x,q,p)\ Сш(1 + М + Ь); F2) существуют положительные константы Сіз2, 23 1, /24 1 такие, что \F(t,x,q,p)\ + \Fq(ttx,q,p)\ + \Fp(t,x,q,p)\ C132(l + \q\l23 + р 24); F3) Fq(t,x,p,q) 0; F4) для любых 0 Є Rn, JO I 1 существуют положительные константы Сізз, 25 1 26 1 Такие, ЧТО Fee(t,a;,g,p) + \FQq{t,x,q,p)\ + Fg9(t,a;,g,p) + Fep(t,a;,g,p)+ +\Fpq(t,x,q,p)\ + Fpp(t,x,g,p) С7ізз(1 + \q\hb + p M); F5) для любого 0 Є Rn существуют положительные константы Сі34, С ІЗБ такие, что Сіз4ІЄ2 eTFpp(t,x,q,p)Q С13502. Теорема 2. Пусть выполнены условия предложения 1 и теоремы 3 главы 2, а также условия Ф), F). Тогда справедливы следущие утверждения: 1) для любых (є, t, х) существует положительная константа Сш такая, ЧТО Vl(t, х) —Ci29 , 2) для любых (є, t) существует положительная константа Сш такая, что / \vl(t,x)\dv Сізб Dr Доказательство теоремы 2 опирается на ряд вспомогательных утверждений. 160 2.3.1. В данном разделе мы приведем одно уточнение теоремы 3 главы 2. Лемма 2. Пусть выполнены условия теоремы 3 главы 2. Пусть для любых (є, і, х) существуют положительные константы Сзб, Сгб такие, что \4ve{t,x)\ C36 , Av{t,x) -C26. Тогда для любых (є, t) существует константа Сізб( ) 0 такая, что f\Av(t,x)\dx Cl36(r). (2.4) что Доказательство. Сначала заметим, что для любых (є, t, х) \Av(t,x)\ = \Av(t,x)-C26 + C26\ 2C2Q + Av(t,x). Отсюда следует, f\Avl{t,x)\dx f(2C26 + Av(t,x))dx 2C26\Dr\ + f Av(t,x)d. Dr DT Далее проводя выкладки, аналогичные тем, что мы производили при до казательстве теоремы 2 главы 2 легко показать, что / Av{t,x)dx Доказательство закончено. 2.3.2. Для доказательства теоремы 2 нам понадобится также одно вспомогательное утверждение. Лемма 3 [12]. Пусть любая ц Є Cg((0,T) х Д.), а д : R+ х Rn — R1 борелевская функция такая, что д Є Wp 1 (Стд), р Є (1,оо).
