cahtНаучный вестник МГТУ ГАCivil Aviation High Technologies2079-06192542-0119Moscow State Technical University of Civil Aviation (MSTU CA)caht-1053Research ArticleСтатьиОПТИМИЗАЦИЯ НЕЛИНЕЙНЫХ СТОХАСТИЧЕСКИХ СИСТЕМ В ПРОСТРАНСТВЕ СПЕКТРАЛЬНЫХ ХАРАКТЕРИСТИК УПРАВЛЕНИЙOPTIMIZATION OF NONLINEAR STOCHASTIC SYSTEMS IN THE SPECTRAL CHARACTERISTICS OF CONTROLSРыбаковК. А.RybakovK. A.

кандидат физико-математических наук, доцент кафедры математической кибернетики

PhD in Sciences (Physics and Mathematics), Associate Professor of Mathematical Cybernetics Chair,

Moscow

rkoffice@mail.ruМосковский авиационный институт (национальный исследовательский университет)РоссияMoscow Aviation Institute (National Research University)Russian Federation2017030520172021626Copyright © Рыбаков К.А., 20172017Рыбаков К.А.Rybakov K.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://avia.mstuca.ru/jour/article/view/1053

Предлагается спектральный метод нахождения оптимального в среднем управления при неполной информации о векторе состояния для многомерных нелинейных непрерывных стохастических систем, описываемых стохастическими дифференциальными уравнениями Ито. Критерий качества задается в виде среднего значения функционала, определенного на траекториях системы. Ищется управление, зависящее от времени и координат вектора состояния, о которых известна точная информация, поступающая от измерительной системы. Решение задачи поиска оптимального управления опирается на известные достаточные условия оптимальности и следующие из них соотношения. Эти соотношения для определения оптимального управления нелинейными непрерывными стохастическими системами при неполной информации о векторе состояния (система уравнений Фоккера - Планка - Колмогорова и Беллмана, а также связывающие их соотношения, позволяющие определить структуру управления) с помощью спектрального преобразования обычно сводятся к системе нелинейных уравнений для коэффициентов разложения координат оптимального управления и оптимальной плотности вероятности вектора состояния в ряды по функциям некоторой базисной системы. Методика решения этой системы нелинейных уравнений не зависит от выбранного базиса, решение осуществляется либо итерационными методами, либо методом сведения к эквивалентной задаче безусловной оптимизации с последующим применением методов нулевого порядка, в том числе метаэвристических методов поиска глобального экстремума. В представленной статье задача нахождения оптимального управления сводится к задаче оптимизации в пространстве спектральных характеристик управлений (в пространстве коэффициентов разложения управлений по функциям заданной ортонормированной системы). Как частный случай обсуждается решение проблемы учета так называемых геометрических ограничений на управление. При применении спектральной формы математического описания необходимо усекать спектральные характеристики функций, операторов и функционалов до некоторых выбранных порядков, переходя, таким образом, к конечномерным задачам оптимизации. Выбор порядков усечения, а также выбор базисных систем определяют точность приближенного решения задачи оптимального управления.

The author presents the spectral method of determining relatively optimal control in case of incomplete infor- mation about the state vector for multidimensional nonlinear continuous stochastic systems, which are governed by Itô’s stochastic differential equations. The quality criterion is given as the mean of the function determined on the system tracks. One should find the equation that depends on state vector time and coordinates, of which there is exact information from measuring system. Solving the problem of finding optimal control is based upon the actual sufficient optimum condition and the ratios derived from them. These ratios, which determine nonlinear continuous stochastic systems optimal control in case of incomplete state vector information (Fokker-Planck-Kolmogorov and Bellman equation systems and the tying ratios that allow to determine control structure) with the help of a spectral transformation usually lead to the system of nonlinear equations for the coefficients of optimal control and optimal state vector probability density coordinates expansion into a basic system functions series. This nonlinear equations system solving method does not depend on the chosen basis, it is solved either with iterative methods or with reducing it to the equivalent method of unconditional optimization with the following usage of zero-order method, including metaheuristic methods global extremum search. In this article, determin- ing optimal control goes down to improving control spectral characteristics in space (in the coefficient space of dividing control according to the orthonormal system functions). The author dwells upon the issue of taking so called geometrical control constraints into account as a special case. Using the spectral form of the mathematical description it is necessary to reduce spectral characteristics of functions, operators and functionals to some chosen orders, and therefore moving to finite-dimensional problems of optimization. Reduction order choice and basis system choice determine the approximate solution accuracy for optimal control problem.

оптимальное управлениеоптимизациянеполная информацияспектральный методспектральное преобразованиеспектральная характеристикаспектральная форма математического описаниясто- хастическая системаoptimal controloptimizationincomplete informationspectral methodspectral transformationspectral characteristicspectral form of mathematical descriptionstochastic systemReferencesМоисеев Н.Н. Численные методы в теории оптимальных систем. М.: Наука, 1971Moiseev N.N. Chislennye metody v teorii optimal'nykh sistem [Numerical methods in the theory of optimal systems]. Moscow, Nauka, 1971. (in Russian)Федоренко Р.П. Приближенное решение задач оптимального управления. М.: Наука, 1978Fedorenko R.P. Priblizhennoe reshenie zadach optimal'nogo upravleniya [Approximate solution of optimal control problems]. Moscow, Nauka, 1978. (in Russian)Казаков И.Е., Гладков Д.И. Методы оптимизации стохастических систем. М.: Наука, 1987Kazakov I.E., Gladkov D.I. Metody optimizatsii stokhasticheskikh sistem [Methods of optimization of stochastic systems]. Moscow, Nauka, 1987. (in Russian)Румянцев Д.C., Хрусталев М.М. Численные методы синтеза оптимального управления для стохастических динамических систем диффузионного типа // Известия РАН. Теория и системы управления. 2007. № 3. С. 27-38Rumyantsev D.S., Khrustalev M.M. Numerical methods of synthesis of an optimal control for stochastic dynamical systems of diffusion type. Journal of Computer and Systems Sciences International, 2007, no. 3, pp. 359–370.Гусев C.А. Минимизация дисперсии оценки математического ожидания функционала диффузионного процесса на основе параметрического преобразования параболической краевой задачи // Сибирский журнал вычислительной математики. 2011. Т. 14, № 2. С. 141-153Gusev S.A. Minimizing the variance of a mathematical expectation estimate for a diffusion process functional based on a parametric transformation of a parabolic boundary value problem. Numerical Analysis and Applications, 2011, vol. 4, no. 2, pp. 114–124.Пантелеев А.В. Применение эволюционных методов глобальной оптимизации в задачах оптимального управления детерминированными системами. М.: Изд-во МАИ, 2013Panteleev A.V. Primenenie evolyutsionnykh metodov global'noy optimizatsii v zadachakh optimal'nogo upravleniya determinirovannymi sistemami [Application of evolutionary global optimization methods for optimal control of deterministic systems]. Moscow, MAI, 2013. (in Russian)Пантелеев А.В., Cкавинская Д.В., Алешина Е.А. Метаэвристические алгоритмы поиска оптимального программного управления. М.: ИНФРА-М, 2016Panteleev A.V., Skavinskaya D.V., Aleshina E.A. Metaevristicheskie algoritmy poiska optimal'nogo programmnogo upravleniya [Metaheuristic algorithms for finding the optimal program control]. Moscow, Infra-M, 2016. (in Russian)Cолодовников В.В., Cеменов В.В. Спектральная теория нестационарных систем управления. М.: Наука, 1974Solodovnikov V.V., Semenov V.V. Spektral'naya teoriya nestatsionarnykh sistem upravleniya [Spectral theory of nonstationary control systems]. Moscow, Nauka, 1974. (in Russian)Cеменов В.В. Уравнение обобщенной характеристической функции вектора состояния систем автоматического управления // Аналитические методы синтеза регуляторов. Вып. 2. Саратов: СПИ, 1977. С. 3-36Semenov V.V. Uravnenie obobshchennoy kharakteristicheskoy funktsii vektora sostoyaniya sistem avtomaticheskogo upravleniya [Equation for generalized characteristic function of the state vector for automatic control systems]. Analiticheskie metody sinteza regulyatorov [Analytical methods for the regulator synthesis]. Saratov, 1977, no. 2, pp. 3–36. (in Russian)Cеменов В.В. Синтез алгоритмов управления нелинейными системами при случайных воздействиях с ограниченным составом точных измерений // Аналитические методы синтеза регуляторов. Вып. 3. Саратов: СПИ, 1978. С. 3-20Semenov V.V. Sintez algoritmov upravleniya nelineynymi sistemami pri sluchaynykh vozdeystviyakh s ogranichennym sostavom tochnykh izmereniy [Synthesis of control algorithms for nonlinear stochastic systems with a limited amount of measurements]. Analiticheskie metody sinteza regulyatorov [Analytical methods for the regulator synthesis]. Saratov, 1978, no. 3, pp. 3–20. (in Russian)Лапин C.В., Егупов Н.Д. Теория матричных операторов и ее приложение к задачам автоматического управления. М.: Изд-во МГТУ им. Н.Э. Баумана, 1997Lapin S.V., Egupov N.D. Teoriya matrichnykh operatorov i ee prilozhenie k zadacham avtomaticheskogo upravleniya [The theory of matrix operators and its application to problems of automatic control]. Moscow, BMSTU, 1997. (in Russian)Пупков К.А., Егупов Н.Д., Трофимов А.И. Статистические методы анализа, синтеза и идентификации нелинейных систем автоматического управления. М.: Изд-во МГТУ им. Н.Э. Баумана, 1998Pupkov K.A., Egupov N.D., Trofimov A.I. Statisticheskie metody analiza, sinteza i identifikatsii nelineynykh sistem avtomaticheskogo upravleniya [Statistical methods of analysis, synthesis and identification of nonlinear control systems]. Moscow, BMSTU, 1998. (in Russian)Пантелеев А.В., Рыбаков К.А. Синтез оптимальных нелинейных стохастических систем управления спектральным методом // Информатика и ее применения. 2011. Т. 5, Вып. 2. С. 69-81Panteleev A.V., Rybakov K.A. Sintez optimal'nykh nelineynykh stokhasticheskikh sistem upravleniya spektral'nym metodom [Synthesis of optimal nonlinear stochastic control systems by the spectral method]. Informatika i ee primeneniya [Informatics and Applications], 2011, vol. 5, no. 2, pp. 69–81. (in Russian)Пантелеев А.В., Рыбаков К.А. Методы и алгоритмы синтеза оптимальных стохастических систем управления при неполной информации. М.: Изд-во МАИ, 2012Panteleev A.V., Rybakov K.A. Metody i algoritmy sinteza optimal'nykh stokhasticheskikh sistem upravleniya pri nepolnoy informatsii [Methods and algorithms for synthesis of optimal stochastic control systems with incomplete information]. Moscow, MAI, 2012. (in Russian)Крылов Н.В. Управляемые процессы диффузионного типа. М.: Наука, 1977Krylov N.V. Controlled diffusion processes. Springer, 2009.Флеминг У., Ришел Р. Оптимальное управление детерминированными и стохастическими системами. М.: Мир, 1978Fleming W.H., Rishel R.W. Deterministic and stochastic optimal control. Springer, 1975.Yong J., Zhou X.Y. Stochastic controls: Hamiltonian systems and HJB equations. Springer, 1999Yong J., Zhou X.Y. Stochastic controls: Hamiltonian systems and HJB equations. Springer, 1999.Fleming W.H., Soner H.M. Controlled Markov processes and viscosity solutions. Springer, 2006Fleming W.H., Soner H.M. Controlled Markov processes and viscosity solutions. Springer, 2006.Пантелеев А.В. Достаточные условия оптимальности управления непрерывными стохастическими системами по неполному вектору состояния // Известия вузов. Математика. 1990. № 11. С. 50-61Panteleev A.V. Sufficient conditions for optimality for continuous stochastic control systems on the basis of an incomplete state vector. Soviet Mathematics, 1990, vol. 34, no. 11, pp. 62–75.Cавастюк C.В., Хрусталев М.М. Оптимизация стохастических систем диффузионного типа с ограничениями на процесс управления-наблюдения // Автоматика и телемеханика. 1991. № 7. С. 89-96; № 8. С. 94-100Savastyuk S.V., Khrustalev M.M. Optimization of stochastic systems of diffusion type with constraints on the control-observation process. Automation and Remote Control, 1991, no. 7. pp. 958–963; no. 8, pp. 1109–1114.Плотников М.Ю., Хрусталев М.М. Условия глобальной оптимальности стратегий управления диффузионными процессами с возможностью обрыва траекторий при неполной информации о состоянии // Известия РАН. Теория и системы управления. 2005. № 1. C. 40-47Plotnikov M.Yu., Khrustalev M.M. Conditions of global optimality of control strategies for diffusion processes with possible trajectory cut-off when the state information is incomplete. Journal of Computer and Systems Sciences International, 2005, no. 1, pp. 35–42.Пантелеев А.В., Рыбаков К.А., Cотскова И.Л. Спектральный метод анализа нелинейных стохастических систем управления. М.: Вузовская книга, 2015Panteleev A.V., Rybakov K.A., Sotskova I.L. Spektral'nyy metod analiza nelineynykh stokhasticheskikh sistem upravleniya [Spectral method of nonlinear stochastic control system analysis]. Moscow, Vuzovskaya kniga, 2015. (in Russian)Рыбаков К.А., Рыбин В.В. Моделирование распределенных и дробно-распределенных процессов и систем управления спектральным методом. М.: Изд-во МАИ, 2016Rybakov K.A., Rybin V.V. Modelirovanie raspredelennykh i drobno-raspredelennykh protsessov i sistem upravleniya spektral'nym metodom [Modeling distributed integer-order and fractional-order processes and control systems by spectral method]. Moscow, MAI, 2016. (in Russian)Рыбаков К.А. Построение множества допустимых управлений в спектральной форме математического описания // Вычислительные технологии. 2015. Т. 20, № 3. С. 58-74Rybakov K.A. Postroenie mnozhestva dopustimykh upravleniy v spektral'noy forme matematicheskogo opisaniya [Construction of admissible controls in spectral form of mathematical description]. Vychislitel'nye tekhnologii [Computational Technologies], 2015, vol. 20, no. 3, pp. 58–74. (in Russian)Рыбаков К.А. Спектральные аналоги множества допустимых управлений для финитных базисных систем // Дифференциальные уравнения и процессы управления. 2016. № 2. С. 40-71Rybakov K.A. Spektral'nye analogi mnozhestva dopustimykh upravleniy dlya finitnykh bazisnykh sistem [Spectral analogs of admissible controls for finite basis]. Differentsial'nye uravneniya i protsessy upravleniya [Differential Equations and Control Processes], 2016, no. 2, pp. 40–71. (in Russian)Рыбаков К.А. Многопараметрические базисные системы для представления функций в неограниченных областях // Научный Вестник МГТУ ГА. 2013. № 195 (9). С. 45-50Rybakov K.A. Mnogoparametricheskie bazisnye sistemy dlya predstavleniya funktsiy v neogranichennykh oblastyakh [Multiparameter basis to represent functions in unbounded domains]. Nauchnyy vestnik MGTU GA [Scientific Herald MSTUCA], 2013, no. 195, pp. 45–50. (in Russian)

The authors declare that there are no conflicts of interest present.