доктор технических наук, профессор, профессор кафедры прикладной математики
Doctor of Technical Sciences, Professor of Applied Mathematics Chair
В работе рассматриваются вопросы, связанные с использованием искусственной нейронной сети (ИНС) для аппроксимации экспериментальных данных. Одной из проблем при разработке ИНС является выбор подходящей функции активации для нейронов скрытого слоя и регулировка параметров функции в процессе обучения сети. В статье рассматривается трехслойный перцептрон с одним скрытым слоем, каждый нейрон которого имеет функцию активации в виде гауссовой кривой. Выбор радиально-базисной функции активации позволяет применить в процессе обучения сети прямой метод определения весовых коэффициентов – метод наименьших квадратов. Качество аппроксимации при этом во многом зависит от правильности выбора значения параметра функции активации, которым в данном случае является ширина колокола гауссовой кривой. На практике этот параметр определяют путем проведения численных экспериментов. Это достаточно трудоемкий процесс. В данной работе предлагается определять значение этого параметра по обучающей выборке, представляющей собой координаты набора точек тестовой кривой с заданными свойствами. Эти свойства задаются исходя из априорных сведений об аппроксимируемой функции (линейная, квадратичная, логарифмическая, экспоненциальная зависимость). Поскольку тестовая кривая задается в явном виде, параметр функции активации определяется из условия достижения минимума интеграла от квадрата разности между значениями тестовой функции и выходным сигналом сети. Такой подход гарантирует получение аппроксимирующей кривой с хорошими свойствами, в частности, характеризуется отсутствием в ее графике так называемых «осцилляций» – многочисленных точек перегиба.
The paper discusses issues connected with the use of an artificial neural network (ANN) to approximate the experimental data. One of the problems in the development of the ANN is the choice of an appropriate activation function for neurons of the hidden layer and adjusting the parameters of the function in the learning process of the network. The article discusses a three-layer perceptron with one hidden layer, each neuron of which has the activation function in the form of a Gaussian curve. The choice of radial basis activation function allows the use of the direct method of determining the weight coefficients – method of least squares in the process of network training. Thus the quality of the approximation depends on the correct choice of the value parameter of the activation function, which in this case is the width of the Gaussian bell curve. In practice, this parameter is determined by conducting numerical experiments. This is a rather time-taking process. In this paper we propose to define the value of this parameter by the training set, representing the coordinates of the test curve points set with the desired properties. These properties are based on the a priori data of the approximated functions (linear, quadratic, logarithmic, exponential relationship). Because the test curve is given in explicit form, the parameter of activation function is determined from the condition of reaching the minimum of the integral from the squared difference between the values of the test functions and the output of the network. This approach guarantees obtaining the approximating curve with good properties, in particular, it is characterized by the absence of so-called "oscillations" – many inflection points in its graph.
The authors declare that there are no conflicts of interest present.