Cybernetics And Systems Analysis logo
Информация редакции Аннотации статей Авторы Содержание
КИБЕРНЕТИКА И СИСТЕМНЫЙ АНАЛИЗ
Международний научно-теоретический журнал
УДК 004.032.26
Скороход Б.А.

ДИФФУЗИОННЫЕ АЛГОРИТМЫ ОБУЧЕНИЯ НЕЙРОННЫХ СЕТЕЙ ПРЯМОГО РАСПРОСТРАНЕНИЯ

Аннотация. Рассмотрена задача обучения нейронных сетей прямого распространения. Для ее решения предложены новые алгоритмы, основанные на асимптотическом анализе поведения расширенного фильтра Калмана (РФК) и сепарабельной структуре сети. Линейные веса интерпретируются как диффузные случайные величины, имеющие нулевое математическое ожидание и матрицу ковариации, пропорциональную большому параметру λ. Найдены асимптотические изображения при λ→∞ РФК диффузные алгоритмы обучения (ДАН). Показано, что в отличие от их прототипа РФК с большим, но конечным λ, им свойственна робастность относительно накопления ошибок округления. Из ДАН при определенных упрощающих предположениях получаем ELM-алгоритм (extreme learning machine). Показано, что ДАН могут превосходить ELM-алгоритм по точности аппроксимации.

Ключевые слова: нейронные сети прямого распространения, алгоритмы обучения, расширенный фильтр Калмана.



ПОЛНЫЙ ТЕКСТ

Скороход Борис Аркадьевич,
доктор техн. наук, профессор Севастопольского национального технического университетa,
e-mail: boris.skorohod@mail.ru.

© 2017 Kibernetika.org. All rights reserved.