Аннотация.
Рассмотрена задача обучения нейронных сетей прямого распространения. Для ее решения предложены новые алгоритмы, основанные на асимптотическом анализе поведения расширенного фильтра Калмана (РФК) и сепарабельной структуре сети. Линейные веса интерпретируются как диффузные случайные величины, имеющие нулевое математическое ожидание и матрицу ковариации, пропорциональную большому параметру λ. Найдены асимптотические изображения при λ→∞ РФК диффузные алгоритмы обучения (ДАН). Показано, что в отличие от их прототипа РФК с большим, но конечным λ, им свойственна робастность относительно накопления ошибок округления. Из ДАН при определенных упрощающих предположениях получаем ELM-алгоритм (extreme learning machine). Показано, что ДАН могут превосходить ELM-алгоритм по точности аппроксимации.
Ключевые слова: нейронные сети прямого распространения, алгоритмы обучения, расширенный фильтр Калмана.
Скороход Борис Аркадьевич,
доктор техн. наук, профессор Севастопольского национального технического университетa,
e-mail: boris.skorohod@mail.ru.