Программирование - это просто
Advertisement
Главная arrow Искусственный интеллект arrow Теория нейронных сетей arrow Теория нейронных сетей. Урок 5. Адаптивный линейный элемент.
26.05.2022 г.
Главное меню
Главная
Интернет магазин
Программные продукты
Биржевые роботы
Искусственный интеллект
Математика и информатика
1С:Предприятие
Уроки C#
Уроки Delphi
Уроки программирования
Web-программирование
Дизайн и графика
Компьютер для блондинок
Исходники
Статьи
Платный раздел
Рассказы про компьютеры
Хитрости и секреты
Системный подход
Размышления
Наука для чайников
Друзья сайта
Excel-это не сложно
Все о финансах
.
Теория нейронных сетей. Урок 5. Адаптивный линейный элемент. Печать E-mail
Автор megabax   
05.11.2013 г.
New Page 1

Теория нейронных сетей. Урок 5. Адаптивный линейный элемент.

Адаптивный линейный элемент - это нейронный элемент с линейной функцией преобразования. По сути, это тот же персептрон (см. урок 4), но у него есть несколько отличий в принципе обучения. Суть в том, что вектор весовых коэффициентов корректируются так, что бы выходной сигнал u(μ) имел наилучшее приближение к желаемой функции t(μ). На практике минимизируется среднеквадратическое значение ошибки:

Теория нейронных сетей. Урок 5. Адаптивный линейный элемент.

(5.1)

 

С целью минимизации ошибки применяется метод градиента: веса изменяются в направлении, обратном направлению градиента:

Теория нейронных сетей. Урок 5. Адаптивный линейный элемент.

иными словами:

Теория нейронных сетей. Урок 5. Адаптивный линейный элемент.

вычислим частную производную:

где

Теория нейронных сетей. Урок 5. Адаптивный линейный элемент.

данное выражение называется ошибка адаптивного элемента.

Отметим, что в данном выражении суммирование  происходит по всем входным векторам Теория нейронных сетей. Урок 5. Адаптивный линейный элемент. . Поэтому веса изменяются после вычисления ошибок. На практике часто применяют последовательное обучение, при котором веса корректируются сразу после поступления на вход нейросети очередного входного вектора. Тогда:

Теория нейронных сетей. Урок 5. Адаптивный линейный элемент.

Данное выражение называется правилом Уидроу-Хоффа. По своей структуре это по сути это правило обучения простого персептрона (см. урок 4). Казалось бы, вся разница только в способе вычисления ошибки. Данная формула получена в результате отказа от усреднения ошибки по всем входным векторам, что не гарантируем уменьшения среднеквадратической ошибки на каждом шаге. Кроме того, если правило обучение персептрона обеспечивает сходимость за конечное число шагов, то Уидроу-Хоффа, выведенное на основе метода градиента обеспечивает лишь асимптотическую сходимость при большем числе шагов.

Теперь обобщим правило Уидроу-Хоффа для однослойной нейросети с дифференцируемой функцией преобразования g(u). В этом случае среднеквадратическое значение ошибки вычисляется по формуле:

 

Теория нейронных сетей. Урок 5. Адаптивный линейный элемент.

(5.10)

 

или:

Теория нейронных сетей. Урок 5. Адаптивный линейный элемент.

где

Теория нейронных сетей. Урок 5. Адаптивный линейный элемент.

значение сетевой функции i-ого нейрона при подаче на его вход входного вектора.

Применив к формуле вычисления среднеквадратической ошибки метод градиента, получим:

Теория нейронных сетей. Урок 5. Адаптивный линейный элемент.

где производная функции преобразования нейросети.

Отсюда выводим дельта-правило обучения:

Теория нейронных сетей. Урок 5. Адаптивный линейный элемент.

часто дельта правило записывают в виде:

Теория нейронных сетей. Урок 5. Адаптивный линейный элемент.

где

Теория нейронных сетей. Урок 5. Адаптивный линейный элемент.

 

 

 

Последнее обновление ( 05.11.2013 г. )
 
« След.   Пред. »
 
© 2022 Программирование - это просто
Joomla! - свободное программное обеспечение, распространяемое по лицензии GNU/GPL.
Русская локализация © 2005-2008 Joom.Ru - Русский Дом Joomla!
Design by Mamboteam.com | Powered by Mambobanner.de
Я принимаю Яндекс.Деньги