Практика нейронных сетей. Урок 14. Исследование сигмовидной функции

Что бы смотреть урок полностью, подпишитесь на платный раздел.

В платном разделе статья находиться здесь.

На прошлом уроке мы пытались обучить нейронную сеть на сигмовидной функции. Ничего не получилось. Тогда мы приняли решение, что в будущем попробуем провести исследование. И сейчас это будущее наступило.

И так, пробуем обучить нейросеть на одном единственном элементе. Делаем кнопочку*:

и обработчик нажатия на эту кнопочку:

Смотрим результат:

Хоть нейросеть и не обучилась, но дельта достаточно низка. А что если увеличить коэффициент обучения(mu), ...

...

Дельта стала еще ниже. Снова поднимем коэффициент обучения, до 10:

Как говориться, и вуаля! Всего за три итерации. Но что если добавить еще один элемент:...

...

...И что же мы видим? А вот что:

...

...Коэффициенты совсем не меняются. А если увеличить, поставить 20:

Вернемся к mu=10 и посмотрим в отладчике, как ведет себя нейросеть в тот момент, когда коэффициенты перестали меняться. Как оказалось, первый элемент меняет коэффициенты в одно сторону, а второй в противоположную, при чем восстанавливая исходное значение. Так что надо менять методику обучения. Но этим мы займемся на следующем уроке.

Скриншоты, помеченные знаком *, являются цитатами и иллюстрациями  программного продукта "Microsoft Visual Studio 2010 Professional", авторское право на который принадлежит корпорации Microsoft..