Практика нейронных сетей. Урок 14. Исследование сигмовидной функции
Что бы смотреть урок полностью, подпишитесь на платный раздел.
В платном разделе статья находиться здесь.
На прошлом уроке мы пытались обучить нейронную сеть на сигмовидной функции. Ничего не получилось. Тогда мы приняли решение, что в будущем попробуем провести исследование. И сейчас это будущее наступило.
И так, пробуем обучить нейросеть на одном единственном элементе. Делаем кнопочку*:
и обработчик нажатия на эту кнопочку:
|
private void btnOne_Click(object sender, EventArgs e) { matrix.Clear(); add_to_matrix(1, 1, 1); study(); } |
Смотрим результат:
Хоть нейросеть и не обучилась, но дельта достаточно низка. А что если увеличить коэффициент обучения(mu), ...
...
Дельта стала еще ниже. Снова поднимем коэффициент обучения, до 10:
Как говориться, и вуаля! Всего за три итерации. Но что если добавить еще один элемент:...
...
...И что же мы видим? А вот что:
...
...Коэффициенты совсем не меняются. А если увеличить, поставить 20:
Вернемся к mu=10 и посмотрим в отладчике, как ведет себя нейросеть в тот момент, когда коэффициенты перестали меняться. Как оказалось, первый элемент меняет коэффициенты в одно сторону, а второй в противоположную, при чем восстанавливая исходное значение. Так что надо менять методику обучения. Но этим мы займемся на следующем уроке.
Скриншоты, помеченные знаком *, являются цитатами и иллюстрациями программного продукта "Microsoft Visual Studio 2010 Professional", авторское право на который принадлежит корпорации Microsoft..