Практика нейронных сетей. Урок 24. Анализ выборки
Чтобы смотреть урок полностью, подпишитесь на платный раздел.
В платном разделе статья и исходники находятся здесь.
На прошлом уроке мы с вами начали исследовать нейронные сети на примере анализатора котировок. Мы написали программу "загрузчик котировок" и генератор обучающей выборки. Теперь по плану проанализировать выборку, а можем ли мы вообще обучить нейросеть на этой выборке.
Как будем анализировать выборку? Методом кластеризации. То есть, найдем в выборке устойчивые кластеры и проанализируем, насколько сильно расходятся выходные значения, если близки входные вектора (элементы попали в один кластер). Также посмотрим, насколько хорошо кластеризуется выборка, так как часто хорошая способность к кластеризации показывает, что на этой выборке нейросеть будет хорошо обучатся[1]. ...
...
...
И реализуем его обработчик:
|
private void tsmiSelectionAnaliz_Click(object sender, EventArgs e) { List<Cluster> clusters = core.clustering(core.selection.items, 0.3); ClusteringViewForm form = new ClusteringViewForm(clusters, core.selection.items); form.Show(); } |
Теперь посмотрим результат:
Давайте сравним с тем, что приведено в [1] (среднеквадратическое отклонение, к сожалению, мы не можем пока сравнить):
|
Выборка |
Общее кол-во элементов |
Кол-во кластеров / % кластеров |
Среднее кол-во элементов в кластере |
Максимальное количество элементов в кластере |
| Линейная функция | 100 | 10 / 10% | 10 | 10 |
| Ряд на основе синусоиды | 100 | 31 / 31% | 3.266 | 6 |
|
Котировки в эксперименте из статьи |
100 |
98 / 98% |
1.02 |
2 |
|
Наш результат |
1131 |
673 / 59.5% | 1.681 | 9 |
Как сказано в [1], чем меньший % кластеров, тем лучше. Правда, у нас результат для полной выборки. Давайте, для чистоты эксперимента, посмотрим для такого же размера выборки (тем более, полную выборку нам надо будет еще разделить на обучающую и тестовую выборку, или даже на несколько таких выборок).
Добавляем в нашу программу окно выбора размера выборки...
...
Используемая литература
1. Шуравин А. П. Исследование обучаемости нейронной сети на примере предсказания числовых рядов // Научные достижения и открытия 2017: сборник статей III Международного научно-практического конкурса. Пенза: Наука и Просвещение, 2017. С. 31-36. (https://elibrary.ru/item.asp?id=30050179)
Скриншоты, помеченные знаком *, являются цитатами и иллюстрациями программного продукта "Microsoft Visual Studio 2010 Professional", авторское право на который принадлежит корпорации Microsoft..