Программирование - это просто - Генетический алгоритм. Урок 13. Улучшение обучения нейросети методом ГА

Генетический алгоритм. Урок 13. Улучшение обучения нейросети методом ГА

Автор megabax

15.03.2025 г.

unit AIObj

Генетический алгоритм. Урок 13. Улучшение обучения нейросети методом ГА

Что бы смотреть урок полностью, подпишитесь на платный раздел.

В платном разделе статья находиться здесь.

На прошлом уроке мы с вами внесли изменения в генетический алгоритм из урока Практика нейронных сетей. Урок 22. Лабораторная работа №2 по персептронам и провели эксперимент по сравнению градиентного обучения нейросети с генетическим алгоритмом. Сравнение оказалось в пользу генетического алгоритма. А теперь мы еще улучшим его. Для начала при мутации сделаем изменения на основе генератора случайных числе с нормальным распределением (это когда распределние имеет вид функции Гаусса, такая "горка" как бы). Итак создаем функцию SampleGaussian:...

...

Это изменения для первого эксперимента. Ниже будет приведена таблица сравнений для обоих экспериментов. А сейчас изменения для второго эксперимента. Это будет замена передаточной функции в ходе мутации. Для начала в класс GeneticAlgorithm добавим поле allow_change_trans_function, чтобы можно было включать и отключать режим мутации замены передаточной функции:

/// <summary>

/// Разрешить мутацию замены передаточной функции

/// </summary>

public bool allow_change_trans_function=true;

В класс GANeuralNet добавим поля для ссылки на объект генетического алгоритма, вероятность мутации замены передаточной функции и вероятность мутации параметра передаточной функции:

/// <summary>

/// Вероятность замены передаточной функции

/// </summary>

public double p_change = 0.05;

/// <summary>

/// Вероятность мутации параметров передаточной функции

/// </summary>

public double p_parameter = 0.1;

/// <summary>

/// ссылка на генетический алгоритм

/// </summary>

public GeneticAlgorithm ga;

и изменим его конструктор, сделаем его параметрическим:

/// <summary>

/// Конструктор по ссылке на генетический алгоритм

/// </summary>

/// <param name="a_ga">Ссылка на генетический алгоритм</param>

public GANeuralNet(GeneticAlgorithm a_ga)

{

ga = a_ga;

}

...

....

Для остальных передаточных функций посмотрите в исходниках.

Теперь проведем эксперимент и сведем его результаты в таблицу:

№	Без мутации передаточной функции	С мутацией передаточной функции
1	2,76	4,56
2	2,45	3,96
3	3,15	3,44
4	4,68	3,67
5	2,97	3,08
6	3,67	4,54
7	2,65	3,96
8	4,08	3,49
9	2,78	3,86
10	4,07	3,55
Среднее	3,326	3,811

Непонятно почему, но обучаемость с заменой передаточной функции оказалась хуже, хотя, по сути дела, мы дали нейросети большую свободу дейсвтий.

Для того, чтобы понять, почему мы получились столь странный результат, необходимо првоести небольшой исследование процесса обучения, но этим мы займемся на следуем уроке.

« След.		Пред. »

Вернуться