Теория нейронных сетей. Урок 3. Типы нейронных сетей

ИНС (Искусственная нейронная сеть) состоит из большого числа связанных НЭ (нейронных элементов, нейронов). Ее структура представляет собой направленный граф, в котором вершины - НЭ, дуги - связи между ними. Дуга, направленная от НЭ с номером j к элементу с номером i, имеет весовой коэффициент w_ij.

Нейросети бывают следующих типов:

• Однослойные с прямыми связями.

• Многослойные с прямыми связями.

• Однослойные с обратными связями (рекуррентные).

• Многослойные рекуррентные.

Связи входов с соответствующими нейронами могут быть заданы матрицей:

Графически однослойные нейросети можно представить в виде схемы:

Однослойную нейронную сеть можно, например, применять для распознавания различных символов. Вот тут описано применение нейронной сети для распознавания цифр.

Однослойные нейросети имеют ряд ограничений:

• Линейная разделимость классов.  Тоесть, нейрон способен отделить (иметь различный выход) только такие два множества векторов входов, для которых имеется гиперплоскость, отсекающая одно множество от другого. Такие множества называют линейно разделимыми.

• При возрастании числа аргументов ситуация еще более катастрофична: относительное число функций, которые обладают свойством линейной разделимости резко уменьшается. А значит и резко сужается класс функций, который может быть реализован персептроном (так называемый класс функций, обладающий свойством персептронной представляемости).

Подробно мы рассмотрим эти ограничения в будущих уроках, а сейчас познакомимся с другими типами нейронных сетей.

Многослойная нейронная сеть:

Для определения реакции многослойной сети применяем формулу расчета для каждого слоя последовательно.

Еще есть однослойные и многослойные сети с обратными связями. Их суть в том, что сигналы с выходов подаются на входы:

Если обратные связи действуют в пределах одного слоя, то они называются латеральными. Часто используют нейросети с латеральным торможением. Обычно свзяи, находящиеся близко от НЭ, являются возбуждающими, а на некотором удалении - тормозящими (белые кружочки - возбуждение, красные - торможение):