Книга: Учебное пособие по курсу «Нейроинформатика»

Константа Липшица сигмоидной сети

Константа Липшица сигмоидной сети

Рассмотрим слоистую сигмоидную сеть со следующими свойствами:

1. Число входных сигналов — n₀.

2. Число нейронов в i-м слое — n_i.

3. Каждый нейрон первого слоя получает все входные сигналы, а каждый нейрон любого другого слоя получает сигналы всех нейронов предыдущего слоя.

4. Все нейроны всех слоев имеют вид, приведенный на рис. 1 и имеют одинаковую характеристику.

5. Все синаптические веса ограничены по модулю единицей.

6. В сети m слоев.

В этом случае, учитывая формулы (4), (5), (12) и (14) константу Липшица i-го слоя можно оценить следующей величиной:

Используя формулу (4) получаем оценку константы Липшица всей сети:

Если используется нейроны типа S₁, то ?P=c и оценка константы Липшица сети равна:

Для нейронов типа S₂, то ?_P=1/- и оценка константы Липшица сети равна:

Обе формулы подтверждают экспериментально установленный факт, что чем круче характеристическая функция нейрона, тем более сложные функции (функции с большей константой Липшица) может аппроксимировать сеть с такими нейронами.

Оглавление книги