Книга: Учебное пособие по курсу «Нейроинформатика»
Контрастирование и нормализация сети
Контрастирование и нормализация сети
В последние годы широкое распространение получили различные методы контрастирования или скелетонизации нейронных сетей. В ходе процедуры контрастирования достигается высокая степень разреженности синаптической карты нейронной сети, так как большинство связей получают нулевые веса (см. например [47, 100, 303, 304]).
Очевидно, что при такой степени разреженности ненулевых параметров проводить вычисления так, как будто структура сети не изменилась, неэффективно. Возникает потребность в процедуре нормализации сети, то есть фактического удаления нулевых связей из сети, а не только из обучения. Процедура нормализации состоит из двух этапов:
1. Из сети удаляются все связи, имеющие нулевые веса и исключенные из обучения.
2. Из сети удаляются все подсети, выходные сигналы которых не используются другими подсетями в качестве входных сигналов и не являются выходными сигналами сети в целом.
В ходе нормализации возникает одна трудность: если при описании нейронной сети все нейроны одинаковы, и можно описать нейрон один раз, то после удаления отконтрастированных связей нейроны обычно имеют различную структуру. Компонент сеть должен отслеживать ситуации, когда два блока исходно одного и того же типа уже не могут быть представлены в виде этого блока с различными параметрами. В этих случаях компонент сеть порождает новый тип блока. Правила порождения имен блоков приведены в описании выполнения запроса на нормализацию сети.
- Раздел VII Левиафан в Сети: защита права на тайну частной жизни после событий 2013 г.
- Работа с ресурсами локальной сети
- 10.4. Локальные сети
- Вот как мы можем повлиять на коммерческий фактор (иными словами, повысить доверие посетителей к сайту)
- Часть II Компьютерные сети и подключение к Интернету
- Как подключить ноутбук к сети Интернет
- Часть IV Работа в сети Интернет
- Неисправности электрической сети и сетевых устройств
- Обмен сообщениями в сети
- 2.4. Сервисные сети и аутсорсинг в выставочной индустрии
- Создание и настройка сети
- Меня подключили к сети. Как в нее входить?