Книга: Учебное пособие по курсу «Нейроинформатика»
Тензорные сети
Тензорные сети
Для увеличения числа линейно независимых эталонов, не приводящих к прозрачности сети, используется прием перехода к тензорным или многочастичным сетям [75, 86, 93, 293].
В тензорных сетях используются тензорные степени векторов. k-ой тензорной степенью вектора x будем называть тензор x?k, полученный как тензорное произведение k векторов x.
Поскольку в данной работе тензоры используются только как элементы векторного пространства, далее будем использовать термин вектор вместо тензор. Вектор x?k является nk-мерным вектором. Однако пространство L({x?k}) имеет размерность, не превышающую величину
Теорема. При k<n в множестве {x?k} линейно независимыми являются
Небольшая модернизация треугольника Паскаля, позволяет легко вычислять эту величину. На рис. 2 приведен «тензорный» треугольник Паскаля. При его построении использованы следующие правила:
1. Первая строка содержит двойку, поскольку при n= 2 в множестве X всего два неколлинеарных вектора.
2. При переходе к новой строке, первый элемент получается добавлением единицы к первому элементу предыдущей строки, второй — как сумма первого и второго элементов предыдущей строки, третий — как сумма второго и третьего элементов и т. д. Последний элемент получается удвоением последнего элемента предыдущей строки.
Рис. 2. “Тензорный” треугольник Паскаля
В табл. 1 приведено сравнение трех оценок информационной емкости тензорных сетей для некоторых значений n и k. Первая оценка — nk — заведомо завышена, вторая —
Таблица 1.
Как легко видеть из таблицы, уточнение при переходе к оценке rn,k является весьма существенным. С другой стороны, предельная информационная емкость тензорной сети (число правильно воспроизводимых образов) может существенно превышать число нейронов, например, для 10 нейронов тензорная сеть валентности 8 имеет предельную информационную емкость 511.
Легко показать, что если множество векторов {xi} не содержит противоположно направленных, то размерность пространства L({x?k}) равна числу векторов в множестве {xi}.
Сеть (2) для случая тензорных сетей имеет вид
а ортогональная тензорная сеть
где rij-1 — элемент матрицы ?-1({x?k}).
Рассмотрим, как изменяется степень коррелированности эталонов при переходе к тензорным сетям (9)
Таким образом, при использовании сетей (9) сильно снижается ограничение на степень коррелированности эталонов. Для эталонов, приведенных на рис. 1, данные о степени коррелированности эталонов для нескольких тензорных степеней приведены в табл. 2.
Таблица 2. Степени коррелированности эталонов, приведенных на рис. 1, для различных тензорных степеней.
Тензорная степень | Степень коррелированности | Условия | ||||
---|---|---|---|---|---|---|
CAB | CAC | CBC | CAB+CAC | CAB+CBC | CAC+CBC | |
1 | 0.74 | 0.72 | 0.86 | 1.46 | 1.60 | 1.58 |
2 | 0.55 | 0.52 | 0.74 | 1.07 | 1.29 | 1.26 |
3 | 0.41 | 0.37 | 0.64 | 0.78 | 1.05 | 1.01 |
4 | 0.30 | 0.26 | 0.55 | 0.56 | 0.85 | 0.81 |
5 | 0.22 | 0.19 | 0.47 | 0.41 | 0.69 | 0.66 |
6 | 0.16 | 0.14 | 0.40 | 0.30 | 0.56 | 0.54 |
7 | 0.12 | 0.10 | 0.35 | 0.22 | 0.47 | 0.45 |
8 | 0.09 | 0.07 | 0.30 | 0.16 | 0.39 | 0.37 |
Анализ данных, приведенных в табл. 2, показывает, что при тензорных степенях 1, 2 и 3 степень коррелированности эталонов не удовлетворяет первому из достаточных условий (
Таким образом, чем выше тензорная степень сети (9), тем слабее становится ограничение на степень коррелированности эталонов. Сеть (10) не чувствительна к степени коррелированности эталонов.
- Лекции 4, 5 и 6. Нейронные сети ассоциативной памяти, функционирующие в дискретном времени
- Сети для инвариантной обработки изображений
- Раздел VII Левиафан в Сети: защита права на тайну частной жизни после событий 2013 г.
- Работа с ресурсами локальной сети
- 10.4. Локальные сети
- Вот как мы можем повлиять на коммерческий фактор (иными словами, повысить доверие посетителей к сайту)
- Часть II Компьютерные сети и подключение к Интернету
- Как подключить ноутбук к сети Интернет
- Часть IV Работа в сети Интернет
- Неисправности электрической сети и сетевых устройств
- Обмен сообщениями в сети
- 2.4. Сервисные сети и аутсорсинг в выставочной индустрии