Книга: Учебное пособие по курсу «Нейроинформатика»

Тензорные сети

Тензорные сети

Для увеличения числа линейно независимых эталонов, не приводящих к прозрачности сети, используется прием перехода к тензорным или многочастичным сетям [75, 86, 93, 293].

В тензорных сетях используются тензорные степени векторов. k-ой тензорной степенью вектора x будем называть тензор x?k, полученный как тензорное произведение k векторов x.

Поскольку в данной работе тензоры используются только как элементы векторного пространства, далее будем использовать термин вектор вместо тензор. Вектор x?k является nk-мерным вектором. Однако пространство L({x?k}) имеет размерность, не превышающую величину

, где
— число сочетаний из p по q. Обозначим через {x?k} множество k-х тензорных степеней всех возможных образов.

Теорема. При k<n в множестве {x?k} линейно независимыми являются

векторов. Доказательство теоремы приведено в последнем разделе данной главы.

Небольшая модернизация треугольника Паскаля, позволяет легко вычислять эту величину. На рис. 2 приведен «тензорный» треугольник Паскаля. При его построении использованы следующие правила:

1. Первая строка содержит двойку, поскольку при n= 2 в множестве X всего два неколлинеарных вектора.

2. При переходе к новой строке, первый элемент получается добавлением единицы к первому элементу предыдущей строки, второй — как сумма первого и второго элементов предыдущей строки, третий — как сумма второго и третьего элементов и т. д. Последний элемент получается удвоением последнего элемента предыдущей строки.


Рис. 2. “Тензорный” треугольник Паскаля

В табл. 1 приведено сравнение трех оценок информационной емкости тензорных сетей для некоторых значений n и k. Первая оценка — nk — заведомо завышена, вторая —

— дается формулой Эйлера для размерности пространства симметричных тензоров и третья — точное значение.

Таблица 1.


Как легко видеть из таблицы, уточнение при переходе к оценке rn,k является весьма существенным. С другой стороны, предельная информационная емкость тензорной сети (число правильно воспроизводимых образов) может существенно превышать число нейронов, например, для 10 нейронов тензорная сеть валентности 8 имеет предельную информационную емкость 511.

Легко показать, что если множество векторов {xi} не содержит противоположно направленных, то размерность пространства L({x?k}) равна числу векторов в множестве {xi}.

Сеть (2) для случая тензорных сетей имеет вид


(9)

а ортогональная тензорная сеть


(10)

где rij-1 — элемент матрицы ?-1({x?k}).

Рассмотрим, как изменяется степень коррелированности эталонов при переходе к тензорным сетям (9)


Таким образом, при использовании сетей (9) сильно снижается ограничение на степень коррелированности эталонов. Для эталонов, приведенных на рис. 1, данные о степени коррелированности эталонов для нескольких тензорных степеней приведены в табл. 2.

Таблица 2. Степени коррелированности эталонов, приведенных на рис. 1, для различных тензорных степеней.

Тензорная степень Степень коррелированности Условия
CAB CAC CBC CAB+CAC CAB+CBC CAC+CBC
1 0.74 0.72 0.86 1.46 1.60 1.58
2 0.55 0.52 0.74 1.07 1.29 1.26
3 0.41 0.37 0.64 0.78 1.05 1.01
4 0.30 0.26 0.55 0.56 0.85 0.81
5 0.22 0.19 0.47 0.41 0.69 0.66
6 0.16 0.14 0.40 0.30 0.56 0.54
7 0.12 0.10 0.35 0.22 0.47 0.45
8 0.09 0.07 0.30 0.16 0.39 0.37

Анализ данных, приведенных в табл. 2, показывает, что при тензорных степенях 1, 2 и 3 степень коррелированности эталонов не удовлетворяет первому из достаточных условий (

), а при степенях меньше 8 — второму (
).

Таким образом, чем выше тензорная степень сети (9), тем слабее становится ограничение на степень коррелированности эталонов. Сеть (10) не чувствительна к степени коррелированности эталонов.

Оглавление книги


Генерация: 1.447. Запросов К БД/Cache: 3 / 0
поделиться
Вверх Вниз