Санкт-Петербургский государственный электротехнический университет (спгэту) Известия вузов. ”Приборостроение”




Скачать 122.24 Kb.
НазваниеСанкт-Петербургский государственный электротехнический университет (спгэту) Известия вузов. ”Приборостроение”
страница1/2
Дата публикации15.03.2013
Размер122.24 Kb.
ТипДокументы
vbibl.ru > Математика > Документы
  1   2


УДК 007:159.955:519.72

Дорогов А.Ю. Алексеев А.А.

Санкт-Петербургский государственный электротехнический университет (СПГЭТУ)

Известия вузов. ”Приборостроение”

т.41, 1998г. №4 с.36-41.

ПЛАСТИЧНОСТЬ МНОГОСЛОЙНЫХ НЕЙРОННЫХ СЕТЕЙ
В работе выполнен анализ пластичности многослойных нейронных сетей. Получены точные формулы расчета степени пластичности по структурным характеристикам нейронной сети. Введено понятие структурной модели нейронной сети. Приведены примеры.

1.ВВЕДЕНИЕ

Многослойные сети прямого распространения широко используются в задачах распознавания образов, аппроксимации функций, системах адаптивного управления [1,2]. Для сетей подобного вида предложен ряд эффективных алгоритмов обучения; наибольшую известность получил алгоритм Errorback Propogation [3], основанный на рекуррентном использовании градиентного метода поиска экстремума. При практическом использовании нейронных сетей, неизбежно, возникает вопрос выбора структуры сети. Для многослойных сетей прямого распространения необходимо определить количество слоев в сети и количество нейронов в каждом слое. Существует ряд рекомендаций по выбору структуры, основанных на эмпирическом исследовании сетей. Но любое экспериментальное исследование неразрывно связано с конкретной задачей, поэтому трудно ожидать, что рекомендации будут пригодными как для задач распознавания, так и, например, для задач аппроксимации функций. По-видимому, для каждой прикладной области существует свой набор критериев которые следует использовать при выборе структуры. Тем не менее, можно выделить критерии, общие для различных приложений. Одним из таких критериев может служить способность нейронной сети к обучению. Интуиция подсказывает, что чем больше “знаний” способна поглотить сеть, тем лучшими свойствами она будет обладать при использовании в конкретной задаче. Способность к обучению (в литературе часто используется удачный термин “пластичность” ) целесообразно оценивать числом независимых настроек, существующих в сети. Это значение, как правило, меньше чем полное количество синаптических весов, подвергающихся изменению в процессе обучения сети. Исключением является однослойный персептрон, для которого соблюдается равенство. В механике для оценки числа независимых координат используется понятие “число степеней свободы”. Близкую аналогию можно провести и для нейронных сетей. В самом деле, нейронную сеть можно представить как нелинейный оператор, осуществляющий преобразование входного вектора в выходной. Полное множество операторов образует многомерное пространство, в котором каждый оператор можно рассматривать как некоторую материальную точку. Изменение синаптических весов нейронной сети приводит к перемещению точки-оператора в пространстве операторов. Следуя далее механической аналогии, будем называть число независимых координат, необходимое и достаточное для однозначного определения местоположения точки-оператора в пространстве операторов, числом степеней свободы нейронной сети. Класс операторов, порождаемых изменением синаптических весов образует некоторую поверхность (многообразие) в пространстве операторов. Число степеней свободы, по существу, определяется размерностью минимального линейного пространства в которое можно погрузить некоторую малую окрестность любой точки многообразия операторов.

На этапе обучения нейронная сеть обычно линеаризуется в окрестности некоторых точек нелинейных функций активации нейронов. В пределах этой окрестности все операторы можно рассматривать как линейные. Поэтому задача вычисления степеней свободы состоит в том, чтобы определить размерность линейной оболочки класса операторов, порождаемого нейронной сетью. Решению поставленной задачи и будет посвящена данная работа.
2.СТРУКТУРНАЯ МОДЕЛЬ НЕЙРОННОЙ СЕТИ




На рис.1 показана полносвязанная нейронная сеть прямого распространения.  В полносвязанной сети каждый из нейронов fi связан со всеми нейронами предшествующего слоя. Пусть размерность входного вектора для данной сети равна N, а выходного M.

Поставим в соответствие каждому i-му нейронному слою пару векторных градуированных [4] пространств (Ei,Di ) с размерностями (pi,gi). Условие градуировки задается фиксированным разложением каждого пространства в прямую сумму одномерных подпространств, которые назовем базовыми направлениями.Тогда каждый нейронный слой можно описать оператором Ai. Изменение синаптических весов в слое i порождает класс операторов Ai , осуществляющих отображение пространств (Ei )Ai ®Di . Как уже было отмечено, для задачи оценки пластичности можно считать, что класс Ai состоит из линейных операторов. Связь между смежными слоями определим операторами проектирования Pi,i+1 так , что (Di)Pi,i+1®Ei+1. Операторы Pi,i+1 будем считать фиксированными операторами, осуществляющими не более чем перестановку базисных векторов в смежных пространствах, размерности которых, очевидно, совпадают. Базисные вектора всегда будем выбирать так, чтобы они принадлежали базовым направлениями. С учетом введенных определений класс операторов, соответствующий всей нейронной сети будет определяться произведением:

W=A1P12A2P23 . . . An-1Pn-1,nAn . (1)

Выражению (1) соответствует линейный граф показанный на рис.2.





Каждой вершине графа отвечает класс операторов одного нейронного слоя, а дуги соответствуют операторам проектирования Pij . На данном графе определены функции весов вершин и дуг. Весом i-ой вершины будем считать пару чисел (pi,gi), а весом дуги ранг оператора rij = rank Pij . Максимальный ранг операторов в классе Ai назовем рангом класса и обозначим ri. Очевидно,

ri = rank Ai = min(pi,gi) = pi ° gi.

Вычисление минимума в многозначной логике [5] рассматривается как операция логического умножения, в последнем выражении и далее для обозначения этой операции используется символ “ ° “.

Поскольку gi=pi+1, то ri,i+1= gi, и нетрудно показать, что в этом случае

ri,i+1 ³ min(ri,ri+1) = ri ° ri+1. (2)

Взвешенный граф, приведенный на рис.2, отражает структурные свойства нейронной сети. В дальнейшем такой граф будем называть структурной моделью нейронной сети.

3.РАЗМЕРНОСТЬ ПРОСТРАНСТВА ОПЕРАТОРОВ

Будем считать класс операторов Ai полным, т.е. образующим пространство операторов. Последнее означает, что полный класс операторов изоморфен тензорному произведению [6] пространств Ei,Di и, следовательно, его размерность равна dimAi= dim(Ei´Di)=pigi. Обозначим через Wi подкласс операторов класса W, который порождается классом операторов Ai в произведении (1), при фиксированных в общем положении операторов для остальных классов Aj j¹i. Легко проверить, что класс Wi будет линейным подпространством. Условие “общее положение” [4] означает, что фиксация операторов в классах Aj осуществляется таким образом, чтобы обеспечить наибольшую размерность подпространства Wi. Для класса операторов W, определяемых произведением (1), линейной оболочкой будет объединение операторных подпространств Wi , т.е.:

L(W) = W1 Ú W2 Ú W3 Ú . . . Ú Wn-1 Ú Wn (3)

Размерность этого пространства равна числу степеней свободы, которое будем обозначать S, полагая

S = dim (L(W) ) = dim W.

Размерность объединения любой пары пространств B’ и B” определяется [4] следующим выражением:

dim(B’ Ú B”) = dim(B’) + dim(B”) - dim(B’ Ù B”).

Можно показать, что градуированные подпространства образуют дистрибутивную решетку по операциям ‘Ú ‘ и ‘Ù’ в этом случае допустимо к выражению (3) многократно применить последнею формулу, в результате получим:

dim W = dim W1 + dim W2 + dim W3 + . . . + dim Wn-1 + dim Wn -

dim W1 Ù ( W2 Ú W3 Ú . . . Ú Wn-1 Ú Wn) - dim W2 Ù ( W3 Ú W4 Ú . . . Ú Wn-1 Ú Wn) -

- . . . - dim Wn-2Ù (Wn-1 Ú Wn) - dim ( Wn-1 Ù Wn) .

В этом выражении обозначим через все положительные компоненты, а через все отрицательные, тогда

dim W = - .

Рассмотрим компоненту . Обозначим через ранг произведения последовательности операторов, предшествующих классу Ai в выражении (1), а через ранг произведения последовательности операторов следующих за этим классом. Поскольку ранг произведения операторов не превосходит минимального ранга сомножителей, то учитывая условие (2) и следуя принципу “общего положения”, можно записать:

=min( r1,r2, …ri-1) = r1 ° r2 ° , … , ° ri-1, где r0 = N, (4)

= min( ri+1,ri+2, …rn) = ri+1 ° ri+2 ° ,… , ° rn, где rn+1 = M. (5)

Величину будем называть входным рангом для класса Ai , а величину выходным рангом. По теореме о структуре линейного отображения [4], для цепочки операторов, предшествующих Ai , существуют такие прямые разложения пространств E1 и Ei,

,
что изоморфно и имеет размерность , а составляет нулевое пространство (ядро линейного отображения). Аналогично, для цепочки операторов, следующих за Ai существуют прямые разложения

такие, что изоморфно и имеет размерность , а составляет нулевое пространство.

Нулевое пространство при отображении переходит в нулевой вектор, поэтому операторное подпространство Wi изоморфно тензорному произведению . Обозначим изоморфное отображение символом “~“ , тогда можно записать
  1   2

Добавить документ в свой блог или на сайт

Похожие:

Санкт-Петербургский государственный электротехнический университет (спгэту) Известия вузов. ”Приборостроение” iconКомпетентностная модель выпускника аспирантуры
Санкт-Петербургский государственный электротехнический университет «лэти» им. В. И. Ульянова (Ленина)

Санкт-Петербургский государственный электротехнический университет (спгэту) Известия вузов. ”Приборостроение” iconМетодические указания к выполнению лабораторных работ по дисциплине «Информатика»
Санкт-Петербургский Государственный Электротехнический Университет «лэти» им. В. И. Ульянова(Ленина)

Санкт-Петербургский государственный электротехнический университет (спгэту) Известия вузов. ”Приборостроение” iconДипломному проекту на тему: «Разработка методов встраивания информации...
Санкт-Петербургский государственный электротехнический университет “лэти” им. В. И. Ульянова (Ленина)” (СПбгэту)

Санкт-Петербургский государственный электротехнический университет (спгэту) Известия вузов. ”Приборостроение” iconДипломному проекту на тему: «Разработка методов встраивания информации...
Санкт-Петербургский государственный электротехнический университет “лэти” им. В. И. Ульянова (Ленина)” (СПбгэту)

Санкт-Петербургский государственный электротехнический университет (спгэту) Известия вузов. ”Приборостроение” iconМодели и методы компьютерной поддержки взаимодействия эксперта и...
Санкт-Петербургский государственный электротехнический университет «лэти» им. Ульянова (Ленина)

Санкт-Петербургский государственный электротехнический университет (спгэту) Известия вузов. ”Приборостроение” iconРабочая программа дисциплины презентация научно-технических проектов...
«Санкт-Петербургский государственный электротехнический университет «лэти» им. В. И. Ульянова (Ленина)»

Санкт-Петербургский государственный электротехнический университет (спгэту) Известия вузов. ”Приборостроение” iconСтепулёнок Денис Олегович, аспирант кафедры асоиу
Санкт-Петербургский государственный электротехнический университет «лэти» им. В. И. Ульянова (Ленина), в лице проректора по учебной...

Санкт-Петербургский государственный электротехнический университет (спгэту) Известия вузов. ”Приборостроение” iconН. М. Кропачев Уголовно-правовое регулирование. Механизм и система....
Книга предназначена для преподавателей, аспирантов, студентов вузов

Санкт-Петербургский государственный электротехнический университет (спгэту) Известия вузов. ”Приборостроение” iconОтчет по Договору заказа №05. 10. 01. 300 от 02. 07. 2007г. Разработка...
Государственное образовательное учреждение высшего профессионального образования «Санкт-Петербургский государственный электротехнический...

Санкт-Петербургский государственный электротехнический университет (спгэту) Известия вузов. ”Приборостроение” icon«Санкт Петербургский государственный электротехнический университет...
В данном отчете содержится информация по приложению на языке mxml для платформы Adobe Flex, представляющему собой клиентское приложение...

Вы можете разместить ссылку на наш сайт:
Школьные материалы


При копировании материала укажите ссылку © 2013
контакты
vbibl.ru
Главная страница