Нейрокомпьютерные системы

воздействие на возбуждение соседних узлов, и только его синапсы будут

усиливаться; синапсы соседних узлов останутся неизменными.

Возбуждающий нейрон.

Грубо говоря, выход возбуждающего нейрона в когнитроне определяется

отношением его возбуждающих входов к тормозящим входам. Эта необычная

функция имеет важные преимущества, как практические, так и

теоретические.

[pic]

Суммарный возбуждающий вход в нейрон Е является взвешенной суммой

входов от возбуждающих нейронов в предшествующем слое. Аналогично

суммарный тормозящий вход / является взвешенной суммой входов от всех

тормозящих нейронов. В символьном виде

[pic] [pic]

где аi - вес i-го возбуждающего синапса, иi - выход i -го

возбуждающего нейрона, bj - вес j-го тормозящего синапса, v. - выход j-

го тормозящего нейрона. Заметим, что веса имеют только положительные

значения. Выход нейрона затем вычисляется следующим образом:

NET = [(1 + E)/(l + I)]-l,

OUT=NET при NET>=0,

OUT=0 при NET < 0.

Предполагая, что NET имеет положительное значение, это можно

записать следующим образом:

OUT = (E - I)/(1 + I).

Когда тормозящий вход мал ( I >1 и I >>1.

В данном случае OUT определяется отношением возбуждающих входов к

тормозящим входам, а не их разностью. Таким образом, величина OUT

ограничивается, если оба входа возрастают в одном и том же диапазоне X.

Предположив, что это так, Е и I можно выразить следующим образом:

Е = рХ, I = qX, p,q - константы, и после некоторых

преобразований OUT = [(р - q)/2q]{1 + th[log(pq)/2]}.

Эта функция возрастает по закону Вебера-Фехнера, который часто

используется в нейрофизиологии для аппроксимации нелинейных соотношений

входа/выхода сенсорных нейронов. При использовании этого соотношения

нейрон когнитрона в точности эмулирует реакцию биологических нейронов.

Это делает его как мощным вычислительным элементом, так и точной

моделью для физиологического моделирования.

Тормозящие нейроны.

В когнитроне слой состоит из возбуждающих и тормозящих узлов. Как

показано на рис. 10.4, нейрон слоя 2 имеет область связи, для которой

он имеет синаптические соединения с набором выходов нейронов в слое 1.

Аналогично в слое 1 существует тормозящий нейрон, имеющий ту же

область связи. Синаптические веса тормозящих узлов не изменяются в

процессе обучения; их веса заранее установлены таким образом, что

сумма весов в любом из тормозящих нейронов равна единице. В

соответствии с этими ограничениями, выход тормозящего узла INHIB

является взвешенной суммой его входов, которые в данном случае

представляют собой среднее арифметическое выходов возбуждающих

нейронов, к которым он подсоединен. Таким образом,

[pic]

[pic][pic]

где [pic] =1, сi - возбуждающий вес i.

Процедура обучения. Как объяснялось ранее, веса возбуждающих

нейронов изменяются только тогда, когда нейрон возбужден сильнее, чем

любой из узлов в области конкуренции. Если это так, изменение в

процессе обучения любого из его весов может быть определено следующим

образом:

(ai=qcjuj

где сj- тормозящий вес связи нейрона j в слое 1 с тормозящим нейроном i,

иj - выход нейрона j в слое 1, аi - возбуждающий вес i, q - нормирующий

коэффициент обучения. Изменение тормозящих весов нейрона i в слое

2 пропорционально отношению взвешенной суммы возбуждающих входов к

удвоенному тормозящему входу. Вычисления проводятся по формуле

[pic][pic]

Когда возбужденных нейронов в области конкуренции нет, для

изменения весов используются другие выражения. Это необходимо,

поскольку процесс обучения начинается с нулевыми значениями весов;

поэтому первоначально нет возбужденных нейронов ни в одной области

конкуренции, и обучение производиться не может. Во всех случаях, когда

победителя в области конкуренции нейронов нет, изменение весов

нейронов вычисляется следующим образом :

[pic]

где q' - положительный обучающий коэффициент меньший чем q.

Приведенная стратегия настройки гарантирует, что узлы с большой

реакцией заставляют возбуждающие синапсы, которыми они управляют,

увеличиваться сильнее, чем тормозящие синапсы. И наоборот, узлы,

имеющие малую реакцию, вызывают малое возрастание возбуждающих синап

сов, но большее возрастание тормозящих синапсов. Таким образом, если

узел 1 в слое 1 имеет больший выход, синапс а1 возрастет больше,

чем синапс b1 . И наоборот, узлы, имеющие малый выход, обеспечат малую

величину для приращения аi. Однако другие узлы в области связи будут

возбуждаться, тем самым увеличивая сигнал INHIB и значения bi. В

процессе обучения веса каждого узла в слое 2 настраиваются таким

образом, что вместе они составляют шаблон, соответствующий образам,

которые часто предъявляются в процессе обучения. При предъявлении

сходного образа шаблон соответствует ему и узел вырабатывает большой

выходной сигнал. Сильно отличающийся образ вырабатывает малый выход

и обычно подавляется конкуренцией.

Латеральное торможение. На рис. 10.4 показано, что каждый нейрон

слоя 2 получает латеральное торможение от нейронов, расположенных в

его области конкуренции. Тормозящий нейрон суммирует входы от всех

нейронов в области конкуренции и вырабатывает сигнал, стремящийся к

торможению целевого нейрона. Этот метод является эффектным, но с

вычислительной точки зрения медленным. Он охватывает большую систему с

обратной связью, включающую каждый нейрон в слое; для его стабилизации

может потребоваться большое количество вычислительных итераций. Для

ускорения вычислений в работе [2] используется остроумный метод

ускоренного латерального торможения (рис. 10.5). Здесь дополнительный

узел латерального торможения обрабатывает выход каждого

возбуждающего узла для моделирования требуемого латерального торможения.

Сначала он определяет сигнал, равный суммарному тормозящему влиянию в

области конкуренции:

[pic]

где OUTi - выход i-го нейрона в области конкуренции, g1-вес связи от

этого нейрона к латерально-тормозящему нейрону; gi выбраны таким

образом, что [pic] =1.

Выход тормозящего нейрона OUT' затем вычисляется следующим образом:

[pic]

Благодаря тому что все вычисления, связанные с таким типом

латерального торможения, являются нерекурсивными, они могут быть

проведены за один проход для слоя, тем самым определяя эффект в виде

большой экономии в вычислениях. Этот метод латерального торможения

решает и другую сложную проблему. Предположим, что узел в слое 2

возбуждается сильно, но возбуждение соседних узлов уменьшается постепенно

с увеличением расстояния. При использовании обычного латерального

торможения будет обучаться только центральный узел. Другие узлы

определяют, что центральный узел в их области конкуренции имеет

более высокий выход. С предлагаемой системой латерального

торможения такой ситуации случиться не может. Множество узлов может

обучаться одновременно и процесс обучения является более достоверным.

Рецептивная область. Анализ, проводимый до этого момента, был

упрощен рассмотрением только одномерных слоев. В действительности

когнитрон конструировался как каскад двумерных слоев, причем в данном

слое каждый нейрон получает входы от набора нейронов на части

двумерного плана, составляющей его область связи в предыдущем слое. С

этой точки зрения когнитрон организован подобно зрительной коре

человека, представляющей собой трехмерную структуру, состоящую из

нескольких различных слоев. Оказывается, что каждый слой мозга реализует

различные уровни обобщения; входной слой чувствителен к простым

образам, таким, как линии, и их ориентации в определенных областях

визуальной области, в то время как реакция других слоев является более

сложной, абстрактной и независимой от позиции образа. Аналогичные

функции реализованы в когнитроне путем моделирования организации

зрительной коры. На рис. 10.6 показано, что нейроны когнитрона в слое 2

реагируют на определенную небольшую область входного слоя 1. Нейрон в

слое 3 связан с набором нейронов слоя 2, тем самым реагируя косвенно

на более широкий набор нейронов слоя 1. Подобным образом нейроны в

последующих слоях чувствительны к более широким областям входного

образа до тех пор, пока в выходном слое каждый нейрон не станет

реагировать на все входное поле. Если область связи нейронов

имеет постоянный размер во всех слоях, требуется большое количество

слоев для перекрытия всего входного поля выходными нейронами.

Количество слоев может быть уменьшено путем расширения области связи в

последующих слоях. К сожалению, результатом этого может явиться

настолько большое перекрытие областей связи, что нейроны выходного слоя

будут иметь одинаковую реакцию. Для решения этой проблемы может быть

использовано расширение области конкуренции. Так как в данной области

конкуренции может возбудиться только один узел, влияние малой разницы

в реакциях нейронов выходного слоя усиливается.

[pic]

В альтернативном варианте связи с предыдущим слоем могут быть

распределены вероятностно с большинством синаптических связей в

ограниченной области и с более длинными соединениями, встречающимися

намного реже. Это отражает вероятностное распределение нейронов,

обнаруженное в мозге. В когнитроне это позволяет каждому нейрону

выходного слоя реагировать на полное входное поле при наличии

ограниченного количества слоев.

Результаты моделирования. В [4] описываются результаты компьютерного

моделирования четырехслойного когнитрона, предназначенного для целей

распознавания образов. Каждый слой состоит из массива 12 х 12

возбуждающих нейронов и такого же количества тормозящих нейронов.

Область связи представляет собой квадрат, включающий 5 х 5 нейронов.

Область конкуренции имеет форму ромба высотой и шириной в пять

нейронов. Латеральное торможение охватывает область 7 х 7 нейронов.

Нормирующие параметры обучения установлены таким образом, что q=l6,0

и q' =2,0. Веса синапсов проинициализированы в 0. Сеть обучалась

путем предъявления пяти стимулирующих образов, представляющих собой

изображения арабских цифр от 0 до 4, на входном слое. Веса сети

настраивались после предъявления каждой цифры, входной набор

подавался на вход сети циклически до тех пор, пока каждый образ не

был предъявлен суммарно 20 раз. Эффективность процесса обучения

оценивалась путем запуска сети в реверсивном режиме; выходные образы,

являющиеся реакцией сети, подавались на выходные нейроны и

распространялись обратно к входному слою. Образы, полученные во входном

слое, затем сравнивались с исходным входным образом. Чтобы сделать это,

обычные однонаправленные связи принимались проводящими в обратном

направлении и латеральное торможение отключалось. На рис. 10.7 показаны

типичные результаты тестирования. В столбце 2 показаны образы,

произведенные каждой цифрой на выходе сети. Эти образы возвращались

обратно, вырабатывая на входе сети образ, близкий к точной копии

исходного входного образа. Для столбца 4 на выход сети подавался только

выход нейрона, имеющего максимальное возбуждение. Результирующие образы

в точности те же, что и в случае подачи полного выходного образа,

за исключением цифры 0, для которой узел с максимальным выходом

располагался на периферии и не покрывал полностью входного поля.

[pic]

НЕОКОГНИТРОН

В попытках улучшить когнитрон была разработана мощная

парадигма, названная неокогнитрон [5-7]. В то время как когнитрон и

неокогнитрон имеют определенное сходство, между ними также существуют

фундаментальные различия, связанные с эволюцией исследований авторов.

Оба образца являются многоуровневыми иерархическими сетями,

организованными аналогично зрительной коре. В то же время

неокогнитрон более соответствует модели зрительной системы,

предложенной в работах [10-12]. В результате неокогнитрон является

намного более мощной парадигмой с точки зрения способности

распознавать образы независимо от их преобразований, вращений, искажений

и изменений масштаба. Как и когнитрон, неокогнитрон использует

самоорганизацию в процессе обучения, хотя была описана версия [9], в

которой вместо этого использовалось управляемое обучение.

Неокогнитрон ориентирован на моделирование зрительной системы

человека. Он получает на входе двумерные образы, аналогичные

изображениям на сетчатой оболочке глаза, и обрабатывает их в

последующих слоях аналогично тому, как это было обнаружено в

зрительной коре человека. Конечно, в неокогнитроне нет ничего,

ограничивающего его использование только для обработки визуальных

данных, он достаточно универсален и может найти широкое применение

как обобщенная система распознавания образов. В зрительной коре

были обнаружены узлы, реагирующие на такие элементы, как линии и углы

определенной ориентации. На более высоких уровнях узлы реагируют на

более сложные и абстрактные образы такие, как окружности, треугольники и

прямоугольники. На еще более высоких уровнях степень абстракции

возрастает до тех пор, пока не определятся узлы, реагирующие на лица

и сложные формы. В общем случае узлы на более высоких уровнях

получают вход от группы низкоуровневых узлов и, следовательно,

реагируют на более широкую область визуального поля. Реакции узлов

более высокого уровня менее зависят от позиции и более устойчивы к

искажениям.

Структура

Неокогнитрон имеет иерархическую структуру, ориентированную на

моделирование зрительной системы человека. Он состоит из

последовательности обрабатывающих слоев, организованных в

иерархическую структуру (рис. 10.8). Входной образ подается на первый

слой и передается через плоскости, соответствующие последующим слоям,

до тех пор, пока не достигнет выходного слоя, в котором

идентифицируется распознаваемый образ.

[pic]

Структура неокогнитрона трудна для представления в виде диаграммы,

но концептуально проста. Чтобы подчеркнуть его многоуровневость (с целью

упрощения графического представления), используется анализ верхнего

уровня. Неокогнитрон показан состоящим из слоев, слои состоят из

набора плоскостей и плоскости состоят из узлов.

Слои. Каждый слой неокогнитрона состоит из двух массивов плоскостей

(рис. 10.9). Массив плоскостей, содержащих простые узлы, получает

выходы предыдущего слоя, выделяет определенные образы и затем передает

их в массив плоскостей, содержащих комплексные узлы, где они

обрабатываются таким образом, чтобы сделать выделенные образы менее

позиционно зависимыми.

Плоскости. Внутри слоя плоскости простых и комплексных узлов

существуют парами, т.е. для плоскости простых узлов существует одна

плоскость комплексных узлов, обрабатывающая ее выходы. Каждая плоскость

может быть визуально представлена как двумерный массив.

[pic]

Простые узлы. Все узлы в данной плоскости простых узлов реагируют на

один и тот же образ. Как показано на рис. 10.10, плоскость простых узлов

представляет массив узлов, каждый из которых «настраивается» на один

специфический входной образ. Каждый простой узел чувствителен к

ограниченной области входного образа, называемой его рецептивной

областью. Например, все узлы в верхней плоскости простых узлов на

рис. 10.10 реагируют на С. Узел реагирует, если С встречается во входном

образе и если С обнаружено в его рецептивной области. На рис. 10.10

показано, что другие плоскости простых узлов в этом слое могут

реагировать на поворот С на 90°, другие на поворот на 180° и т.д. Если

должны быть выделены другие буквы (и их искаженные версии),

дополнительные плоскости требуются для каждой из них. Рецептивные

области узлов в каждой плоскости простых узлов перекрываются с

целью покрытия всего входного образа этого слоя. Каждый узел получает

входы от соответствующих областей всех плоскостей комплексных узлов в

предыдущем слое. Следовательно, простой узел реагирует на появление

своего образа в любой сложной плоскости предыдущего слоя, если он

окажется внутри его рецептивной области.

[pic]

Рис. 10.10. Система неокогнитрона.

Комплексные узлы. Задачей комплексных узлов является уменьшение

Страницы: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16