Нейрокомпьютерные системы

0,9.Используя метод импульса, сеть стремится идти по дну узких оврагов

поверхности ошибки (если таковые имеются), а не двигаться от склона

к склону. Этот метод, по-видимому, хорошо работает на некоторых задачах,

но дает слабый или даже отрицательный эффект на других. В работе [8]

описан сходный метод, основанный на экспоненциальном сглаживании, который

может иметь преимущество в ряде приложений.

[pic](wpq,k(n+1) = ( (wpq,k(n) + ( 1- ( )(q,kOUTp,j . (3.11)

[pic](wpq,k(n+1) = (wpq,k(n) + ((wpq,k(n+1)), (3.12)

где ( коэффициент сглаживания, варьируемый и диапазоне от 0,0 до 1,0.

Если ( равен 1,0, то новая коррекция игнорируется и повторяется

предыдущая. В области между 0 и 1 коррекция веса сглаживается величиной,

пропорциональной (. По-прежнему, ( является коэффициентом скорости

обучения, служащим для управления средней величиной изменения веса.

ДАЛЬНЕЙШИЕ АЛГОРИТМИЧЕСКИЕ РАЗРАБОТКИ

Многими исследователями были предложены улучшения и обобщения

описанного выше основного алгоритма обратного распространения. Литература

в этой области слишком обширна, чтобы ее можно было здесь охватить.

Кроме того, сейчас еще слишком рано давать окончательные оценки.

Некоторые из этих подходов могут оказаться действительно

фундаментальными, другие же со временем исчезнут. Некоторые из

наиболее многообещающих разработок обсуждаются в этом разделе. В

[5] описан метод ускорения сходимости алгоритма обратного

распространения. Названный обратным распространением второго порядка,

он использует вторые производные для более точной оценки требуемой

коррекции весов. В [5] показано, что этот алгоритм оптимален в том

смысле, что невозможно улучшить оценку, используя производные более

высокого порядка. Метод требует дополнительных вычислений по сравнению

с обратным распространением первого порядка, и необходимы дальнейшие

эксперименты для доказательства оправданности этих затрат. В

[9] описан привлекательный метод улучшения характеристик обучения сетей

обратного распространения. В работе указывается, что общепринятый от 0

до 1 динамический диапазон входов и выходов скрытых нейронов

неоптимален. Так как величина коррекции веса (wpq,k пропорциональна

выходному уровню нейрона, порождающего OUTp,q, то нулевой уровень

ведет к тому, что вес не меняется. При двоичных входных векторах

половина входов в среднем будет равна нулю, и веса, с которыми они

связаны, не будут обучаться! Решение состоит в приведении входов к

значениям ±1/2 и добавлении смещения к сжимающей функции, чтобы она

также принимала значения ±1/2. Новая сжимающая функция выглядит следующим

образом:

OUT =-1/2 + 1 / (exp(-NET) + 1). (3.13)

С помощью таких простых средств время сходимости сокращается в среднем

от 30 до 50%. Это является одним из примеров практической модификации,

существенно улучшающей характеристику алгоритма. В [6] и [1]

описана методика применения обратного распространения к сетям с

обратными связями, т.е. к таким сетям, у которых выходы подаются

через обратную связь на входы. Как показано в этих работах, обучение в

подобных системах может быть очень быстрым и критерии устойчивости

легко удовлетворяются.

ПРИМЕНЕНИЯ

Обратное распространение было использовано в широкой сфере прикладных

исследований. Некоторые из них описываются здесь, чтобы

продемонстрировать мощь этого метода. Фирма NEC в Японии объявила

недавно, что обратное распространение было ею использовано для

визуального распознавания букв, причем точность превысила 99%. Это

улучшение было достигнуто с помощью комбинации обычных алгоритмов с

сетью обратного распространения, обеспечивающей дополнительную проверку.

В работе [8] достигнут впечатляющий успех с NetTalk, системой,

которая превращает печатный английский текст в высококачественную речь.

Магнитофонная запись процесса обучения сильно напоминает звуки

ребенка на разных этапах обучения речи. В [2] обратное

распространение использовалось в машинном распознавании рукописных

английских слов. Буквы, нормализованные по размеру, наносились на сетку,

и брались проекции линий, пересекающих квадраты сетки. Эти проекции

служили затем входами для сети обратного распространения. Сообщалось о

точности 99,7% при использовании словарного фильтра. В [3]

сообщалось об успешном применении обратного распространения к сжатию

изображений, когда образы представлялись одним битом на пиксель, что

было восьмикратным улучшением по сравнению с входными данными.

ПРЕДОСТЕРЕЖЕНИЕ

Несмотря на многочисленные успешные применения обратного

распространения, оно не является панацеей. Больше всего неприятностей

приносит неопределенно долгий процесс обучения. В сложных задачах для

обучения сети могут потребоваться дни или даже недели, она может и вообще

не обучиться. Длительное время обучения может быть результатом

неоптимального выбора длины шага. Неудачи в обучении обычно

возникают по двум причинам: паралича сети и попадания в локальный

минимум.

Паралич сети

В процессе обучения сети значения весов могут в результате

коррекции стать очень большими величинами. Это может привести к

тому, что все или большинство нейронов будут функционировать при очень

больших значениях OUT, в области, где производная сжимающей функции

очень мала. Так как посылаемая обратно в процессе обучения ошибка

пропорциональна этой производной, то процесс обучения может практически

замереть. В теоретическом отношении эта проблема плохо изучена. Обычно

этого избегают уменьшением размера шага т), но это увеличивает время

обучения. Различные эвристики использовались для предохранения от

паралича или для восстановления после него, но пока что они могут

рассматриваться лишь как экспериментальные.

Локальные минимумы

Обратное распространение использует разновидность градиентного

спуска, т.е. осуществляет спуск вниз по поверхности ошибки,

непрерывно подстраивая веса в направлении к минимуму. Поверхность

ошибки сложной сети сильно изрезана и состоит из холмов, долин,

складок и оврагов в пространстве высокой размерности. Сеть может попасть

в локальный минимум (неглубокую долину), когда рядом имеется гораздо

более глубокий минимум. В точке локального минимума все направления

ведут вверх, и сеть неспособна из него выбраться. Статистические

методы обучения могут помочь избежать этой ловушки, но они медленны.

В [10] предложен метод, объединяющий статистические методы машины Коши

с градиентным спуском обратного распространения и приводящий к системе,

которая находит глобальный минимум, сохраняя высокую скорость обратного

распространения. Это обсуждается в гл. 5.

Размер шага

Внимательный разбор доказательства сходимости в [7] показывает,

что коррекции весов предполагаются бесконечно малыми. Ясно, что это

неосуществимо на практике, так как ведет к бесконечному времени

обучения. Размер шага должен браться конечным, и в этом вопросе

приходится опираться только на опыт. Если размер шага очень мал, то

сходимость слишком медленная, если же очень велик, то может возникнуть

паралич или постоянная неустойчивость. В [II] описан адаптивный алгоритм

выбора шага, автоматически корректирующий размер шага в процессе

обучения.

Временная неустойчивость

Если сеть учится распознавать буквы, то нет смысла учить Б, если

при этом забывается А. Процесс обучения должен быть таким, чтобы сеть

обучалась на всем обучающем множестве без пропусков того, что уже

выучено. В доказательстве сходимости [7] это условие выполнено, но

требуется также, чтобы сети предъявлялись все векторы обучающего

множества прежде, чем выполняется коррекция весов. Необходимые

изменения весов должны вычисляться на всем множестве, а это требует

дополнительной памяти; после ряда таких обучающих циклов веса сойдутся к

минимальной ошибке. Этот метод может оказаться бесполезным, если сеть

находится в постоянно меняющейся внешней среде, так что второй раз

один и тот же вектор может уже не повториться. В этом случае

процесс обучения может никогда не сойтись, бесцельно блуждая или сильно

осциллируя. В этом смысле обратное распространение не похоже на

биологические системы. Как будет указано в гл.8 это несоответствие

(среди прочих) привело к системе ART , принадлежавшей Гроссбергу.

Глава 4 Сети встречного распространения

ВВЕДЕНИЕ В СЕТИ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ

Возможности сети встречного распространения, разработанной в [5-

7], превосходят возможности однослойных сетей. Время же обучения по

сравнению с обратным распространением может уменьшаться в сто раз.

Встречное распространение не столь общо, как обратное распространение, но

оно может давать решение в тех приложениях, где долгая обучающая

процедура невозможна. Будет показано, что помимо преодоления

ограничений других сетей встречное распространение обладает

собственными интересными и полезными свойствами. Во встречном

распространении объединены два хорошо известных алгоритма:

самоорганизующаяся карта Кохонена [8] и звезда Гроссберга [2-4] (см.

приложение Б). Их объединение ведет к свойствам, которых нет ни у

одного из них в отдельности. Методы, которые подобно встречному

распространению, объединяют различные сетевые парадигмы как строительные

блоки, могут привести к сетям, более близким к мозгу по архитектуре,

чем любые другие однородные структуры. Похоже, что в мозгу именно

каскадные соединения модулей различной специализации позволяют

выполнять требуемые вычисления. Сеть встречного распространения

функционирует подобно столу справок, способному к обобщению. В

процессе обучения входные векторы ассоциируются с соответствующими

выходными векторами. Эти векторы могут быть двоичными, состоящими из

нулей и единиц, или непрерывными. Когда сеть обучена, приложение

входного векторе приводит к требуемому выходному вектору. Обобщающая?

способность сети позволяет получать правильный выxoд даже при

приложении входного вектора, который являете; неполным или слегка

неверным. Это позволяет использовать данную сеть для распознавания

образов, восстановления образов и усиления сигналов.

СТРУКТУРА СЕТИ

На рис. 4.1 показана упрощенная версия прямого действия сети

встречного распространения. На нем иллюстрируются функциональные свойства

этой парадигмы. Полная двунаправленная сеть основана на тех же

принципах, она обсуждается в этой главе позднее. Нейроны слоя 0

(показанные кружками) служат лишь точками разветвления и не выполняют

вычислений. Каждый нейрон слоя 0 соединен с каждым нейроном слоя 1

(называемого слоем Кохонена) отдельным весом wmn . Эти веса в целом

рассматриваются как матрица весов W. Аналогично, каждый нейрон в слое

Кохонена (слое 1) соединен с каждым нейроном в слое Гроссберга (слое 2)

весом vnp . Эти веса образуют матрицу весов V. Все это весьма

напоминает другие сети, встречавшиеся в предыдущих главах, различие,

однако, состоит в операциях, выполняемых нейронами Кохонена и Гроссберга.

Как и многие другие сети, встречное распространение функционирует

в двух режимах: в нормальном режиме, при котором принимается входной

вектор Х и выдается выходной вектор Y, и в режиме обучения, при

котором подается входной вектор и веса корректируются, чтобы дать

требуемый выходной вектор.

[pic]

НОРМАЛЬНОЕ ФУНКЦИОНИРОВАНИЕ

Слои Кохоненна

В своей простейшей форме слой Кохонена функционирует в духе

«победитель забирает все», т.е. для данного входного вектора один и

только один нейрон Кохонена выдает на выходе логическую единицу,

все остальные выдают ноль. Нейроны Кохонена можно воспринимать как

набор электрических лампочек, так что для любого входного вектора

загорается одна из них. Ассоциированное с каждым нейроном Кохонена

множество весов соединяет его с каждым входом. Например, на рис.4.1

нейрон Кохонена К1 имеет веса w11, w21, ...,wm1 составляющие

весовой вектор W1. Они соединяются через входной слой с входными

сигналами х1, х2 , ...,хm, составляющими входной вектор X. Подобно

нейронам большинства сетей выход NET каждого нейрона Кохонена является

просто суммой взвешенных входов. Это может быть выражено следующим

образом:

NETj = w1j x1+ w2j x2 + … + wm j xm (4.1)

где NETj - это выход NET-го нейрона Кохонена j ,

NETj = [pic] (4.2)

или в векторной записи N = XW (4.3)

где N - вектор выходов NET слоя Кохонена. Нейрон Кохонена с

максимальным значением NET является «победителем». Его выход равен

единице, у остальных он равен нулю.

Слой Гроссберга

Слой Гроссберга функционирует в сходной манере. Его выход NET

является взвешенной суммой выходов k1 ,k2, ..., kn слоя Кохонена,

образующих вектор К. Вектор соединяющих весов, обозначенный через

V, состоит из весов v11,v21 , ..., vnp . Тогда выход NET каждого

нейрона Гроссберга есть

[pic] (4.4)

где NETj - выход j-го нейрона Гроссберга, или в векторной форме

Y = KV, (4.5)

где Y - выходной вектор слоя Гроссберга, К - выходной вектор слоя

Кохонена, V - матрица весов слоя Гроссберга. Если слой Кохонена

функционирует таким образом, что лишь у одного нейрона величина NET

равна единице, а у остальных равна нулю, то лишь один элемент вектора К

отличен от нуля, и вычисления очень просты. Фактически каждый нейрон

слоя Гроссберга лишь выдает величину веса, который связывает этот

нейрон с единственным ненулевым нейроном Кохонена.

ОБУЧЕНИЕ СЛОЯ КОХОНЕНА

Слой Кохонена классифицирует входные векторы в группы схожих.

Это достигается с помощью такой подстройки весов слоя Кохонена, что

близкие входные векторы активируют один и тот же нейрон данного

слоя. Затем задачей слоя Гроссберга является получение требуемых

выходов. Обучение Кохонена является самообучением, протекающим без

учителя. Поэтому трудно (и не нужно) предсказывать, какой именно нейрон

Кохонена будет активироваться для заданного входного вектора. Необходимо

лишь гарантировать, чтобы в результате обучения разделялись несхожие

входные векторы.

Предварительная обработка входных векторов

Весьма желательно (хотя и не обязательно) нормализовать входные

векторы перед тем, как предъявлять их сети. Это выполняется с помощью

деления каждой компоненты входного вектора на длину вектора. Эта

длина находится извлечением квадратного корня из суммы квадратов

компонент вектора. В алгебраической записи

[pic] (4.6)

Это превращает входной вектор в единичный вектор с тем же самым

направлением, т.е. в вектор единичной длины в n-мерном пространстве.

Уравнение (4.6) обобщает хорошо известный случай двух измерений,

когда длина вектора равна гипотенузе прямоугольного треугольника,

образованного его х и у компонентами, как это следует из известной

теоремы Пифагора. На рис. 4.2а такой двумерный вектор V

представлен в координатах х-у, причем координата х равна четырем, а

координата х - трем. Квадратный корень из суммы квадратов этих

компонент равен пяти. Деление каждой компоненты V на пять дает

вектор V' с компонентами 4/5 и 3/5, где V' указывает в том же

направлении, что и V, но имеет единичную длину. На рис. 4.26

показано несколько единичных векторов. Они оканчиваются в точках

единичной окружности (окружности единичного радиуса), что имеет место,

когда у сети лишь два входа. В случае трех входов векторы

представлялись бы стрелками, оканчивающимися на поверхности единичной

сферы. Эти представления могут быть перенесены на сети, имеющие

произвольное число входов, где каждый входной вектор является стрелкой,

оканчивающейся на поверхности единичной гиперсферы (полезной

абстракцией, хотя и не допускающей непосредственной визуализации).

[pic]

При обучении слоя Кохонена на вход подается входной вектор, и

вычисляются его скалярные произведения с векторами весов, связанными со

всеми нейронами Кохонена. Нейрон с максимальным значением скалярного

произведения объявляется «победителем» и его веса подстраиваются. Так

как скалярное произведение, используемое для вычисления величин NET,

является мерой сходства между входным вектором и вектором весов, то

Страницы: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16