Нейрокомпьютерные системы

зависимости реакции системы от позиции образов во входном поле. Для

достижения этого каждый комплексный узел получает в качестве входного

образа выходы набора простых узлов из соответствующей плоскости того же

слоя. Эти простые узлы покрывают непрерывную область простой плоскости,

называемую рецептивной областью комплексного узла. Возбуждение любого

простого узла в этой области является достаточным для возбуждения

данного комплексного узла. Таким образом, комплексный узел реагирует на

тот же образ, что и простые узлы в соответствующей ему плоскости, но он

менее чувствителен к позиции образа, чем любой из них. Таким образом,

каждый слой комплексных узлов реагирует на более широкую область

входного образа, чем это делалось в предшествующих слоях. Эта

прогрессия возрастает линейно от слоя к слою, приводя к требуемому

уменьшению позиционной чувствительности системы в целом.

Обобщение

Каждый нейрон в слое, близком к входному, реагирует на определенные

образы в определенном месте, такие, как угол с определенной ориентацией

в заданной позиции. Каждый слой в результате этого имеет более

абстрактную, менее специфичную реакцию по сравнению с предшествующим;

выходной слой реагирует на полные образы, показывая высокую степень

независимости от их положения, размера и ориентации во входном поле.

При использовании в качестве классификатора комплексный узел

выходного слоя с наибольшей реакцией реализует выделение

соответствующего образа во входном поле. В идеальном случае это

выделение нечувствительно к позиции, ориентации, размерам или другим

искажениям.

Вычисления

Простые узлы в неокогнитроне имеют точно такие же характеристики,

что и описанные для когнитрона, и используют те же формулы для

определения их выхода. Здесь они не повторяются. Тормозящий узел

вырабатывает выход, пропорциональный квадратному корню из взвешенной суммы

квадратов его входов. Заметим, что входы в тормозящий узел идентичны

входам соответствующего простого узла и область включает область ответа

во всех комплексных плоскостях. В символьном виде

[pic]

где v - выход тормозящего узла; i - область над всеми комплексными

узлами, с которыми связан тормозящий узел; bi - вес i-й синаптической

связи от комплексного узла к тормозящему узлу; иi- выход i-го

комплексного узла. Веса Ь. выбираются монотонно уменьшающимися с

увеличением расстояния от центра области реакции, при этом сумма их

значений должна быть равна единице.

Обучение

Только простые узлы имеют настраиваемые веса. Это веса связей,

соединяющих узел с комплексными узлами в предыдущем слое и имеющих

изменяемую силу синапсов, настраиваемую таким образом, чтобы выработать

максимальную реакцию на определенные стимулирующие свойства. Некоторые из

этих синапсов являются возбуждающими и стремятся увеличить выход узлов,

в то время как другие являются тормозящими и уменьшают выход узла.

[pic]

Рис. 10.11. Связи от сложных клеток одного уровня к простым клеткам

следующего уровня.

На рис. 10.11 показана полная структура синаптических связей между

простым узлом и комплексными узлами в предшествующем слое. Каждый

простой узел реагирует только на набор комплексных узлов внутри своей

рецептивной области. Кроме того, существует тормозящий узел, реагирующий

на те же самые комплексные узлы. Веса синапсов тормозящего узла не

обучаются; они выбираются таким образом, чтобы узел реагировал на

среднюю величину выходов всех узлов, к которым он подключен.

Единственный тормозящий синапс от тормозящего узла к простому узлу

обучается, как и другие синапсы. Обучение без учителя. Для

обучения неокогнитрона на вход сети подается образ, который необходимо

распознать, и веса синапсов настраиваются слой за слоем, начиная с

набора простых узлов, ближайших ко входу. Величина синаптической

связи от каждого комплексного узла к данному простому узлу

увеличивается тогда и только тогда, когда удовлетворяются следующие два

условия: 1) комплексный узел реагирует; 2) простой узел реагирует

более сильно, чем любой из его соседних (внутри его области

конкуренции). Таким образом, простой узел обучается реагировать

более сильно на образы, появляющиеся наиболее часто в его рецептивной

области, что соответствует результатам исследований, полученных в

экспериментах с котятами. Если распознаваемый образ отсутствует на

входе, тормозящий узел предохраняет от случайного возбуждения.

Математическое описание процесса обучения и метод реализации

латерального торможения аналогичны описанным для когнитрона, поэтому

здесь они не повторяются. Необходимо отметить, что выходы простых и

комплексных узлов являются аналоговыми, непрерывными и линейными и

что алгоритм обучения предполагает их неотрицательность. Когда

выбирается простой узел, веса синапсов которого должны быть

увеличены, он рассматривается как представитель всех узлов в

плоскости, вызывая увеличение их синаптических связей на том же

самом образе. Таким образом, все узлы в плоскости обучаются

распознавать одни и те же свойства, и после обучения будут делать

это независимо от позиции образа в поле комплексных узлов в

предшествующем слое. Эта система имеет ценную способность к

самовосстановлению. Если данный узел выйдет из строя, будет найден

другой узел, реагирующий более сильно, и этот узел будет обучен

распознаванию входного образа, тем самым перекрывая действия своего

отказавшего товарища.

Обучение с учителем. В работах [3] и [8] описано самоорганизующееся

неуправляемое обучение. Наряду с этими впечатляющими

результатами, были опубликованы отчеты о других экспериментах,

использующих обучение с учителем [9]. Здесь требуемая реакция

каждого слоя заранее определяется экспериментатором. Затем веса

настраиваются с использованием обычных методов для выработки

требуемой реакции. Например, входной слой настраивался для

распознавания отрезков линий в различных ориентациях во многом

аналогично первому слою обработки зрительной коры. Последующие слои

обучались реагировать на более сложные и абстрактные свойства до тех

пор, пока в выходном слое требуемый образ не будет выделен. При

обработке сети, превосходно распознающей рукописные арабские цифры,

экспериментаторы отказались от достижения биологического правдоподобия,

обращая внимание только на достижение максимальной точности

результатов системы.

Реализация обучения. В обычных конфигурациях рецептивное поле

каждого нейрона возрастает при переходе к следующему слою. Однако

количество нейронов в слое будет уменьшаться при переходе от входных к

выходным слоям. Наконец, выходной слой имеет только один нейрон в

плоскости сложных узлов. Каждый такой нейрон представляет определенный

входной образ, которому сеть была обучена. В процессе классификации

входной образ подается на вход неокогнитрона и вычисляются выходы слой

за слоем, начиная с входного слоя. Так как только небольшая часть

входного образа подается на i вход каждого простого узла входного

слоя, некоторые простые узлы регистрируют наличие характеристик, которым

они обучены, и возбуждаются. В следующем слое выделяются более сложные

характеристики как определенные комбинации выходов комплексных

узлов. Слой за слоем свойства комбинируются во все возрастающем

диапазоне; выделяются более общие характеристики и уменьшается

позиционная чувствительность. В идеальном случае только один

нейрон выходного слоя должен возбудиться. В действительности обычно

будет возбуждаться несколько нейронов с различной силой, и входной

образ должен быть определен с учетом соотношения их выходов. Если

используется сила латерального торможения, возбуждаться будет только

нейрон с максимальным выходом. Однако это часто является не лучшим

вариантом. На практике простая функция от небольшой группы наиболее

сильно возбужденных нейронов будет часто улучшать точность классификации.

ЗАКЛЮЧЕНИЕ

Как когнитрон, так и неокогнитрон производят большое впечатление с

точки зрения точности, с которой они моделируют биологическую нервную

систему. Тот факт, что эти системы показывают результаты, имитирующие

некоторые аспекты способностей человека к обучению и познанию, наводит

на мысль, что наше понимание функций мозга приближается к уровню,

способному принести практическую пользу. Неокогнитрон является

сложной системой и требует существенных вычислительных ресурсов. По

этим причинам кажется маловероятным, что такие системы реализуют

оптимальное инженерное решение сегодняшних проблем распознавания

образов. Однако с 1960 г. стоимость вычислений уменьшалась в два раза

каждые два-три года, тенденция, которая, по всей вероятности,

сохранится в течение как минимум ближайших десяти лет. Несмотря на то,

что многие подходы, казавшиеся нереализуемыми несколько лет назад,

являются общепринятыми сегодня и могут оказаться тривиальными через

несколько лет, реализация моделей неокогнитрона на универсальных

компьютерах является бесперспективной. Необходимо достигнуть

тысячекратных улучшений стоимости и производительности компьютеров за

счет специализации архитектуры и внедрения технологии СБИС, чтобы

сделать неокогнитрон практической системой для решения сложных проблем

распознавания образов, однако ни эта, ни какая- либо другая модель

искусственных нейронных сетей не должны отвергаться только на основании

их высоких вычислительных требований.

Приложение А Биологические нейронные сети

ЧЕЛОВЕЧЕСКИЙ МОЗГ: БИОЛОГИЧЕСКАЯ МОДЕЛЬ ДЛЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

Структура искусственных нейронных сетей была смоделирована как

результат изучения человеческого мозга. Как мы отмечали выше, сходство

между ними в действительности очень незначительно, однако даже эта скромная

эмуляция мозга приносит ощутимые результаты. Например, искусственные

нейронные сети имеют такие аналогичные мозгу свойства, как способность

обучаться на опыте, основанном на знаниях, делать абстрактные умозаключения

и совершать ошибки, что является более характерным для человеческой мысли,

чем для созданных человеком компьютеров.

Учитывая успехи, достигнутые при использовании грубой модели мозга,

кажется естественным ожидать дальнейшего продвижения вперед при

использовании более точной модели. Разработка такой модели требует

детального понимания структуры и функций мозга. Это в свою очередь требует

определения точных характеристик нейронов, включая их вычислительные

элементы и элементы связи. К сожалению, информация не является полной;

большая часть мозга остается тайной для понимания. Основные исследования

проведены в области идентификации функций мозга, однако и здесь отсутствуют

подходы, отличающиеся от чисто «схематических». Биохимия нейронов,

фундаментальных строительных блоков мозга, очень неохотно раскрывает свои

секреты. Каждый год приносит новую информацию относительно

электрохимического поведения нейронов, причем всегда в направлении

раскрытия новых уровней сложности. Ясно одно: нейрон является намного более

сложным, чем представлялось несколько лет назад, и нет полного понимания

процесса его функционирования.

Однако, несмотря на наши ограниченные познания, мозг может быть

использован в качестве ценной модели в вопросах развития искусственных

нейронных сетей. Используя метод проб и ошибок, эволюция, вероятно, привела

к структурам, оптимальным образом пригодным для решения проблем, более

характерных для человека. Кажется маловероятным, что мы получим более

хорошее решение. Тщательно моделируя мозг, мы продвигаемся в исследовании

природы и в будущем будем, вероятно, воспроизводить больше возможностей

мозга.

Данное приложение содержит штриховые наброски современных знаний

относительно структуры и функций мозга. Хотя изложение этих сведений очень

краткое, мы пытались сохранить точность. Следующие разделы иллюстрируют

текст данной работы и, возможно, будут стимулировать интерес к

биологическим системам, что приведет к развитию искусственных нейронных

сетей.

ОРГАНИЗАЦИЯ ЧЕЛОВЕЧЕСКОГО МОЗГА

Человеческий мозг содержит свыше тысячи миллиардов вычислительных

элементов, называемых нейронами. Превышая по количеству число звезд в

Млечном Пути галактики, эти нейроны связаны сотнями триллионов нервных

нитей, называемых синапсами. Эта сеть нейронов отвечает за все явления,

которые мы называем мыслями, эмоциями, познанием, а также и за совершение

мириадов сенсомоторных и автономных функций. Пока мало понятно, каким

образом все это происходит, но уже исследовано много вопросов

физиологической структуры и определенные функциональные области постепенно

изучаются исследователями.

Мозг также содержит густую сеть кровеносных сосудов, которые

обеспечивают кислородом и питательными веществами нейроны и другие ткани.

Эта система кровоснабжения связана с главной системой кровообращения

посредством высокоэффективной фильтрующей системы, называемой

гематоэнцефалическим барьером, этот барьер является механизмом защиты,

который предохраняет мозг от возможных токсичных веществ, находящихся в

крови.

Защита обеспечивается низкой проницаемостью кровеносных сосудов мозга,

а также плотным перекрытием глиальных клеток, окружающих нейроны. Кроме

этого, глиальные клетки обеспечивают структурную основу мозга. Фактически

весь объем мозга, не занятый нейронами и кровеносными сосудами, заполнен

глиальными клетками.

Гематоэнцефалический барьер является основой для обеспечения

сохранности мозга, но он значительно осложняет лечение терапевтическими

лекарствами. Он также мешает исследованиям, изучающим влияние различных

химических веществ на функции мозга. Лишь небольшая часть лекарств,

созданных с целью влияния на мозг, может преодолевать этот барьер.

Лекарства состоят из небольших молекул, способных проникать через крошечные

поры в кровеносных сосудах. Чтобы воздействовать на функции мозга, они

должны затем пройти через глиальные клетки или раствориться в их мембране.

Лишь некоторые молекулы интересующих нас лекарств удовлетворяют этим

требованиям; молекулы многих терапевтических лекарств задерживаются этим

барьером.

Мозг является основным потребителем энергии тела. Включая в себя лишь

2% массы тела, в состоянии покоя он использует приблизительно 20% кислорода

тела. Даже когда мы спим, расходование энергии продолжается. В

действительности существуют доказательства возможности увеличения

расходования энергии во время фазы сна, сопровождаемой движением глаз.

Потребляя только 20 Вт, мозг с энергетической точки зрения невероятно

эффективен. Компьютеры с одной крошечной долей вычислительных возможностей

мозга потребляют много тысяч ватт и требуют сложных средств для охлаждения,

предохраняющего их от температурного саморазрушения.

Нейрон

Нейрон является основным строительным блоком нервной системы. Он является

клеткой, подобной всем другим клеткам тела; однако определенные

существенные отличия позволяют ему выполнять все вычислительные функции и

функции связи внутри мозга.

Функционально дендриты получают сигналы от других клеток через

контакты, называемые синапсами. Отсюда сигналы проходят в тело клетки, где

они суммируются с другими такими же сигналами. Если суммарный сигнал в

течение короткого промежутка времени является достаточно большим, клетка

возбуждается, вырабатывая в аксоне импульс, который передается на следующие

клетки. Несмотря на очевидное упрощение, эта схема функционирования

объясняет большинство известных процессов мозга.

[pic]

Тело ячейки. Нейроны в мозгу взрослого человека не восстанавливаются;

они отмирают. Это означает, что все компоненты должны непрерывно

заменяться, а материалы обновляться по мере необходимости. Большинство этих

процессов происходит в теле клетки, где изменение химических факторов

приводит к большим изменениям сложных молекул. Кроме этого, тело клетки

управляет расходом энергии нейрона и регулирует множество других процессов

в клетке. Внешняя мембрана тела клетки нейрона имеет уникальную способность

генерировать нервные импульсы (потенциалы действия), являющиеся жизненными

функциями нервной системы и центром ее вычислительных способностей.

[pic]

Были идентифицированы сотни типов нейронов, каждый со своей характерной

формой тела клетки (рис. А.2), имеющей обычно от 5 до 100 мкм в диаметре. В

настоящее время этот факт рассматривается как проявление случайности,

Страницы: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16