НЕЙРОМОДЕЛЬНЫЙ ПОДХОД К ПОСТРОЕНИЮ ИНТЕЛЛЕКТУАЛЬНЫХ СИСТЕМ



страница5/7
Дата01.06.2016
Размер2.34 Mb.
ТипУчебное пособие
1   2   3   4   5   6   7

7. НЕЙРОМОДЕЛЬНЫЙ ПОДХОД К ПОСТРОЕНИЮ ИНТЕЛЛЕКТУАЛЬНЫХ СИСТЕМ

7.1. Биологические основы нейромодельного подхода
Первые исследования по анатомической организации мозга связаны с работами испанского гистолога Сантьяго Рамон-и-Кахаля, датируемыми 1911 годом. Именно он, используя предложенный итальянским гистологом Камилло Гольджи метод окраски нейронов (нервных клеток) солями серебра (серебро избирательно проникает только в нейроны), выявил клеточную (нейронную) структуру мозга.

Нейроны (термин предложил Вильгельм фон Вальдейер) представляют собой возбудимые клетки, являющиеся основными функциональными и структурными единицами центральной нервной системы. Они принимают поступающие на них из внешней среды или от других возбудимых клеток сигналы (возбуждения) и, в зависимости от интенсивности этих воздействий, генерируют нервные импульсы, которые передают на другие нейроны, мышцы, железы. Именно эти клетки обеспечивают способность мозга воспринимать и обрабатывать информацию.

Головной мозг человека содержит порядка 20 млрд нейронов и 300 млрд межнейронных соединений. Он состоит из левого и правого полушарий, на поверхности которых находится тонкий слой серого вещества. Это кора головного мозга (кортекс), состоящая в основном из нейронов. Кортекс ответствен за интеллектуальные, творческие процессы (мышление), протекающие в человеческом мозге.

Левое полушарие мозга реализует аналитический способ обработки информации, суть которого состоит в разложении познаваемого целого на элементарные составляющие известной природы. Оно работает подобно цифровому компьютеру, реализуя линейный (последовательный) способ действий над буквенно-цифровой информацией. При этом предполагается наличие определенного языка, на котором происходит мышление.

Правое полушарие реализует синтетический способ обработки информации, соединяя разрозненные сведения в единый образ. Оно действует как аналоговый компьютер, охватывая всю ситуацию сразу и реализуя существенный параллелизм. Правое полушарие мыслит на «языке» образов, структур. Происходит это значительно быстрее описания ситуации словами (аналитическим способом). Например, знакомое лицо человек распознает за 100–120 мс, цифровой компьютер тратит на это минуты и даже десятки минут (при наличии существенных помех).



Нейрон состоит из тела (сомы) и отходящих от него отростков – дендритов и аксона. Сома содержит обычные для большинства клеток внутриклеточные компоненты: ядро и клеточные части, реализующие обмен веществ и синтез белков. Дендриты представляют собой сравнительно короткие ветвистые входные (афферентные) отростки. Они воспринимают идущие к нейрону по многочисленным волокнам импульсы (возбуждения). Аксон – это длинный, тонкий, мало ветвящийся (имеет концевые разветвления) выходной (эфферентный) отросток нейрона. Он передает нервные импульсы от нейрона к другим нервным клеткам, мышцам, железам. Пучки аксонов образуют нервные волокна.

Типичная структура нейрона представлена на рис. 10 (в верхней его части).

Следует заметить, что некоторые составляющие структуры нейрона, изображенные на рис. 10, оставлены без пояснения, т.к. не имеют принципиального значения для дальнейшего изложения материала. О структуре синапса, представленной в нижней части рисунка, речь пойдет несколько позже.

Выявлено широкое разнообразие нейронов, различающихся формой тела, разветвленностью дендритной части и длиной аксона. Различают нейроны трех классов:



  • сенсорные (чувствительные, афферентные, рецепторные) нейроны, получающие информацию из внешней среды или от рецепторных клеток (фоторецепторов, механорецепторов и т.д.);

  • связующие (вставочные, ассоциативные) нейроны (интернейроны), которые связывают один нейрон с другим;

  • моторные (эффекторные, эфферентные) нейроны, посылающие свои импульсы к исполнительным органам (мышцам, железам).

Ядро




Рис. 10. Типичная структура нейрона и синапса

Головной мозг (высший отдел центральной нервной системы) почти целиком состоит из интернейронов.

Различаясь строением, все нейроны одинаково проводят информацию. Они принимают входные сигналы, перерабатывают их и в виде нервных импульсов передают к эффекторным нервным окончаниям. Информация передается по аксонам в виде электрических импульсов (потенциалов действия) длительностью порядка 1 мс и амплитудой порядка 100 мВ.

Сигнал, проходящий по аксону нервной клетки, формируется сложным образом.

В состоянии покоя между внутренним содержимым нейрона и наружным раствором существует разность потенциалов (мембранный потенциал покоя) порядка 60—90 мВ, локализованная на поверхностной мембране. Внутренняя сторона мембраны заряжена отрицательно по отношению к наружной. Это обусловлено избирательной проницаемостью покоящейся мембраны для положительных ионов калия (К+), концентрация которых в протоплазме клетки в 50 раз выше, чем во внеклеточной жидкости. Диффузия К+ из клетки приводит к положительному заряду наружной стороны мембраны. При этом внутренняя сторона оказывается заряженной отрицательно. В то же время проницаемость покоящейся мембраны для положительных ионов натрия (Nа+) примерно в 100 раз ниже, чем для К+. И хотя Nа+ во внеклеточной жидкости в 10 раз больше, чем в протоплазме, их диффузия внутрь клетки мала, поэтому особо не влияет на потенциал покоя.

Раздражители, действующие на клетку, деполяризуют мембрану, что приводит к увеличению ее проницаемости для Nа+. Поток натрия внутрь клетки еще сильнее деполяризует мембрану, увеличивая ее проницаемость и т.д. После некоторого критического (порогового) значения потенциала этот процесс приобретает взрывной характер – возникает потенциал действия. Его восходящая фаза на короткое время извращает мембранный потенциал (перебрасывает его знак на противоположный), после чего наступает нисходящая фаза, обусловленная падением проницаемости для Nа+ и ростом проницаемости для К+. Полное восстановление потенциала покоя наступает после окончания следовой деполяризации или следовой гиперполяризации мембраны, продолжительность которых существенно превосходит длительность пика.

Соотношение концентраций Nа+ и К+ внутри и вне клетки поддерживается специальным механизмом – «натриево-калиевым насосом», выталкивающим ионы натрия из клетки и нагнетающим ионы калия внутрь клетки.

Дендритная область и тело нейрона действуют совместно как интегрирующая система, накапливающая некоторую последовательность входных сигналов. В результате создается предпусковое состояние в области у основания аксона, называемой триггерной (пусковой) областью. Это наиболее возбудимый участок поверхностной мембраны нейрона, служащий местом возникновения нервного импульса. При достижении мембранным потенциалом в какой-то точке триггерной области порогового значения возникает импульс, распространяющийся по аксону без затухания. Нервный импульс – это нелинейная реакция нейрона на стимул, поддерживаемая за счет энергетических ресурсов аксона. Это движущаяся зона электрической деполяризации мембраны, которая распространяется по аксону со скоростью до 120 м/с благодаря токам действия, возникающим между возбужденным (деполяризованным) и соседним с ним покоящимся участками мембраны. Другими словами, нервный импульс распространяется по аксону путем регенерации потенциала действия.

После прохождения импульса следует период абсолютной рефрактерности, в течение которого нейрон не может быть вновь возбужден ни при каком воздействии входных сигналов (эквивалентно заданию бесконечно большого порога). Суммарная длительность нервного импульса и периода абсолютной рефрактерности составляет около 1,5 мс (соответствует предельной частоте активизации нейрона порядка 666 Гц). Затем следует период относительной рефрактерности (несколько миллисекунд), в течение которого порог постепенно снижается до нормального уровня.

Помимо рассмотренного механизма, в дендритах и теле клетки имеет место и другое взаимодействие полей, создаваемых потенциалами поступающих импульсов и распространяющихся по окружающей поверхности мембраны с некоторым затуханием. В зависимости от частоты поступающих импульсов и состояния воспринимающей мембраны в данный момент времени может происходить повышение ее чувствительности или прогрессирующее понижение. Таким образом, различные участки поверхностной мембраны оказываются специализированными каждый особым образом. Они по-разному реагируют на приходящие импульсы, а некоторые из них могут действовать как источники внутренней генерации сигналов и приводить к спонтанной активности нейрона.

Единственный путь общения (взаимодействия) нейронов друг с другом – синапсы. Синапс (от греческого synapsis – соединение, связь) – это специализированный функциональный контакт между возбудимыми клетками, служащий для передачи и преобразования сигналов (нижняя часть рис. 10). Синапс включает пресинаптическую часть (синаптическое окончание, терминаль), синаптическую щель (порядка 20 нм), разделяющую контактирующие клетки, и постсинаптическую часть, т.е. участок клетки, к которому прилежит синаптическое окончание.

Межнейронные синапсы могут быть образованы окончаниями аксонов одних нейронов и телом, дендритами или аксонами других нейронов. Соответственно различают аксо-соматические, аксо-дендритные и аксо-аксонные синапсы. Ввиду преобладания поверхности дендритов аксо-дендритные синапсы наиболее многочисленны.

Механизм передачи через синапс может иметь химическую, физическую или смешанную природу. Наиболее распространены синапсы, реализующие связи между нейронами с помощью химических передатчиков – нейромедиаторов. Большинство нейромедиаторов – аминокислоты и их производные. Молекулы нейромедиатора выделяются из окончания аксона в синаптическую щель. Это происходит при достижении потенциалом действия окончания аксона. Высвободившиеся молекулы нейромедиатора связываются с рецепторами в постсинаптической мембране, изменяя ее проницаемость. При этом имеет место возбуждающий эффект, если мембрана деполяризуется, и тормозной, если мембранный потенциал стабилизируется на уровне потенциала покоя, либо происходит гиперполяризация мембраны. Для каждого нейрона характерен свой специфический тип медиатора.

От тела большинства нейронов отходит много дендритов, с рецепторной мембраной которых контактирует множество окончаний аксонов других нейронов. Дендриты рецепторных нейронов способны трансформировать энергию внешнего раздражения в локальную импульсную активность. На мембране дендритов центральных нейронов происходит пространственно-временная суммация возбуждающих и тормозных постсинаптических потенциалов. В результате формируются нервные импульсы.

Каждый синапс в отдельности лишь незначительно влияет на активность нейрона. Для установки интенсивности формирования нервного импульса нейрон должен непрерывно интегрировать до 1000 синаптических входов.

Информация о записанных в памяти образах содержится в свойствах межнейронных синаптических контактов. Распознавание образа можно рассматривать как параллельный нейронный динамический процесс в сети от начального состояния, соответствующего входному образу, к конечному стабильному состоянию, отвечающему идеальному записанному образу.
7.2. Концепция искусственной нейронной сети
Согласно определению, данному в [23], искусственная нейронная сеть (ИНС) – это существенно параллельно распределенный процессор, обладающий способностью к приобретению, сохранению и репрезентации опытного знания и сходный с мозгом в двух аспектах:


  • знание приобретается сетью в процессе обучения;

  • для сохранения знания используются силы межнейронных связей (синаптические веса).

Составными элементами ИНС являются спецпроцессоры двух видов:

  • искусственные нейроны (или просто нейроны), суммирующие поступающие на их входы сигналы и преобразующие смещенную на величину порога сумму в соответствии с заданной активационной функцией нейрона;

  • связи между нейронами, реализующие межнейронные взаимодействия в виде сигналов, умножаемых на синаптические веса связей.

Схематическое представление модели нейрона с входными связями изображено на рис. 11, где использованы следующие обозначения:

— сигналы, поступающие на входные связи нейрона;

— синаптические веса входных связей;

— порог срабатывания нейрона;

;

— активационная функция нейрона, реализующая тот или иной вид преобразования суммы взвешенных входных сигналов, смещенной на величину порога активационной функции .

Графические зависимости некоторых из возможных видов активационных функций приведены на рис. 12.

Рис. 12а представляет линейную активационную функцию

.

На рис. 12б изображена линейная с насыщением активационная функция



,

имеющая настроечный параметр .

На рис. 12в представлена ступенчатая активационная функция (ее часто обозначают )

.

Рис. 12 (продолжение). Некоторые из возможных видов активационных функций


Сигмоидальная активационная функция, описываемая выражением ,

изображена на рис. 12г. При малых значениях настроечного параметра функция является более пологой, нежели при больших, приближающих ее к единичной ступеньке.


Рис. 12д представляет радиально-симметричную активационную функцию

,

с настроечным параметром .


На рис. 12е приведена пороговая активационная функция
,

имеющая два настроечных параметра: и .

В нейронной сети между нейронами и могут быть установлены направленные связи и , каждой из которых присваиваются, соответственно, веса и (синаптические веса) (рис. 13).

Таким образом, объединяя нейроны между собой направленными связями, можно строить различные топологии (структуры) нейронных сетей и обучать их решению конкретных задач. Обучить ИНС – это значит подобрать такие значения синаптических весов ее межнейронных связей и, возможно, порогов и параметров активационных функций нейронов, при которых сеть приобретает способность выполнять желаемый вид преобразования.



7.3. Классификация искусственных нейронных сетей
Конкретные типы архитектур ИНС различаются [12, 19]:

  • характером входных сигналов;

  • структурой сети;

  • типом обучения.

По характеру входных сигналов сети могут быть бинарными или аналоговыми.

Бинарные сети принимают на свои входы сигналы, имеющие значения 0 или 1. Иногда рассматривают (как вариант бинарной сети) биполярные сети, оперирующие с сигналами, принимающими значения 1 или -1.

Аналоговые сети работают с сигналами из непрерывного спектра значений. Например, с нормированными сигналами, принимающими значения на отрезке [-1, 1].

По характеру структуры нейронные сети можно разбить на два больших класса, принципиально отличающихся друг от друга признаком отсутствия или наличия в сети межнейронных обратных связей:



  • нейронные сети прямого распространения;

  • рекуррентные нейронные сети.

Нейронные сети прямого распространения обычно представляются в виде многослойных (в частном случае однослойных) структур, обладающих свойством прямонаправленности: каждый нейрон предыдущего слоя (начиная с входного слоя) может воздействовать только на нейроны последующих слоев и ни на какие другие.

Рекуррентные нейронные сети отличаются от сетей прямого распространения наличием в них обратных связей.

По типу обучения различают нейронные сети:



  • обучаемые с супервизором (с учителем);

  • обучаемые через самоорганизацию.

Обучение с учителем предполагает наличие множества обучающих шаблонов. Каждый шаблон ставит в соответствие конкретному входному воздействию на сеть (из множества возможных воздействий) требуемый от нее (желаемый) отклик. В процессе обучения настроечные параметры сети (синаптические веса межнейронных связей, пороги и, возможно, параметры активационных функций нейронов) подбираются таким образом, чтобы реальные отклики сети на входные воздействия, указанные в шаблонах, совпадали (с определенной степенью точности) с желаемыми. При достаточной мощности нейронной сети (в смысле количества слоев, числа нейронов в них) и множества обучающих шаблонов сеть приобретает способность правильно реагировать не только на входные воздействия из обучающей выборки, но и на другие допустимые незнакомые ей воздействия. В этом состоит свойство нейронной сети обобщать.

Обучение нейронной сети через самоорганизацию осуществляется без контроля со стороны учителя (множества обучающих шаблонов). Обучение осуществляется только по входным образам с использованием независимой от задачи меры качества ее представления, которому должна научиться нейронная сеть.

Рассмотренная классификация проведена только по основным признакам, характеризующим конкретные архитектуры нейронных сетей с точки зрения принципов их обучения и функционирования.
7.4. Персептроны
Многослойный персептрон представляет собой сеть прямого распространения с одним входным (сенсорным) слоем, одним выходным (моторным) слоем и одним или несколькими внутренними (скрытыми, связующими) слоями нейронов. Характерной его чертой является прямонаправленность: информация, преобразуясь, передается от входного слоя через скрытых слоев к выходному слою.

В стандартной (регулярной) топологии персептрона каждый нейрон слоя непосредственно воздействует с синаптическими весами на все нейроны следующего слоя и ни на какие другие ( – соответственно, число нейронов в слое и в слое ; и обозначают, соответственно, входной и выходной слои). Схема многослойного персептрона стандартной топологии представлена на рис. 14.


Модифицированные версии многослойного персептрона могут иметь нерегулярные связи между слоями (какие-то связи могут отсутствовать) и прямые (непосредственные) связи между нейронами несмежных слоев.

Входной слой персептрона выполняет функции приема и ретрансляции входных сигналов на нейроны первого скрытого слоя. Основное нелинейное преобразование сигналов происходит в скрытых слоях. Нейроны выходного слоя осуществляют суперпозицию взвешенных сигналов последнего скрытого слоя (имеют линейную активационную функцию) или выполняют нелинейное преобразование, как и нейроны скрытых слоев.



Обучение персептрона – это итеративный целенаправленный процесс изменения значений весов синаптических связей (и, возможно, порогов активационных функций нейронов), реализуемый «внешней» процедурой (алгоритмом обучения) с использованием тренировочных шаблонов (обучение с супервизором) до тех пор, пока сеть не приобретет желаемые свойства.

Тренировочный шаблон представляет собой пару векторов , один из которых – вектор известных входных сигналов, другой – вектор желаемых выходных сигналов. В процессе обучения векторы из тренировочного набора последовательно подаются на вход ИНС и для каждого из них оценивается ошибка между фактическим и желаемым откликом (выходом) сети . Затем определяется общая ошибка , на основании которой (а возможно, и с использованием данных о предыдущих итерациях) алгоритм обучения осуществляет модификацию значений настроечных параметров сети, направленную на уменьшение ошибки. Как вариант, модификация значений варьируемых параметров сети может осуществляться после оценки действия каждого очередного шаблона, т.е. по «локальной» ошибке . Процесс обучения повторяется до тех пор, пока сеть не приобретет способность выполнять желаемый тип преобразования, заданный тренировочным набором шаблонов .

В результате обучения сеть достигает способности правильно реагировать не только на шаблоны множества , но и на другие допустимые возмущения, с которыми она никогда ранее не имела дела. В этом состоит уже упоминавшееся свойство ИНС обобщать. Ошибка в обобщении, которая может иметь место, определяется двумя причинами:



  • ограниченностью размеров сети, ведущей к недостаточному качеству аппроксимации;

  • ограниченностью объема обучающей выборки.

Схема, иллюстрирующая процесс обучения персептрона, представлена на рис. 15.

Рассмотрение проблемы обучения начнем с простейшего однослойного персептрона Розенблатта (рис. 16).

Это нейронная сеть, имеющая входов и один слой из связующих нейронов, передающих сигналы каждый на свой выход. Входной слой выполняет функции приема и ретрансляции входных сигналов на нейроны скрытого слоя, -й связующий нейрон которого осуществляет нелинейное преобразование

,

где — сдвинутая на величину порога сумма взвешенных входных сигналов;



— синаптический вес связи -го нейрона входного слоя с -м нейроном скрытого слоя;

-й входной сигнал сети (бинарный или непрерывный);



– ступенчатая активационная функция нейрона;

– переменная, характеризующая выход i-го интернейрона и принимающая значения 0 или 1.

Согласно данному закону функционирования, однослойный персептрон Розенблатта разделяет -мерное пространство входных сигналов на классы гиперплоскостями:

, .

Таких классов может быть не более .

Для однослойного персептрона Розенблатт использовал следующее правило обучения: веса связей увеличиваются, если выходной сигнал, сформированный принимающим нейроном, слишком слаб, и уменьшаются, если он слишком высокий. Согласно этому правилу, веса связей менялись после каждого вычисления выходов нейронной сети для поданного на вход очередного вектора из набора шаблонов по следующей формуле:

,

где — настроечный параметр процедуры обучения.

Для обучения многослойных персептронов Вербосом в 1974 году был предложен алгоритм обратного распространения ошибки (АОР, или BPE – Back-Propagation Error).

В основу алгоритма BPE положен метод градиентного спуска, согласно которому на каждой итерации поиска значений синаптических весов и порогов активационных функций нейронов, направленной на уменьшение ошибки , их приращения определяются по формулам:



, , ; ; ,

где — синаптический вес связи j-го нейрона (k1)-го слоя с i-м нейроном k-го слоя;



— порог активационной функции i-го нейрона k-го слоя;

Hk – число нейронов в k-м слое;

(0,1] — настроечный параметр обучения.

Согласно правилу дифференцирования сложной функции, производная от функции ошибки по определяется как

, (7.1)

где — сигнал на выходе i-го нейрона k-го слоя;



— сдвинутая на величину порога сумма взвешенных входных сигналов i-го нейрона k-го слоя; .

Надо заметить, что выражение (7.1) и все последующие выкладки приведены для случая оценки локальной ошибки (для одного шаблона), поэтому индекс шаблона везде опущен.

Представление производной через выходы нейронов (k+1)-го слоя

(7.2)

позволяет получить рекурсивную формулу



(7.3)

для пересчета величин со слоя k+1 на слой k (то, что называют обратным распространением ошибки).

Очевидно, для слоя K+1 (выходного слоя), с которого начинается обратное распространение ошибки,

. (7.4)

Таким образом, итерационная формула для коррекции значений синаптических весов принимает следующий вид:



(7.5)

Аналогично получается итерационная формула коррекции значений порогов активационных функций нейронов:



(7.6)

Выбор той или иной активационной функции определяется многими факторами, среди которых в первую очередь следует выделить существование производной на всей оси абсцисс и удобство организации вычислений. С учетом этих факторов в алгоритме BPE чаще используют сигмоидальную активационную функцию. Для нее, согласно (7.4),



. (7.7)

В формуле (7.7) — сигнал на выходе j-го нейрона выходного слоя персептрона.

В итоге общее описание алгоритма BPE можно представить следующим образом:

П1. Инициализация синаптических весов и порогов активационных функций во всех слоях персептрона ( , , ) как маленьких величин, например отрезка [-1,1].

П2. Выбор очередного шаблона из множества P случайным образом или согласно определенному правилу.

П3. Прямой ход: вычисление фактических выходов нейронов персептрона по формуле:



, , , ;

вычисление ошибки и проверка критерия выхода из алгоритма.

П4. Обратный ход: коррекция значений синаптических весов и порогов активационных функций с использованием выражений (7.3)–(7.7).

П5. Переход к П2.



7.5. RBF-сеть

RBF-сеть (Radial Basis Function-network) представляет собой однослойную (по числу скрытых слоев) ИНС (рис. 17) прямого распространения, способную аппроксимировать произвольный набор непрерывных функций в базисе радиально-симметричных активационных функций нейронов с любой степенью точности, обучаясь с супервизором по простому алгоритму, не требующему рекурсии.

Аппроксимируемые функции задаются набором шаблонов

,

где — вектор переменных (аргументов) аппроксимируемых функций, определяющий N-мерное пространство входных сигналов RBF-сети;



— вектор соответствующих значений аппроксимируемых функций, число которых M определяет количество выходов RBF-сети.

RBF-сеть имеет единственный скрытый слой из H нейронов. Только эти нейроны, обладая радиально-симметричной активационной функцией, осуществляют нелинейное преобразование. Синаптические веса всех связей между нейронами входного и скрытого слоев берутся равными единице.

В активационной функции i-го нейрона скрытого слоя, описываемой выражением

,

— центр активационной функции i-го нейрона скрытого слоя;

— ширина окна активационной функции i-го нейрона.

Матричное выражение для вычисления синаптических весов связей между нейронами скрытого и выходного слоев ( ) получается следующим образом.

Сигнал выхода i-го нейрона выходного слоя, получаемый под воздействием вектора аргументов q-го шаблона ( ), приравнивается i-му элементу выходного вектора этого шаблона:

. (7.8)

Если положить , то уравнение (7.8) можно представить в следующем виде:


,

где



— желаемый отклик i-го выходного нейрона на q-й шаблон.

Записав аналогичные уравнения для всех выходов сети и всех шаблонов, получим следующее матричное уравнение:


, (7.9)
где ; ;

.
Из (7.9) легко находится матрица синаптических весов

. (7.10)

С учетом вышеизложенного синтез RBF-сети осуществляется по следующему алгоритму:

П1. Определяется размер H скрытого слоя RBF-сети, равный количеству тренировочных шаблонов Q (H=Q).

П2. В качестве центров активационных функций нейронов скрытого слоя берутся точки пространства входных сигналов, заданные в наборе тренировочных шаблонов Р, т.е.

П3. Задается ширина окон активационных функций нейронов скрытого слоя Окна должны покрывать пространство входных сигналов сети, не накладываясь друг на друга.

П4. Формируются матрицы F и Y.

П5. Вычисляется матрица , и по формуле (7.10) определяются значения синаптических весов , обеспечивающие совпадение точек интерполяционной поверхности с тренировочными шаблонами в пространстве выходных сигналов сети.

Следует заметить, что наиболее ответственными этапами описанного алгоритма являются выбор размера скрытого слоя и задание ширины окон активационных функций его нейронов. Ибо от этого зависит ошибка аппроксимации в точках входного пространства, не фигурирующих в наборе тренировочных шаблонов.


7.6. Сеть Хопфилда
Сеть Хопфилда относится к классу рекуррентных ИНС. Она состоит из N нейронов, каждый из которых имеет связи воздействия на все остальные нейроны (полный направленный граф без петель) с весами . Выходы нейронов фиксируют начальное состояние сети, обусловленное предъявленным стимулом (возмущением), и все последующие ее состояния вплоть до устойчивого.

Состояние бинарной сети Хопфилда описывается N-мерным вектором , компонента которого характеризует состояние i-го нейрона: 0 или 1 (имеется в виду использование в качестве активационной функции нейрона единичной ступеньки). Таким образом, состоянию сети соответствует одна из вершин единичного гиперкуба в N-мерном пространстве.

Каждое устойчивое состояние такой системы можно рассматривать как «запись образа» в ее памяти. При подаче на ее входы возмущения, обусловленного предъявленным для распознавания образом, сеть должна из приобретенного начального состояния в соответствии с динамикой ее функционирования прийти в устойчивое состояние, определяющее идеальный записанный образ.

Возможна асинхронная или синхронная динамика поведения сети.

В случае асинхронной динамики состояние сети меняется с определенной частотой так, что в каждый следующий момент времени случайно выбранный нейрон i принимает состояние
, (7.11)
где — порог i-го нейрона, который часто принимается равным 0 для всех .

В отличие от асинхронной динамики, синхронная динамика предполагает изменение в каждый момент времени по правилу (7.11) состояния всех нейронов сети.

Хранение образов в памяти сети Хопфилда обеспечивается матрицей синаптических весов, известной под названием матрица Хебба. Ее элементы определяются по формулам:



Надежное распознавание образов сетью Хопфилда обеспечивается при выполнении соотношения .


7.7. Сеть Хемминга
Это нейронная сеть, состоящая из двух однослойных подсетей A и B, содержащих по M нейронов (рис. 18). Подсеть A формирует по входному N-мерному бинарному вектору начальные состояния ( ) для нейронов подсети В согласно выражению:

где — синаптический вес связи -го нейрона входного слоя с -м нейроном подсети А;



— порог линейной активационной функции -го нейрона подсети А.

При настройке подсети А значения синаптических весов и порогов определяются по формулам:



,

где -й элемент -го вектора памяти.


Динамика подсети В итерационна. От начального состояния, установленного подсетью А, она развивается по закону:



,

где – пороговая активационная функция нейронов подсети В, аргумент которой записан с учетом синаптических весов обратных связей, определенных по формуле:



; .

Пороги активационных функций для нейронов подсети В устанавливаются равными 0.

Итерационный процесс заканчивается, когда выходы всех нейронов подсети В, за исключением одного, становятся пассивными (побеждает один, соответствующий идентифицированному идеальному образу). Следует заметить, что в случае когда один из векторов памяти является частью (по значащим фрагментам кода) другого вектора, при подаче его на вход сети активными становятся выходные нейроны, соответствующие обоим векторам.

Таким образом, обученная сеть Хемминга, как и сеть Хопфилда, способна выполнять функции ассоциативной памяти, т.е. распознавать (воссоздавать) идеальный образ по предъявленной искаженной информации о нем. Число запоминаемых сетью образов равно


7.8. Самоорганизующиеся нейронные сети Кохонена
Одной из главных задач, решаемых системой интеллектуальной поддержки, является задача распознавания ситуаций (образов). Эти ситуации не всегда могут быть априори классифицированы и предоставлены системе в виде набора шаблонов. На этот случай в системе должны присутствовать механизмы разбиения воспринимаемых ситуаций на классы (кластеризации) и последующей классификации вновь поступающих образов. Основой для построения таких механизмов могут служить самоорганизующиеся нейронные сети.

Классическим примером самоорганизующейся нейронной сети является сеть Кохонена (самоорганизующаяся карта признаков) [11, 19].

Нейронная сеть Кохонена относится к классу сетей прямого распространения. Она имеет единственный скрытый слой нейронов, представленный в виде одномерной или двумерной решетки (в принципе размерность решетки может быть и выше, случай двумерной решетки показан на рис. 19). Каждому скрытому нейрону соответствует свой выход сети. Нейроны входного слоя, количество которых равно размерности воспринимаемого образа, осуществляют функции приема и ретрансляции входных сигналов на все нейроны скрытого слоя (на рис. 19 это показано только для нейрона ). Число нейронов в скрытом слое (и, соответственно, число выходов сети) определяет количество кластеров, на распознавание которых ориентируется нейронная сеть.

Алгоритм, обеспечивающий процесс самоорганизации нейронной сети Кохонена, подбирая синаптические веса связей между нейронами входного и скрытого слоев , преследует цель отобразить множество N-мерных входных векторов в двумерную карту распределения нейронных активностей. Каждый нейрон такой карты соответствует определенному кластеру, объединяющему в себе сходные по критерию близости векторы. В качестве критерия близости векторов и можно использовать евклидово расстояние между ними или их скалярное произведение (в смысле его максимума).

В основу алгоритма положены три механизма [19]:


  • механизм конкуренции;

  • механизм кооперации;

  • механизм адаптации.

Механизм конкуренции реализует конкурсный (конкурентный) метод, суть которого состоит в следующем.

Входной вектор и векторы синаптических весов входных связей всех нейронов скрытого слоя ( ) предполагаются нормализованными. Для каждого скрытого нейрона оценивается величина его активности . Между нейронами осуществляется конкурс на максимальное значение этой величины. Нейрон , имеющий наибольшее значение нейронной активности , объявляется победителем и наиболее подходящим для данного вектора .



Механизм кооперации реализует принцип, согласно которому наиболее возбужденный нейрон усиливает (через синаптические веса) не только себя, но и пространственно близкие к нему нейроны. В связи с этим вводятся понятия топологической окрестности победившего нейрона и функции окрестности , определяющей меру соседства нейрона с нейроном-победителем . В качестве последней часто используется функция Гаусса

, (7.12)

где , и — дискретные векторы, определяющие, соответственно, позиции нейрона-победителя и его нейрона-соседа в решетке;



эффективная ширина топологической окрестности, определяющая минимальный уровень функции окрестности, до которого нейроны из топологической окрестности участвуют в процессе обучения вместе с нейроном-победителем.

В процессе обучения эффективная ширина топологической окрестности постепенно уменьшается, например по закону



, (7.13)

где — дискретное время;



— начальное значение величины ;

— некоторая временная константа (настроечный параметр алгоритма).

Таким образом, функция окрестности приобретает зависимость от времени в виде



, (7.14)

где определяется по формуле (7.13).



Механизм адаптации реализует определенную стратегию изменения (коррекции) весов синаптических связей. В ее основу может быть положено правило Хебба с некоторой дополнительной составляющей, учитывающей эффект забывания.

Правило Хебба говорит о том, что если предсинаптический и постсинаптический нейроны активизируются одновременно, то сила этой связи возрастает. В противном случае синапс ослабляется.

Эффект забывания учитывается слагаемым (входящим в общую формулу с отрицательным знаком) в виде , где — вектор синаптических весов нейрона ; — положительная скалярная функция, определенная на дискретном наборе выходных сигналов нейронов (функция забывания) и принимающая нулевое значение для .

С учетом вышесказанного изменение (коррекция) вектора синаптических весов нейрона представляется следующей формулой:



, (7.15)

где — параметр скорости обучения.

Если в качестве функции забывания использовать линейную функцию и оценивать выходы нейронов функцией окрестности, т.е. принять , то формула адаптации векторов синаптических весов (7.15), с учетом необходимости их нормирования, примет следующий вид:

, (7.16)

где — вектор, поданный на вход сети в момент времени ;

— меняющийся во времени (постепенно уменьшаемый) параметр скорости обучения.

В основу изменения параметра скорости обучения может быть положена функция



, , (7.17)

где — исходное значение параметра (в момент );



— некоторая временная константа (настроечный параметр алгоритма).

Формула (7.16) применяется ко всем нейронам, лежащим в топологической окрестности нейрона-победителя и кооперирующимся с ним в обучении. Из формулы видно, что векторы синаптических весов кооперирующихся нейронов смещаются в сторону входного вектора со скоростью, пропорциональной соответствующему им значению функции окрестности (наиболее интенсивно это происходит у нейрона-победителя , имеющего максимальное значение ).

Помимо рассмотренных архитектур ИНС, существует множество других, с которыми можно ознакомиться, обратившись к источникам [11, 12, 19].
ВОПРОСЫ И ЗАДАНИЯ ДЛЯ САМОКОНТРОЛЯ


  1. Как Вы понимаете аналитический и синтетический способы обработки информации?

  2. Какова структура естественного нейрона?

  3. Как классифицируются естественные нейроны с точки зрения выполняемых ими функций?

  4. Как формируются и передаются нервные импульсы?

  5. Какова предельная частота активизации естественного нейрона?

  6. Опишите механизм взаимодействия между естественными нейронами.

  7. Определите понятие искусственной нейронной сети.

  8. Как Вы понимаете словосочетание существенно параллельно распределенный процессор?

  9. Что представляет собой классическая модель формального нейрона?

  10. Какие виды активационных функций нейронов Вы знаете?

  11. Проведите классификацию ИНС по характеру входных сигналов, базовым свойствам структуры и типу обучения.

  12. Чем принципиально отличается обучение ИНС с супервизором от обучения через самоорганизацию?

  13. Чем отличается многослойный персептрон стандартной (регулярной) топологии от его модифицированных версий?

  14. Что означает свойство ИНС обобщать?

  15. Попробуйте обучить однослойный персептрон Розенблатта выполнению двуместной логической операции сложения по модулю 2 ( ).

  16. Что, на Ваш взгляд, является наиболее ценным в классическом алгоритме обратного распространения ошибки: заложенная в нем стратегия поиска (оптимизации) или возможность вычисления точных (аналитических) производных от функции ошибки по варьируемым параметрам сети?

  17. Опишите алгоритм синтеза RBF-сети.

  18. Как обучается и функционирует нейронная сеть Хопфилда?

  19. Сколько образов может запомнить сеть Хопфилда?

  20. Как обучается и функционирует нейронная сеть Хемминга?

  21. Сколько образов может запомнить сеть Хемминга?

  22. Назовите основные механизмы, положенные в основу самоорганизации нейронной сети Кохонена. В чем суть каждого из них?

  23. Каталог: assets -> docs
    docs -> Общие положения основные интерактивные методы
    docs -> Что такое деятельностный подход в образовании? А. А. Леонтьев
    docs -> Системы обработки документов. Основные компоненты
    docs -> Добро пожаловать в ассоциацию emma!
    docs -> Добро пожаловать в ассоциацию emma
    docs -> Дистанционное обучение через Интернет
    docs -> Прикладные аспекты построения систем на основе документооборота
    docs -> Программа актуальна для топ-менеджеров, менеджеров среднего звена. Для всех, кто желает повысить свою эффективность в бизнесе


    Поделитесь с Вашими друзьями:
1   2   3   4   5   6   7


База данных защищена авторским правом ©psihdocs.ru 2017
обратиться к администрации

    Главная страница