Cybernetics Wiki
Регистрация
Advertisement

Перцептроны с обратной связью - наиболее общий вид перцептронов, некоторые виды которых были описаны Ф. Розенблаттом. Они отличаются от простых перцептронов, наличием обратной связи. Благодаря этому слои элементов, находящихся сравнительного далеко от сенсорных входов, могут воздействовать на активность слоев, расположенных ближе к входу. Согласно современной классификации этот тип нейронной сети относится к рекуррентным нейронным сетям.

Перцептроны с избирательным вниманием[]

Файл:PerceptronBack.png

Архитектура простейшего перцептрона с избирательным вниманием

Если к простейшему перцептрону добавить обратную связь с постоянными (неизменяемыми) весовыми коэффициентами от R-элементов к A-элементам, то можно получить простейший вид перцептрона с избирательным вниманием. На рисунке сплошными линиями обозначены связи с постоянными весами, а пунктирными - связи с переменными весами. Обратная связь случайным образом (в равных пропорциях) выбрана с весом +1 (возбуждающая) или с весом -1 (тормозящая). В этом смысле эти обратные связи выбраны так же как и связи от S-элементов к А-элементам, но в отличии от этого первого слоя во втором слое имеются связи от каждого R-элемента к каждому А-элементу. При этом время передачи каждой связи равно фиксированной постоянной , а стимул удерживается на сетчатке в течении времени .


Убедится в том, что такой вид перцептрона способен к избирательному вниманию можно на простом примере. Обучим систему следующим реакциям:

  1. (r1 = 1, r2 = 0, r3 = 0, r4 = 0) - на треугольник;
  2. (r1 = 0, r2 = 1, r3 = 0, r4 = 0) - на квадрат;
  3. (r1 = 0, r2 = 0, r3 = 1, r4 = 0) - на положение фигуры в верхней части сетчатки;
  4. (r1 = 0, r2 = 0, r3 = 0, r4 = 1) - на положение фигуры в нижней части сетчатки.

После обучения проверим реакцию на стимулы:

  1. S1 - треугольник в верхней части поля (r1 = 1, r2 = 0, r3 = 1, r4 = 0) и квадрат в нижей части (r1 = 0, r2 = 1, r3 = 0, r4 = 1);
  2. S2 - квадрат в верхней части поля и треугольник в нижей части.

Необходимо, чтобы такой перцептрон давал бы непротиворечивое описание формы и положения одного из двух стимулов, не учитывая другого, несмотря на то, что они присутствуют на сетчатке одновременно.

Для того, чтобы такая задача могла бы быть решена перцептроном с избирательным вниманием в процессе обучения нужно добиться определенного распределения весовых коэффициентов, что зависит от количества А-элементов с правильной реакцией по отношению к их общему числу. Рассмотрим пересечение подмножества элементов, имеющих реакцию R (1,0,0,0), с подмножеством, имеющим реакцию R (1,0,1,0), т.е. треугольник не зависимо от местоположения и треугольник в верхней части сетчатки. Окажется, что такое пересечение относительно велико, т.к. три из четырех R-элементов находятся в одинаковом состоянии. То же самое справедливо и для комбинации треугольник не зависимо от местоположения и треугольник в нижней части сетчатки. Но комбинация R (1,0,0,0) и R (0,1,0,0), т.е. треугольник и квадрат не зависимо от местоположения, имеет меньшее пересечение, т.к. только два из четырех R-элементов находятся в одинаковом состоянии. Это же относится и для комбинации R (0,0,1,0) и R (0,0,0,1), т.е. любая из фигур вверху или внизу.

Благодаря такому распределению весовых коэффициентов, во время распознования произойдет следующие. Если окажется, что по отношению к паре реакций (треугольник, квадрат) вначале доминирующим окажется треугольник [сигнал на выходе (1,0,0,0)], то возбужденное подмножество, в которое введенно наибольшее подкрепление, будет давать реакцию "верх". Это случится из-за того, что сочетание "верх, треугольник" имеет значительно больший вес, чем сочетание "низ, квадрат". Если же реакция будет (0,1,0,0), то в системе возникнет противоположная тенденция, что приведет к реакции (0,1,0,1).

Если же теперь вместо стимула S1 подать стимул S2, то предпочтение будет отдаваться реакциям (1,0,0,1) или (0,1,1,0).

По сути данный пример иллюстрирует решение задачи, которую может решать ДАП, с той лишь разницей, что перцептрон с избирательным вниманием имеет два слоя вместо одного и обучается по методу коррекции ошибки, а не с помощью умножения прямой и транспонированной матрицы. Эти отличия позволяют решать задачи линейно не разделимые, и благодаря им информационная емкость сети много больше емкости ДАП. Здесь так же в процессе работы сети случайно выбранный вектор (избирательным вниманием) достраивается до наиболее статистически верного эталона.

Перцептроны с обучением заданной программе[]

Файл:PerceptronBack2.png

Архитектура четырехслойного перцептрона для распознования и управления R - последовательностями с неопределенной продолжительностью элементов

Это группа наиболее сложных по своей архитектуре искусственных рекуррентных нейронных сетей. Розенблаттом была данна теоритическая схема таких сетей, но до сих пор она не была промоделированна программно. Простейший вид такой сети вводится на основании перцептронов с избирательным вниманием, но так чтобы реакция зависила бы не только от текущего сложного (когда одновременно предъявляются несколько стимулов) стимула, а от последовательности таких стимулов определенной длины. Для этого вводится второй слой ассоциативных элементов с перекрестными связями, которые могут образовывать между собой различные замкнутые контуры.

См. также[]

Литература[]



Это основополагающая версия, написанная участниками этого проекта. Но содержимое этой страницы очень близкое по содержанию предоставлено для раздела Википедии на русском языке. Так же, как и в этом проекте, текст этой статьи, размещённый в Википедии, доступен на условиях GNU FDL. Статью, размещенную в Википедии можно найти по адресу: Перцептроны с обратной связью.


Advertisement