Cybernetics Wiki
Advertisement

Перцептроны с обратной связью — наиболее общий вид перцептронов, некоторые виды которых были описаны Ф. Розенблаттом. Они отличаются от простых перцептронов, наличием обратной связи. Благодаря этому слои элементов, находящихся сравнительного далеко от сенсорных входов, могут воздействовать на активность слоев, расположенных ближе к входу. Согласно современной классификации этот тип нейронной сети относится к рекуррентным нейронным сетям.

Перцептроны с избирательным вниманием[]

Файл:PerceptronBack.png

Архитектура простейшего перцептрона с избирательным вниманием

Если к простейшему перцептрону добавить обратную связь с постоянными (неизменяемыми) весовыми коэффициентами от R-элементов к A-элементам, то можно получить простейший вид перцептрона с избирательным вниманием. На рисунке сплошными линиями обозначены связи с постоянными весами, а пунктирными — связи с переменными весами. Обратная связь случайным образом (в равных пропорциях) выбрана с весом +1 (возбуждающая) или с весом −1 (тормозящая). В этом смысле эти обратные связи выбраны так же как и связи от S-элементов к А-элементам, но в отличии от этого первого слоя во втором слое имеются связи от каждого R-элемента к каждому А-элементу. При этом время передачи каждой связи равно фиксированной постоянной , а стимул удерживается на сетчатке в течение времени .

Убедится в том, что такой вид перцептрона способен к избирательному вниманию можно на простом примере. Обучим систему следующим реакциям:

  1. (r1 = 1, r2 = 0, r3 = 0, r4 = 0) — на треугольник;
  2. (r1 = 0, r2 = 1, r3 = 0, r4 = 0) — на квадрат;
  3. (r1 = 0, r2 = 0, r3 = 1, r4 = 0) — на положение фигуры в верхней части сетчатки;
  4. (r1 = 0, r2 = 0, r3 = 0, r4 = 1) — на положение фигуры в нижней части сетчатки.

После обучения проверим реакцию на стимулы:

  1. S1 — треугольник в верхней части поля (r1 = 1, r2 = 0, r3 = 1, r4 = 0) и квадрат в нижей части (r1 = 0, r2 = 1, r3 = 0, r4 = 1);
  2. S2 — квадрат в верхней части поля и треугольник в нижей части.

Необходимо, чтобы такой перцептрон давал бы непротиворечивое описание формы и положения одного из двух стимулов, не учитывая другого, несмотря на то, что они присутствуют на сетчатке одновременно.

Для того, чтобы такая задача могла бы быть решена перцептроном с избирательным вниманием в процессе обучения нужно добиться определённого распределения весовых коэффициентов, что зависит от количества А-элементов с правильной реакцией по отношению к их общему числу. Рассмотрим пересечение подмножества элементов, имеющих реакцию R (1,0,0,0), с подмножеством, имеющим реакцию R (1,0,1,0), то есть треугольник не зависимо от местоположения и треугольник в верхней части сетчатки. Окажется, что такое пересечение относительно велико, так как три из четырёх R-элементов находятся в одинаковом состоянии. То же самое справедливо и для комбинации треугольник не зависимо от местоположения и треугольник в нижней части сетчатки. Но комбинация R (1,0,0,0) и R (0,1,0,0), то есть треугольник и квадрат не зависимо от местоположения, имеет меньшее пересечение, так как только два из четырёх R-элементов находятся в одинаковом состоянии. Это же относится и для комбинации R (0,0,1,0) и R (0,0,0,1), то есть любая из фигур вверху или внизу.

Благодаря такому распределению весовых коэффициентов, во время распознавания произойдет следующие. Если окажется, что по отношению к паре реакций (треугольник, квадрат) вначале доминирующим окажется треугольник [сигнал на выходе (1,0,0,0)], то возбужденное подмножество, в которое введенно наибольшее подкрепление, будет давать реакцию «верх». Это случится из-за того, что сочетание «верх, треугольник» имеет значительно больший вес, чем сочетание «низ, квадрат». Если же реакция будет (0,1,0,0), то в системе возникнет противоположная тенденция, что приведет к реакции (0,1,0,1).

Если же теперь вместо стимула S1 подать стимул S2, то предпочтение будет отдаваться реакциям (1,0,0,1) или (0,1,1,0).

По сути данный пример иллюстрирует решение задачи, которую может решать ДАП, с той лишь разницей, что перцептрон с избирательным вниманием имеет два слоя вместо одного и обучается по методу коррекции ошибки, а не с помощью умножения прямой и транспонированной матрицы. Эти отличия позволяют решать задачи линейно не разделимые, и благодаря им информационная емкость сети много больше емкости ДАП. Здесь так же в процессе работы сети случайно выбранный вектор (избирательным вниманием) достраивается до наиболее статистически верного эталона.

Перцептроны с обучением заданной программе[]

Файл:PerceptronBack2.png

Архитектура четырёхслойного перцептрона для распознавания и управления R — последовательностями с неопределённой продолжительностью элементов

Это группа наиболее сложных по своей архитектуре искусственных рекуррентных нейронных сетей. Розенблаттом была данна теоретическая схема таких сетей, но до сих пор она не была промоделированна программно. Простейший вид такой сети вводится на основании перцептронов с избирательным вниманием, но так чтобы реакция зависела не только от текущего сложного (когда одновременно предъявляются несколько стимулов) стимула, а от последовательности таких стимулов определённой длины. Для этого вводится второй слой ассоциативных элементов с перекрестными связями, которые могут образовывать между собой различные замкнутые контуры.

См. также[]

Литература[]

Advertisement