Cybernetics Wiki
Advertisement
Файл:Hmm.png

Диаграмма переходов в скрытой марковской модели (пример)
x — скрытые состояния
y — наблюдаемые результаты
a — вероятности переходов
b — вероятность результата

Скрытая марковская модель (СММ) — статистическая модель, имитирующая работу процесса похожего на марковский процесс с неизвестными параметрами, и задачей ставится разгадывание неизвестных параметров на основе наблюдаемых. Полученные параметры могут быть использованы в дальнейшем анализе, например, для распознавания образов. СММ может быть рассмотрена как простейшая Байесовская сеть доверия.

В обычной Марковской модели состояние видимо наблюдателю, поэтому вероятности переходов — единственный параметр. В скрытой марковской модели, мы можем следить лишь за переменными на которые оказывает влияние данное состояние. Каждое состояние имеет вероятностное распределение среди всех возможных выходных значений. Поэтому последовательность символов сгенерированная СММ дает информацию о последовательности состояний.

Основное применение СММ получили в области распознавания речи, письма, движений и биоинформатике.

Архитектура скрытой марковской модели[]

Диаграмма представленная ниже показывает общую архитектуру СММ. Овалы представляют собой переменные со случайным значением. Случайная переменная представляет собой значение скрытой переменной в момент времени . Случайная переменная это значение наблюдаемой переменной в момент времени . Стрелки на диаграмме символизируют условные зависимости.

Из диаграммы становится ясно, что значение скрытой переменной (в момент времени ) зависит только от значения скрытой переменной (в момент ). Это называется свойством Маркова. Хотя в то же время значение наблюдаемой переменной зависит только от значения скрытой переменной (обе в момент времени ).

Вероятность «полученной» последовательности[]

Вероятность увидеть последовательность длины равна

,

здесь сумма пробегает по всем возможным последовательностям скрытых узлов Метод подсчёта полным перебором значения очень трудоёмкий для многих задач из реальной жизни, в силу того, что количество возможных последовательностей скрытых узлов очень велико. Но, есть свет в конце туннеля… Применение процедуры вперёд-назад [1] позволяет существенно увеличить скорость вычислений.

Проблемы скрытых марковских моделей[]

Существуют три основных задачи связанных с СММ:

  • даны параметры модели и последовательность, требуется вычислить вероятность появления данной последовательности (проблема решается с помощью алгоритма вперёд-назад),
  • даны параметры модели, требуется определить наиболее подходящую последовательность скрытых узлов, наиболее точно описывающую данную модель (алгоритм Витерби помогает при решении данной проблемы),
  • дана выходная последовательность (или несколько), требуется «потренировать» СММ на данном выходе (в этом помогает алгоритм Баума-Уэлша).

Конкретный пример[]

Представим двух друзей, общающихся каждый вечер по телефону о том, что они сегодня делали днем. Ваш друг может делать лишь три вещи: гулять в парке, ходить за покупками или убираться в комнате. Его выбор основывается лишь на погоде, которая была в момент принятия решения. Вы ничего не знаете о погоде в том регионе где живет ваш друг, но вы можете основываясь на его решениях попытаться предугадать какая погода была.

Погода представима в виде марковской цепи, она имеет два состояния: солнечно или дождливо, но вы не можете сами увидеть её, поэтому она скрыта от вас. Каждый день ваш друг принимает одно из трёх возможных решений: прогулка, покупки или уборка, вы можете узнать о решении вашего друга, поэтому это наблюдаемое значение. В целом мы получаем СММ.

Применение СММ[]

  • криптоанализ
  • распознавание речи
  • машинный перевод
  • биоинформатика
  • и множество других областей…

Немного истории[]

Во второй половине 1960-х Баум с коллегами опубликовал первые заметки о скрытых марковских моделях. И уже в середине 70-х их впервые применили при распознавании речи. С середины 1980-х СММ применяются при анализе биологических последовательностей, в частности ДНК.

Ссылки[]

  1. Rabiner, p. 262
Advertisement