Cybernetics Wiki
Advertisement

Байесовская вероятность — это интерпретация понятия вероятности, используемое в Байесовской теории. Вероятность определяется как степень уверенности в истинности суждения. Для определения степени уверенности в истинности суждения при получении новой информации в Байесовской теории используется теорема Байеса.

История[]

Байесовская теория и Байесовская вероятность названы в честь Томаса Байеса (1702—1761), доказавшего частный случай теоремы, сейчас называемой теоремой Байеса. Термин «байесовский», стал использоваться примерно в 1950 году, и большая часть того, что сейчас называется «байесовским» не имеет к Байесу прямого отношения. Лаплас доказал более общий случай теоремы Байеса и использовал ее для решения задач небесной механики, медицинской статистики и даже, по некоторым данным, юриспруденции. Лаплас, однако, не считал эту теорему важной для развития теории вероятности. Он придерживался классического определения вероятности.

Франк Рамсей в работе The Foundations of Mathematics (1931) первым выдвинул идею об использовании субъективной уверенности для определения вероятности. Рамсей предложил это определение как дополнение к частотному определению, которое было более развито в то время. Статистик Бруно де Финетти в 1937 применил идеи Рамсея как альтернативу частотному определению. Леонард Саваж расширил эту идею в работе The Foundations of Statistics (1954).

Были попытки формального определения интуитивного понятия «степени уверенности». Наиболее общее определение основано на пари: степень уверенности отражается величиной ставки, которую человек готов поставить на то, что суждение истинно.

Варианты[]

Различные варианты Байесовской интерпретации вероятности: субъективная вероятность и логическая вероятность.

Соотношение с частотной вероятностью[]

Байесовская вероятность противопоставляется частотной, в которой вероятность определяется относительной частотой появления случайного события при достаточно длительных наблюдениях.

Теория вероятности и статистики, основанная на частотной вероятности была разработана Р. А. Фишером, Э. Пирсоном и Е. Нейманом в первой половине XX века. А. Колмогоров также использовал частотную интерпретацию при описании своей аксиоматики, основанной на интеграле Лебега.

Разница между Байесовской и частотной интерпретацией играет важную роль в практической статистике. Например, при сравнении двух гипотез на одних и тех же данных, теория проверки статистических гипотез, основанная на частотной интерпретации, позволяет отвергать или не отвергать модели-гипотезы. При этом адекватная модель может быть отвергнута из-за того, что на этих данных кажется адекватнее другая модель. Байесовские методы, напротив, в зависимости от входных данных выдают апостериорную вероятность быть адекватной для каждой из моделей-гипотез.

Применение[]

Начиная с 1950-х годов, Байесовская теория и Байесовская вероятность широко применяется за счет, например, теоремы Кокса и принципа максимальной энтропии. Для многих задач Байесовские методы дают лучший результат, нежели методы, основанные на частотной вероятности.

Байесовская теория используется как метод адаптации существующих вероятностей к вновь полученным экспериментальным данным.

Байесовская теория используется для построения интеллектуальных фильтров, используемых, например, для фильтрации спама-писем из электронной почты.

Вероятности вероятностей[]

Неприятная деталь, связанная с использованием байесовской вероятности в том, что задания вероятности недостаточно для того, чтобы понять ее природу. Рассмотрим следующие ситуации:

  1. У вас есть коробка с черными и белыми шарами и никакой информации относительно их количества.
  2. У вас есть коробка с черными и белыми шарами. Вы вытащили наудачу шаров, ровно половина из них оказались черными.
  3. У вас есть коробка с черными и белыми шарами и вы знаете, что ровно половина из них – черные.

Байесовская вероятность «вытащить следующим черный шар» в каждом из этих случаев равна 0.5. Кейнс назвал это проблемой «степени уверенности». Эту проблему можно решить, введя вероятность вероятности (так называемую, мета-вероятность).

1. Предположим, у вас есть коробка с черными и белыми шарами и никакой информации относительно того, сколько в ней шаров какого цвета.
Пусть – это утверждение о том, что вероятность вытащить следующим черный шар равна , тогда распределение вероятности будет Бета-распределением:
Предполагая, что вытягивания шаров независимы и равновероятны, распределение вероятности , после вытягивания m черных шаров и n белых шаров также будет Бета-распределением с параметрами , .
2. Предположим, что вы вытащили из коробки шаров, половина из них оказались черными, а остальные – белыми.
В этом случае распределение вероятности будет Бета-распределением . Максимальное апостериорное ожидание равно .
3. Вы знаете, что ровно половина шаров – черные, а остальные – белые.
В этом случае вероятность равна 0.5 с вероятностью 1: .

См. также[]

  • Интерпретации вероятности
  • Частотная вероятность
  • Философия математики

Внешние ссылки[]


Simpler explanation of Bayesian analysis

, by David MacKay, has many chapters on Bayesian methods, including introductory examples; arguments in favour of Bayesian methods (in the style of Edwin Jaynes); state-of-the-art Monte Carlo methods, message-passing methods, and variational methods; and examples illustrating the intimate connections between Bayesian inference and data compression.

from Queen Mary University of London
A very gentle introduction by Eliezer Yudkowsky

.

Advertisement