Cybernetics Wiki
Advertisement


Теория информации (математическая теория связи) — раздел прикладной математики, определяющий понятие информации, её свойства и устанавливающий предельные соотношения для систем передачи данных. Как и любая математическая теория, оперирует с математическими моделями, а не с реальными физическими объектами (источниками и каналами связи). Использует, главным образом, математический аппарат теории вероятностей и математической статистики.

Основные разделы теории информации — кодирование источника (сжимающее кодирование) и канальное (помехоустойчивое) кодирование. Теория информации тесно связана с криптографией и другими смежными дисциплинами.

История[]

Основная статья: Хронология развития теории информации

Клод Шеннон (19162001) называется «отцом теории информации». [1] Его теория изначально понималась как строго математическая задача в статистике и дала инженерам средств передачи информации путь к определению ёмкости коммуникационного канала в терминах количества бит. Передающая часть теории не занимается значением (семантикой) передаваемого сообщения, однако дополняющая часть теории информации обращает внимание на содержимое через сжатие c потерями субъекта сообщения, используя критерий точности.

Разработанные Клодом Шенноном в сороковых годах двадцатого века основы Теории информации в последующие годы были существенно дополнены и расширены работами Н. Винера, В. А. Котельникова и А. Н. Колмогорова.

Отношение к термодинамической энтропии[]

Понятие информационной энтропии определено Шенноном для случая дискретных данных и весьма похоже на понятие термодинамической энтропии. Это величина, обозначающая количество информации, содержащееся в данном сообщении (или последовательности сигналов).

Применение[]

Теория информации широко используется в

  • Теории кодирования
  • Криптографии и Криптоанализе
  • Передаче данных
  • Сжатие данных
  • Теории обнаружения
  • Теории оценки

См. также[]


Библиография[]

  • Claude E. Shannon, Warren Weaver. The Mathematical Theory of Communication. Univ of Illinois Press, 1963. ISBN 0-252-72548-4
  • Thomas M. Cover, Joy A. Thomas. Elements of information theory New York: Wiley, 1991. ISBN 0-471-06259-6
  • R. Landauer, Information is Physical Proc. Workshop on Physics and Computation PhysComp’92 (IEEE Comp. Sci.Press, Los Alamitos, 1993) pp. 1-4.
  • Maxwell’s Demon: Entropy, Information, Computing, H. S. Leff and A. F. Rex, Editors, Princeton University Press, Princeton, NJ (1990). ISBN 0-691-08727-X
  • Шеннон К. Работы по теории информации и кибернетике. — М.: Изд. иностр. лит., 1963. — 830 с.
  • Колмогоров А. Н. Три подхода к определению понятия «Количество информации» Новое в жизни, науке, технике. Сер. «Математика, кибернетика», N1, 1991, С.24-29. Перепечатка из «Проблемы передачи информации», N1, 1965, С.1-7.

См. также[]

Примечания[]


Ссылки[]

Advertisement