Контрольная работа по дисциплине «Теоретические основы информатики»


Вероятностный подход определения количества информации



страница2/7
Дата14.12.2022
Размер1,13 Mb.
#196848
ТипКонтрольная работа
1   2   3   4   5   6   7
Связанные:
Парфенова Олеся Андреевна з19ПО(ба)Ин ТОИ вар5

Вероятностный подход определения количества информации




    1. Подходы к определению количества информации.
      Формулы Хартли и Шеннона.


Американский инженер Р. Хартли в 1928 г. процесс получения информации рассматривал как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как log2N


Формула Хартли: I = log2N или N=2i
где I – количество информации, N – количество возможных событий. Все события равновероятны.
Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: I = log2100 = 6,644. Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 единицы информации.
Приведем другие примеры равновероятных сообщений: при бросании монеты: "выпала решка", "выпал орел"; на странице книги: "количество букв чётное", "количество букв нечётное".
Определим теперь, являются ли равновероятными сообщения "первой выйдет из дверей здания женщина" и "первым выйдет из дверей здания мужчина". Однозначно ответить на этот вопрос нельзя. Все зависит от того, о каком именно здании идет речь. Если это, например, станция метро, то вероятность выйти из дверей первым одинакова для мужчины и женщины, а если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины.
Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.
Формула Шеннона:
I = — ( p1log2 p1 + p2 log2 p2 + . . . + pN log2 pN),
где pi — вероятность того, что именно i-е сообщение выделено в наборе из N сообщений.
Легко заметить, что если вероятности p1, ..., pN равны, то каждая из них равна 1 / N, и формула Шеннона превращается в формулу Хартли.



Поделитесь с Вашими друзьями:
1   2   3   4   5   6   7




База данных защищена авторским правом ©psihdocs.ru 2023
обратиться к администрации

    Главная страница