Формула К. Шенона та області її застосування.

    Раніше ми вивчали різноманітні підходи до визначення поняття "інформація" та кількості інформації. Серед них був ймовірнісний, автором якого є Клод Шенон, американский інженер та математик (1916 – 2001). Тож розберемось більш докладно...

    Існує безліч ситуацій, коли можливі події мають різні ймовірності реалізації. Наприклад, якщо монета несиметрична (одна сторона важче іншої), то при її киданні ймовірності випадання "орла" і "решки" будуть відрізнятися. Тож Клод Шенон запропонував формулу для обчислення кількості інформації подій, які мають різні показники ймовірності: 

 де I - кількість інформації;

N - кількість можливих подій;

р_i - ймовірність i-ї події.

Наприклад, нехай при киданні несиметричної чотиригранної піраміди ймовірності окремих подій дорівнюватимуть:

Р₁ = 1/2, р₂ = 1/4, р₃ = 1/8, р₄ = 1/8.

Тоді кількість інформації, яку ми отриммаємо після реалізації однієї з них можна розрахувати по формулі Шенона наступним чином:

I = -(l/2 log₂l/2 + l/4 log₂l/4 + l/8 log₂l/8 + l/8 log₂l/8) = (1/2 + 2/4 + 3/8 + 3/8) біт = 14/8 біт = 1,75 біт.

 

Для приватного, але широко поширеного і розглянутого вище випадку, коли події рівноймовірно (pi = 1 / N), величину кількості інформації I можна розрахувати за формулою:

Наприклад, кількість інформації, яку ми отримаємо при киданні симетричною і однорідної чотиригранної піраміди:

I = log₂4 = 2 біт

Таким чином, при киданні симетричною пірамідки, коли події рівноймовірно, ми отримаємо більшу кількість інформації (2 біта), ніж при киданні несиметричною (1,75 біта), коли події неравновероятни.

Завдання 1. Обчислити за кількість інформації, яку буде отримано:

• при киданні симетричного шестигранного кубика;
• при грі в рулетку з 72 секторами.