1. Определить энтропию физической системы, которая может находиться в одном из 10 состояний. Вероятности состояний равны соответственно: 0,01; 0,05;
0,13; 0,04; 0,15; 0,1; 0,2; 0,25; 0,03; 0,04. Определить количество информации на
символ сообщения, составленного из такого алфавита.
2. Алфавит некоторого языка состоит из 13 символов. Определить количество
информации на 1 символ сообщения составленного из этого алфавита, если символы
алфавита встречаются с равными вероятностями.
1. Чтобы определить энтропию физической системы, мы должны использовать формулу энтропии Шеннона:
H = -Σ(pi * log2(pi))
Где H - энтропия, pi - вероятность i-го состояния.
В данном случае у нас есть 10 состояний с соответствующими вероятностями:
p1 = 0,01, p2 = 0,05, p3 = 0,13, p4 = 0,04, p5 = 0,15, p6 = 0,1, p7 = 0,2, p8 = 0,25, p9 = 0,03, p10 = 0,04.
Подставляя значения в формулу, мы получаем:
H = -(0,01 * log2(0,01) + 0,05 * log2(0,05) + 0,13 * log2(0,13) + 0,04 * log2(0,04) + 0,15 * log2(0,15) + 0,1 * log2(0,1) + 0,2 * log2(0,2) + 0,25 * log2(0,25) + 0,03 * log2(0,03) + 0,04 * log2(0,04))
Теперь вычислим каждое слагаемое по отдельности:
-0,01 * log2(0,01) = -0,01 * (-7,6438562) = 0,076438562
-0,05 * log2(0,05) = -0,05 * (-4,3219281) = 0,216096405
-0,13 * log2(0,13) = -0,13 * (-2,9425118) = 0,382176534
-0,04 * log2(0,04) = -0,04 * (-4) = 0,16
-0,15 * log2(0,15) = -0,15 * (-3,169925) = 0,475488741
-0,1 * log2(0,1) = -0,1 * (-3,3219281) = 0,33219281
-0,2 * log2(0,2) = -0,2 * (-2,3219281) = 0,46438562
-0,25 * log2(0,25) = -0,25 * (-2) = 0,5
-0,03 * log2(0,03) = -0,03 * (-4,7548875) = 0,14246626
-0,04 * log2(0,04) = -0,04 * (-4) = 0,16
Теперь сложим все полученные значения:
H = 0,076438562 + 0,216096405 + 0,382176534 + 0,16 + 0,475488741 + 0,33219281 + 0,46438562 + 0,5 + 0,14246626 + 0,16
H ≈ 2,909930932
Таким образом, энтропия этой физической системы составляет примерно 2,9099...
Теперь перейдем ко второму вопросу.
2. У нас есть 13 символов алфавита с равными вероятностями:
P = 1/13 ≈ 0,076923077
Теперь, чтобы найти количество информации на 1 символ сообщения, мы используем формулу информации:
I = -log2(P)
I = -log2(0,076923077)
I ≈ -log2(1/13)
I ≈ -log2(1) + log2(13)
I ≈ 0 + log2(13)
I ≈ log2(13)
Таким образом, количество информации на 1 символ сообщения, составленного из этого алфавита, равно log2(13), что примерно равно 3,70044...