Question

Дано произведение ансамблей XY: P(x1y1) = 0.04; P(x1y2) = 0.16; P(x1y3) = 0.20;
P(x2y1) = 0.06; P(x2y2) = 0.24; P(x2y3) = 0.30.
Вычислить полную условную энтропию H(Y|X). ответ округлить до двух знаков после запятой.

Answer 1

Для вычисления полной условной энтропии H(Y|X), мы должны сначала вычислить условные энтропии H(Y|X=x1) и H(Y|X=x2), а затем взвешенно просуммировать их с учетом вероятностей P(X=x1) и P(X=x2).

1. Вычисление условной энтропии H(Y|X=x1):

Суммарная вероятность P(X=x1) = P(x1y1) + P(x1y2) + P(x1y3) = 0.04 + 0.16 + 0.20 = 0.40.

Теперь вычислим условные вероятности P(Y|X=x1) для каждого значения Y при фиксированном X=x1:

P(Y=y1|X=x1) = P(x1y1) / P(X=x1) = 0.04 / 0.40 = 0.10.
P(Y=y2|X=x1) = P(x1y2) / P(X=x1) = 0.16 / 0.40 = 0.40.
P(Y=y3|X=x1) = P(x1y3) / P(X=x1) = 0.20 / 0.40 = 0.50.

Теперь вычислим безусловную энтропию H(Y|X=x1) по формуле:

H(Y|X=x1) = - ∑ P(Y|X=x1) * log2(P(Y|X=x1)).
где ∑ означает суммирование по всем значениям Y.

H(Y|X=x1) = - (P(Y=y1|X=x1) * log2(P(Y=y1|X=x1)) + P(Y=y2|X=x1) * log2(P(Y=y2|X=x1)) + P(Y=y3|X=x1) * log2(P(Y=y3|X=x1)))
= - (0.10 * log2(0.10) + 0.40 * log2(0.40) + 0.50 * log2(0.50)).

Теперь вычислим значение H(Y|X=x1) с использованием калькулятора или программы для математических вычислений.

2. Вычисление условной энтропии H(Y|X=x2):

Аналогично, суммарная вероятность P(X=x2) = P(x2y1) + P(x2y2) + P(x2y3) = 0.06 + 0.24 + 0.30 = 0.60.

Вычислим условные вероятности P(Y|X=x2) для каждого значения Y при фиксированном X=x2:

P(Y=y1|X=x2) = P(x2y1) / P(X=x2) = 0.06 / 0.60 = 0.10.
P(Y=y2|X=x2) = P(x2y2) / P(X=x2) = 0.24 / 0.60 = 0.40.
P(Y=y3|X=x2) = P(x2y3) / P(X=x2) = 0.30 / 0.60 = 0.50.

Вычислим безусловную энтропию H(Y|X=x2) по формуле:

H(Y|X=x2) = - ∑ P(Y|X=x2) * log2(P(Y|X=x2)).
где ∑ означает суммирование по всем значениям Y.

H(Y|X=x2) = - (P(Y=y1|X=x2) * log2(P(Y=y1|X=x2)) + P(Y=y2|X=x2) * log2(P(Y=y2|X=x2)) + P(Y=y3|X=x2) * log2(P(Y=y3|X=x2)))
= - (0.10 * log2(0.10) + 0.40 * log2(0.40) + 0.50 * log2(0.50)).

Вычислим значение H(Y|X=x2) с использованием калькулятора или программы для математических вычислений.

3. Вычисление полной условной энтропии H(Y|X):

Теперь, используя полученные значения условных энтропий H(Y|X=x1) и H(Y|X=x2), вычислим полную условную энтропию H(Y|X) по формуле:

H(Y|X) = P(X=x1) * H(Y|X=x1) + P(X=x2) * H(Y|X=x2).

H(Y|X) = 0.40 * H(Y|X=x1) + 0.60 * H(Y|X=x2).

Вычислим значение H(Y|X) используя полученные значения H(Y|X=x1) и H(Y|X=x2), с использованием калькулятора или программы для математических вычислений.

Обратите внимание, что ответ требуется округлить до двух знаков после запятой.