М
Молодежь
К
Компьютеры-и-электроника
Д
Дом-и-сад
С
Стиль-и-уход-за-собой
П
Праздники-и-традиции
Т
Транспорт
П
Путешествия
С
Семейная-жизнь
Ф
Философия-и-религия
Б
Без категории
М
Мир-работы
Х
Хобби-и-рукоделие
И
Искусство-и-развлечения
В
Взаимоотношения
З
Здоровье
К
Кулинария-и-гостеприимство
Ф
Финансы-и-бизнес
П
Питомцы-и-животные
О
Образование
О
Образование-и-коммуникации
hanbek81
hanbek81
06.02.2021 10:09 •  Информатика

Покажите, как из формулы Шеннона для энтропии (информации) получается формула Хартли. Почему величина энтропии и количество информации рассчитываются по одной формуле?

👇
Ответ:
фелекс54
фелекс54
06.02.2021

Объяснение:

Источник передает элементарные сигналы k различных типов. Проследим за достаточно длинным отрезком сообщения. Пусть в нем имеется N1 сигналов первого типа, N2 сигналов второго типа, ..., Nk сигналов k-го типа, причем N1 + N2 + ... + Nk = N – общее число сигналов в наблюдаемом отрезке, f1, f2, ..., fk – частоты соответствующих сигналов. При возрастании длины отрезка сообщения каждая из частот стремится к фиксированному пределу, т.е.

lim fi = pi, (i = 1, 2, ..., k),

где рi можно считать вероятностью сигнала. Предположим, получен сигнал i-го типа с вероятностью рi, содержащий – log pi единиц информации. В рассматриваемом отрезке i-й сигнал встретится примерно Npi раз (будем считать, что N достаточно велико), и общая информация, доставленная сигналами этого типа, будет равна произведению Npi log рi. То же относится к сигналам любого другого типа, поэтому полное количество информации, доставленное отрезком из N сигналов, будет примерно равно

Чтобы определить среднее количество информации, приходящееся на один сигнал, т.е. удельную информативность источника, нужно это число разделить на N. При неограниченном росте приблизительное равенство перейдет в точное. В результате будет получено асимптотическое соотношение – формула Шеннона

В последнее время она стала не менее распространенной, чем знаменитая формула Эйнштейна Е = mc2. Оказалось, что формула, предложенная Хартли, представляет собой частный случай более общей формулы Шеннона. Если в формуле Шеннона принять, что

р1 = p2 = ... = рi = ... =pN = 1/N, то

Знак минус в формуле Шеннона не означает, что количество информации в сообщении – отрицательная величина. Объясняется это тем, что вероятность р, согласно определению, меньше единицы, но больше нуля. Так как логарифм числа, меньшего единицы, т.е. log pi – величина отрицательная, то произведение вероятности на логарифм числа будет положительным.

Кроме этой формулы, Шенноном была предложена абстрактная схема связи, состоящая из пяти элементов (источника информации, передатчика, линии связи, приемника и адресата), и сформулированы теоремы о пропускной помехоустойчивости, кодировании и т.д.

В результате развития теории информации и ее приложений идеи Шеннона быстро распространяли свое влияние на самые различные области знаний. Было замечено, что формула Шеннона очень похожа на используемую в физике формулу энтропии, выведенную Больцманом. Энтропия обозначает степень неупорядоченности статистических форм движения молекул. Энтропия максимальна при равновероятном распределении параметров движения молекул (направлении, скорости и пространственном положении). Значение энтропии уменьшается, если движение молекул упорядочить. По мере увеличения упорядоченности движения энтропия стремится к нулю (например, когда возможно только одно значение и направление скорости). При составлении какого-либо сообщения (текста) с энтропии можно характеризовать степень неупорядоченности движения (чередования) символов. Текст с максимальной энтропией – это текст с равновероятным распределением всех букв алфавита, т.е. с бессмысленным чередованием букв, например: ЙХЗЦЗЦЩУЩУШК СБСЬМ. Если при составлении текста учтена реальная вероятность букв, то в получаемых таким образом «фразах» будет наблюдаться определенная упорядоченность движения букв, регламентируемая частотой их появления: ЕЫТ ЦИЯЬА ОКРВ ОДНТ ЬЧЕ МЛОЦК ЗЬЯ ЕНВ ТША.

При учете вероятностей четырехбуквенных сочетаний текст становится настолько упорядоченным, что по некоторым формальным признакам приближается к осмысленному: ВЕСЕЛ ВРАТЬСЯ НЕ СУХОМ И НЕПО И КОРКО. Причиной такой упорядоченности в данном случае является информация о статистических закономерностях текстов. В осмысленных текстах упорядоченность, естественно, еще выше. Так, в фразе ПРИШЛ... ВЕСНА мы имеем еще больше информации о движении (чередовании) букв. Таким образом, от текста к тексту увеличиваются упорядоченность и информация, которой мы располагаем о тексте, а энтропия (мера неупорядоченности) уменьшается.

Используя различие формул количества информации Шеннона и энтропии Больцмана (разные знаки), Л. Бриллюэн охарактеризовал информацию как отрицательную энтропию, или негэнтропию. Так как энтропия является мерой неупорядоченности, то информация может быть определена как мера упорядоченности материальных систем.

В связи с тем, что внешний вид формул совпадает, можно предположить, что понятие информация ничего не добавляет к понятию энтропии. Однако это не так. Если понятие энтропии применялось ранее только для систем, стремящихся к термодинамическому равновесию, т.е. к максимальному беспорядку в движении ее составляющих, к увеличению энтропии, то понятие информации обратило внимание и на те системы, которые не увеличивают энтропию, а наоборот, находясь в состоянии с небольшими значениями энтропии, стремятся к ее дальнейшему уменьшению.

4,4(87 оценок)
Открыть все ответы
Ответ:
anara34
anara34
06.02.2021

Этап 1

1. Разработка концепции:

возраст пользователя.

вид игры: развлекающая, развивающая, обучающая, комплексная.

2. Разработка адресных требований к игре:

к сценарию.

к игровой среде.

к графике игры.

3. Написание сценария:

создание сюжетной канвы с определением персонажей игры.

прописывание диалогов.

внесение в канву сценария игровых моментов (развлекающих, обучающих, развивающих).

прописывание речёвок и моментов ожидания действий пользователя.

проверка сценария на: удобство управления игрой, удобство перемещения в игровом поле, соответствие концепции и требованиям к данной игре; взаимное соответствие элементов сценария друг другу.

4. Разработка технических требований к игре и подготовка тех.задания.

5. Взаимодействие с разработчиками технической части игры:

передача сценария в разработку.

разработка визуальных образов персонажей и фонов игры.

стыковка пожеланий заказчика игры с возможностями разработчиков по организации игрового Озвучка персонажей, если в игре имеются говорящие персонажи.

6. Тестовая версия игры.

7. Подготовка второго этапа - итоги предварительной работы, обобщение опыта, план работы по доработке игры.

4,8(23 оценок)
Ответ:
gabjagYT
gabjagYT
06.02.2021

#include <iostream>

using namespace ::std;

int main()

{

   setlocale(LC_CTYPE , "rus");

   

   int n, i, j = 0, k = 0;

   double s = 0;

   cout << "Введите количество элементов: \n";

   cin >> n;

   float x;

   float *massiv = new float[n];

   if (!massiv)

   {

       cout << "Сбой программы!\n";

       system("pause");

        return 0;

   }

   cout << "Введите массив с " << ' ' << n << ' ' << "элементов\n";

   for (i = 0; i < n; i++)

       cin >> *(massiv + i);

   cout << "Заданный массив: " << endl;

   for (int i = 0; i < n; i++)

       

       cout << *(massiv + i) << ' ' << endl;

 

   for (i = 0; i<n; i++)

   {

       if (massiv[i]>0)

           k++;

   }

   cout << " Количество положительных элементов = " << k << '\n';

 

 

   for (i = 0; i<n; i++)

   {

       if (massiv[i] == 0) {

           j = massiv[i];

           x = i;

       }

   }

 

   for (i = x; i<n; i++)

       s += massiv[i];

 

   cout << "Сумма =" << s;

   float *massiv2 = new float[n];

   if (!massiv2)

   {

       cout << "Сбой программы !\n";

       system("pause");

       return 0;

   }

   for (i = 0; i < n; i++)

       if (massiv[i] <= 1)

       {

           massiv2[j] = massiv[i];

           j++;

       }

 

   for (i = 0; i < n; i++)

       if (fabs(massiv[i]) > 1)

       {

           massiv2[j] = massiv[i];

           j++;

       }

   cout << endl << "Отсортированный массив: " << endl;

   for (int j = 0; j < n; j++)

       cout << '\n' << massiv2[j] << ' ';

 

   delete[] massiv;

   delete[] massiv2;

   system("pause");

   return 0;

}

В работо не сомневайся.

4,7(46 оценок)
Это интересно:
Новые ответы от MOGZ: Информатика
logo
Вход Регистрация
Что ты хочешь узнать?
Спроси Mozg
Открыть лучший ответ