Энтропия — мера неопределенности случайного состояния некоторой системы. Мы рассматриваем информационные системы, т.е. системы, воспринимающие, хранящие, перерабатывающие и использующие информацию. Нормальное функционирование подобных систем — это прием-передача информационных сообщений. При получении сообщения неопределенность, т.е. мера «незнания», уменьшается или вовсе устраняется. Таким образом, энтропия может служить информационной характеристикой количества информации, устраненной при получении сообщения.
Для целей теории информации мы определим энтропию как среднее количество информации, приходящееся на одно сообщение в ансамбле сообщений (или на один символ в отдельном сообщении). Иначе говоря, энтропия — это математическое ожидание количества информации в сообщении.
Пусть информационная система может порождать ансамбль (алфавит) сообщений аг, а2, ..., ат. Вероятности каждого сообщения следующие: Р(а{), Р(а2), ..., Р(аш). Так как вероятности сообщений не одинаковы, то они несут разное количество информации, определяемое формулой Шеннона:
Среднее количество информации (математическое ожидание количества информации) ансамбля сообщений вычисляется по известной формуле:
Совершенно аналогично вводится энтропия сообщений:
Энтропия не зависит от конкретного сообщения. Это характеристика информационной системы (источника, приемника сообщений или канала передачи сообщений). Энтропия в таком виде является априорной характеристикой и может быть вычислена до эксперимента, если известны вероятностные характеристики сообщений. Энтропия характеризует неопределенность ситуации до передачи сообщения, поскольку заранее неизвестно, какое сообщение из ансамбля будет передано. Чем больше энтропия, тем сильнее неопределенность и тем большую информацию в среднем несет одно сообщение источника. Сравнивая формулы (2.8) и (2.6) видим, что / = п • Я.
Знаю только два определение белков: белки обнаруживают с концентрированной азотной кислоты,она образует желтое окрашивание. определение крахмала: в воду добавляем настойку йода и капаем на продукт,образует фиолетовое окрашевание.
Белки- кусок мяса бросаем в холодную воду и доводим до кипения.мышцы при нагревании расширяются и из них выходит белок и сварачивается (то что мы называем накипью-пенкой). глюкоза- в яблочный сок добавляем сульфат и начинаем нагревать.если начнет изменяться цвет на зеленый, значит есть глюкоза. жиры- арахис положим на салфетку и раздавим, на салфетке останется жирное пятно.это растительные масла. крахмал- на срез картофеля накапаем раствор йода, если срез картофеля стал сильно фиолетовый(ну или даже стал фиолетовым), то это определяет наличие крахмала.(мало или много). все что я знаю и
Энтропия — мера неопределенности случайного состояния некоторой системы. Мы рассматриваем информационные системы, т.е. системы, воспринимающие, хранящие, перерабатывающие и использующие информацию. Нормальное функционирование подобных систем — это прием-передача информационных сообщений. При получении сообщения неопределенность, т.е. мера «незнания», уменьшается или вовсе устраняется. Таким образом, энтропия может служить информационной характеристикой количества информации, устраненной при получении сообщения.
Для целей теории информации мы определим энтропию как среднее количество информации, приходящееся на одно сообщение в ансамбле сообщений (или на один символ в отдельном сообщении). Иначе говоря, энтропия — это математическое ожидание количества информации в сообщении.
Пусть информационная система может порождать ансамбль (алфавит) сообщений аг, а2, ..., ат. Вероятности каждого сообщения следующие: Р(а{), Р(а2), ..., Р(аш). Так как вероятности сообщений не одинаковы, то они несут разное количество информации, определяемое формулой Шеннона:
Среднее количество информации (математическое ожидание количества информации) ансамбля сообщений вычисляется по известной формуле:
Совершенно аналогично вводится энтропия сообщений:
Энтропия не зависит от конкретного сообщения. Это характеристика информационной системы (источника, приемника сообщений или канала передачи сообщений). Энтропия в таком виде является априорной характеристикой и может быть вычислена до эксперимента, если известны вероятностные характеристики сообщений. Энтропия характеризует неопределенность ситуации до передачи сообщения, поскольку заранее неизвестно, какое сообщение из ансамбля будет передано. Чем больше энтропия, тем сильнее неопределенность и тем большую информацию в среднем несет одно сообщение источника. Сравнивая формулы (2.8) и (2.6) видим, что / = п • Я.