Энтропия в чем измеряется энтропия
Энтропия
Из Википедии — свободной энциклопедии
Энтропи́я (от др.-греч. ἐν «в» + τροπή «обращение; превращение») — широко используемый в естественных и точных науках термин (впервые введён в рамках термодинамики как функция состояния термодинамической системы), обозначающий меру необратимого рассеивания энергии или бесполезности энергии (потому что не всю энергию системы можно использовать для превращения в какую-нибудь полезную работу). Для понятия энтропии в данном разделе физики используют название термодинамическая энтропия; термодинамическая энтропия обычно применяется для описания равновесных (обратимых) процессов.
В статистической физике энтропия характеризует вероятность осуществления какого-либо макроскопического состояния. Кроме физики, термин широко употребляется в математике: теории информации и математической статистике. В этих областях знания энтропия определяется статистически и называется статистической или информационной энтропией. Данное определение энтропии известно также как энтропия Шеннона (в математике) и энтропия Больцмана—Гиббса (в физике).
Хотя понятия термодинамической и информационной энтропии вводятся в рамках различных формализмов, они имеют общий физический смысл — логарифм числа доступных микросостояний системы. Взаимосвязь этих понятий впервые установил Людвиг Больцман. В неравновесных (необратимых) процессах энтропия также служит мерой близости состояния системы к равновесному: чем больше энтропия, тем ближе система к равновесию (в состоянии термодинамического равновесия энтропия системы максимальна).
В широком смысле, в каком слово часто употребляется в быту, энтропия означает меру сложности, хаотичности или неопределённости системы: чем меньше элементы системы подчинены какому-либо порядку, тем выше энтропия.
Энтропия (теория информации)
Энтропи́я (информационная) — мера хаотичности информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.
Для иллюстрации понятия информационной энтропии можно также прибегнуть к примеру из области термодинамической энтропии, получившему название демона Максвелла. Концепции информации и энтропии имеют глубокие связи друг с другом, но, несмотря на это, разработка теорий в статистической механике и теории информации заняла много лет, чтобы сделать их соответствующими друг другу.
Содержание
Формальные определения
Тогда энтропия будет определяться как:
От основания логарифма зависит единица измерения информации и энтропии: бит, нат или хартли.
Информационная энтропия для независимых случайных событий x с n возможными состояниями (от 1 до n ) рассчитывается по формуле:
Шеннон предположил, что прирост информации равен утраченной неопределённости, и задал требования к её измерению:
Шеннон показал, что единственная функция, удовлетворяющая этим требованиям, имеет вид:
где K — константа (и в действительности нужна только для выбора единиц измерения).
Шеннон определил, что измерение энтропии (
), применяемое к источнику информации, может определить требования к минимальной пропускной способности канала, требуемой для надёжной передачи информации в виде закодированных двоичных чисел. Для вывода формулы Шеннона необходимо вычислить математическое ожидание «количества информации», содержащегося в цифре из источника информации. Мера энтропии Шеннона выражает неуверенность реализации случайной переменной. Таким образом, энтропия является разницей между информацией, содержащейся в сообщении, и той частью информации, которая точно известна (или хорошо предсказуема) в сообщении. Примером этого является избыточность языка — имеются явные статистические закономерности в появлении букв, пар последовательных букв, троек и т. д. См.: Цепи Маркова.
Определение энтропии Шеннона связано с понятием термодинамической энтропии. Больцман и Гиббс проделали большую работу по статистической термодинамике, которая способствовала принятию слова «энтропия» в информационную теорию. Существует связь между термодинамической и информационной энтропией. Например, демон Максвелла также противопоставляет термодинамическую энтропию информации, и получение какого-либо количества информации равно потерянной энтропии.
Альтернативное определение
Другим способом определения функции энтропии H является доказательство, что H однозначно определена (как указано ранее), если и только если H удовлетворяет условиям:
Свойства
Важно помнить, что энтропия является количеством, определённым в контексте вероятностной модели для источника данных. Например, кидание монеты имеет энтропию − 2(0,5log20,5) = 1 бит на одно кидание (при условии его независимости). У источника, который генерирует строку, состоящую только из букв «А», энтропия равна нулю: 
. Так, например, опытным путём можно установить, что энтропия английского текста равна 1,5 бит на символ, что конечно будет варьироваться для разных текстов. Степень энтропии источника данных означает среднее число битов на элемент данных, требуемых для её зашифровки без потери информации, при оптимальном кодировании.
Математические свойства
Эффективность
Исходный алфавит, встречающийся на практике, имеет вероятностное распределение, которое далеко от оптимального. Если исходный алфавит имел n символов, тогда он может быть сравнён с «оптимизированным алфавитом», вероятностное распределение которого однородно. Соотношение энтропии исходного и оптимизированного алфавита — это эффективность исходного алфавита, которая может быть выражена в процентах.
Энтропия ограничивает максимально возможное сжатие без потерь (или почти без потерь), которое может быть реализовано при использовании теоретически — типичного набора или, на практике, — кодирования Хаффмана, кодирования Лемпеля — Зива — Велча или арифметического кодирования.
Вариации и обобщения
Условная энтропия
Если следование символов алфавита не независимо (например, во французском языке после буквы «q» почти всегда следует «u», а после слова «передовик» в советских газетах обычно следовало слово «производства» или «труда»), количество информации, которую несёт последовательность таких символов (а следовательно и энтропия) очевидно меньше. Для учёта таких фактов используется условная энтропия.
Условной энтропией первого порядка (аналогично для Марковской модели первого порядка) называется энтропия для алфавита, где известны вероятности появления одной буквы после другой (то есть вероятности двухбуквенных сочетаний):
Так, для русского языка без буквы «ё» 
. [2]
| b1 | b2 | … | bj | … | bm | |
|---|---|---|---|---|---|---|
| a1 |  |  | … |  | … |  |
| a2 |  |  | … |  | … |  |
| … | … | … | … | … | … | … |
| ai |  |  | … |  | … |  |
| … | … | … | … | … | … | … |
| am |  |  | … |  | … |  |
Для вычисления потерь при передаче всех сигналов используется общая условная энтропия:
Взаимная энтропия
| p(a1b1) | p(a1b2) | … | p(a1bj) | … | p(a1bm) |
| p(a2b1) | p(a2b2) | … | p(a2bj) | … | p(a2bm) |
| … | … | … | … | … | … |
| p(aib1) | p(aib2) | … | p(aibj) | … | p(aibm) |
| … | … | … | … | … | … |
| p(amb1) | p(amb2) | … | p(ambj) | … | p(ambm) |
Условные вероятности производятся по формуле Байеса. Таким образом имеются все данные для вычисления энтропий источника и приёмника:
Взаимная энтропия вычисляется последовательным суммированием по строкам (или по столбцам) всех вероятностей матрицы, умноженных на их логарифм:
| H(AB) = − | ∑ | ∑ | p(aibj)logp(aibj). |
| i | j |
Единица измерения — бит/два символа, это объясняется тем, что взаимная энтропия описывает неопределённость на пару символов — отправленного и полученного. Путём несложных преобразований также получаем
Взаимная энтропия обладает свойством информационной полноты — из неё можно получить все рассматриваемые величины.
История
В 1948 году, исследуя проблему рациональной передачи информации через зашумлённый коммуникационный канал, Клод Шеннон предложил революционный вероятностный подход к пониманию коммуникаций и создал первую, истинно математическую, теорию энтропии. Его сенсационные идеи быстро послужили основой разработки двух основных направлений: теории информации, которая использует понятие вероятности и эргодическую теорию для изучения статистических характеристик данных и коммуникационных систем, и теории кодирования, в которой используются главным образом алгебраические и геометрические инструменты для разработки эффективных кодов.
Понятие энтропии, как меры случайности, введено Шенноном в его статье «A Mathematical Theory of Communication», опубликованной в двух частях в Bell System Technical Journal в 1948 году.
Что такое Энтропия
Определение энтропии
Энтропия (от др. греч. entropia — «поворот к» / «трансформация») — это мера хаоса, беспорядка или неопределённости в какой-то системе. Существует теория, что всё в мире идёт от порядка в сторону беспорядка, и энтропия измеряет эти изменения.
Пример энтропии — таяние льда в воде. В это время будет увеличиваться энтропия — это происходит когда идёт изменение от сформированного состояния к свободному, т. е. от упорядоченного к неупорядоченному.
Единица измерения энтропии называется энтропийной единицей — Дж/К, ккал/К.
Формула энтропии
Существует несколько вариантов формулы энтропии. Одна из них:
«S» — мера энтропии;
«Q» — мера тепла;
«Т» — температура системы (в градусах Кельвина).
Энтропия в физике
Простыми словами энтропия — это мера распределения энергии. Когда энтропия высокая — энергия распределена, когда низкая — энергия сконцентрирована.
Энтропия в термодинамике
Энтропия — это термодинамическое количество, которое показывает сколько энергии в системе, которая уже не доступна для выполнения механической работы.
Энтропия Вселенной
Во втором законе термодинамики говорится, что в спонтанном процессе общая энтропия Вселенной постоянно увеличивается; это означает, что она становится более неупорядоченной, хаотичной.
Энтропия идеального газа
Энтропия системы
Энтропия — это мера случайной активности в системе, мера тепловой энергии системы на единицу температуры, которая недоступна для выполнения полезной работы.
Количество энтропии — это ещё и мера молекулярного беспорядка или случайности системы.
Эту концепцию открыл немецкий физик Рудольф Юлиус Эмануэль Клаузиус в 1850 году.
Энтропия в химии
Энтропия — функция состояния каждого вещества. Энтропия веществ меняется когда происходит химическая реакция. Это изменение энтропии веществ (ΔS) называется «энтропия реакции» или «изменение энтропии в процессе».
Это включает все вещества в реакции, и указывает на состояние системы, а то, как это состояние было достигнуто игнорируется.
Чем выше степень неупорядоченности системы, тем выше энтропия системы.
Разница между энтальпией и энтропией
Простыми словами, энтропия — это мера количества случайности или беспорядка в системе, т. е. мера случайной активности в системе. В то время как энтальпия — это мера общего количества энергии в системе.
Энтропия (в термодинамике)
| Термодинамические величины |
|---|
 |
| Статья является частью серии «Термодинамика». |
| Энтропия |
| Количество теплоты |
| Термодинамическая работа |
| Химический потенциал |
| См. также: Термодинамические потенциалы. |
| Разделы термодинамики |
| Начала термодинамики |
| Уравнение состояния |
| Термодинамические величины |
| Термодинамические потенциалы |
| Термодинамические циклы |
| Фазовые переходы |
| править |
Термодинами́ческая энтропи́я S, часто просто именуемая энтропия, в химии и термодинамике является функцией состояния термодинамической системы; её существование постулируется вторым началом термодинамики.
Содержание
Термодинамическое определение энтропии
Рудольф Клаузиус дал величине S имя «энтропия», происходящее от греческого слова τρoπή, «изменение» (изменение, превращение, преобразование). Данное равенство относится к изменению энтропии, не определяя полностью саму энтропию.
Эта формула применима только для изотермического процесса (происходящего при постоянной температуре). Её обобщение на случай произвольного квазистатического процесса выглядит так:
,
где — приращение (дифференциал) энтропии, а — бесконечно малое приращение количества теплоты.
Необходимо обратить внимание на то, что рассматриваемое термодинамическое определение применимо только к квазистатическим процессам (состоящим из непрерывно следующих друг за другом состояний равновесия).
Энтропия, таким образом, согласно вышеописанному, определена вплоть до произвольной аддитивной постоянной. Третье начало термодинамики позволяет определить её точнее: предел величины энтропии равновесной системы при стремлении температуры к абсолютному нулю полагают равным нулю.
Статистическое определение энтропии: принцип Больцмана
В 1877 году Людвиг Больцман нашёл, что энтропия системы может относиться к количеству возможных «микросостояний» (микроскопических состояний), согласующихся с их термодинамическими свойствами. Рассмотрим, например, идеальный газ в сосуде. Микросостояние определено как позиции и импульсы (моменты движения) каждого составляющего систему атома. Связность предъявляет к нам требования рассматривать только те микросостояния, для которых: (I) месторасположения всех частей расположены в рамках сосуда, (II) для получения общей энергии газа кинетические энергии атомов суммируются. Больцман постулировал, что:
где константу k=1,38•10 –23 Дж/К мы знаем теперь как постоянную Больцмана, а Ω является числом микросостояний, которые возможны в имеющемся макроскопическом состоянии (статистический вес состояния). Этот постулат, известный как принцип Больцмана, может быть оценен как начало статистической механики, которая описывает термодинамические системы, используя статистическое поведение составляющих их компонентов. Принцип Больцмана связывает микроскопические свойства системы (Ω) с одним из её термодинамических свойств (S).
Согласно определению Больцмана, энтропия является просто функцией состояния. Так как Ω может быть только натуральным числом (1,2,3,…), то энтропия Больцмана должна быть положительной — исходя из свойств логарифма.
Понимание энтропии как меры беспорядка
Существует мнение, что мы можем смотреть на Ω и как на меру беспорядка в системе. В определённом смысле это может быть оправдано, потому что мы думаем об «упорядоченных» системах как о системах, имеющих очень малую возможность конфигурирования, а о «беспорядочных» системах, как об имеющих очень много возможных состояний. Собственно, это просто переформулированное определение энтропии как числа микросостояний на данное макросостояние.
Рассмотрим, например, распределение молекул идеального газа. В случае идеального газа наиболее вероятным состоянием, соответствующим максимуму энтропии, будет равномерное распределение молекул. При этом реализуется и максимальный «беспорядок», т.к. при этом будут максимальные возможности конфигурирования.
Границы применимости понимания энтропии как меры беспорядка
Подобное определение беспорядка термодинамической системы как количества возможностей конфигурирования системы фактически дословно соответствует определению энтропии как числа микросостояний на данное макросостояние. Проблемы начинаются в двух случаях:
Рассмотрим оба пункта более подробно.
Однако многие учёные стали отождествлять информацию с «отрицательной энтропией» ввиду совпадения выражений для этих понятий. Начало этому заблуждению положил Н. Винер [3] (стр. 23). На самом деле энтропия не является мерой дезорганизации, мерой беспорядка и хаоса, а информация совсем не является мерой упорядоченности, организованности, порядка.
Рассмотрим второй случай неверного применения понятия энтропии.
Рассмотрим, например, набор 10 монет, каждая из которых может находиться либо в состоянии «орёл», либо в состоянии «решка». Наиболее «упорядоченным» макроскопическим состоянием будет являться или 10 «орлов», или 10 «решек»; для каждого результата в каждом случае имеется только одна возможная конфигурация. И наоборот, наиболее «неупорядоченное» состояние содержит 5 «орлов» и 5 «решек», и здесь 10 C5 = 252 способов для получения этого результата (см. комбинаторика.)
Безусловно, этот пример также некорректен, т.к. система монет не является термодинамической системой, и поэтому термодинамическая энтропия системы в обоих случаях (как бы ни были перевёрнуты монеты) окажется, конечно, одинаковой. Т.о., разбросанные по комнате стулья не имеют отношения к термодинамической энтропии, хотя и могут иметь отношение к энтропии информационной.
Впрочем, это легко подтвердить на практике: замкнутая система 10 монет, перевёрнутых орлами вверх, самопроизвольно не перейдёт в систему хаотично перевёрнутых монет.
Энтропия в открытых системах
В силу второго начала термодинамики, энтропия замкнутой системы не может уменьшаться» (закон неубывания энтропии). Математически это можно записать так: , индекс обозначает так называемую внутреннюю энтропию, соответствующую замкнутой системе. В открытой системе возможны потоки тепла как из системы, так и внутрь неё. В случае наличия потока тепла в систему приходит количество тепла при температуре и уходит количество тепла при температуре . Приращение энтропии, связанное с данными тепловыми потоками, равно:
В стационарных системах обычно , T_<2>>» />, так что . Поскольку здесь изменение энтропии отрицательно, то часто употребляют выражение «приток негэнтропии», вместо оттока энтропии из системы. Негэнтропия определяется таким образом как обратная величина энтропии. Суммарное изменение энтропии открытой системы будет равно:
Если всё время 0>» />, то рост внутренней энтропии не компенсируется притоком внешней негэнтропии, система движется к ближайшему состоянию равновесия. Если , то мы имеем стационарный процесс с неизменной общей энтропией. В этом случае в системе осуществляется некоторая внутренняя работа с генерацией внутренней энтропии, которая преобразует, например, температуру внешнего потока тепла в температуру уходящего из системы потока тепла.
Измерение энтропии
Для упрощения мы будем исследовать механическую систему, термодинамические состояния которой будут определены через её объем V и давление P. Для измерения энтропии определенного состояния мы должны сперва измерить теплоёмкость при постоянных объёме и давлении (обозначенную CV и CP соответственно), для успешного набора состояний между первоначальным состоянием и требуемым. Тепловые ёмкости связаны с энтропией S и с температурой T согласно формуле:
где нижний индекс X относится к постоянным объёму и давлению. Мы можем проинтегрировать для получения изменения энтропии:
Таким образом, мы можем получить значение энтропии любого состояния (P,V) по отношению к первоначальному состоянию (P0,V0). Точная формула зависит от нашего выбора промежуточных состояний. Для примера, если первоначальное состояние имеет такое же давление, как и конечное состояние, то
Энтропия первоначального состояния должна быть определена независимо. В идеальном варианте выбирается первоначальное состояние как состояние при экстремально высокой температуре, при которой система существует в виде газа. Энтропия в этом состоянии подобна энтропии классического идеального газа плюс взнос от молекулярных вращений и колебаний, которые могут быть определены спектроскопически.
Построение графика изменения энтропии
Следующее уравнение может быть использовано для построения графика изменения энтропии на диаграмме P-V:
Здесь два замечания: (1) это не определение энтропии (но выведено из него), (2) предполагается, что CV и CP постоянные, что на самом деле не так.
См. также
Литература
Ссылки
Выделить Энтропия (в термодинамике) и найти в: