Энтропия и информация

4 Энтропия и информация

Уже упомянутому Рудольф Клаузиусу также принадлежит другая формулировка Второго начала термодинамики: «Невозможен процесс, единственным результатом которого являлась бы передача тепла от более холодного тела к более горячему».

Проведем мысленный эксперимент, предложенный Джеймсом Максвеллом в 1867 году: предположим, сосуд с газом разделён непроницаемой перегородкой на две части: правую и левую. В перегородке отверстие с устройством (так называемый демон Максвелла), которое позволяет пролетать быстрым (горячим) молекулам газа только из левой части сосуда в правую, а медленным (холодным) молекулам — только из правой части сосуда в левую. Тогда, через большой промежуток времени, горячие молекулы окажутся в правом сосуде, а холодные — в левом [4].

Таким образом, газ в левой части резервуара будет нагреваться, а в правой - остывать. Таким образом, в изолированной системе тепло будет переходить от холодного тела к горячему с понижением энтропии системы в противоречии со вторым законом термодинамики. Л. Сциллард, рассмотрев один из упрощенных вариантов парадокса Максвелла, обратил внимание на необходимость получения информации о молекулах и открыл связь между информацией и термодинамическими характеристиками. В дальнейшем решение парадокса Максвелла было предложено многими авторами. Смысл всех решений заключается в следующем: информацию нельзя получать бесплатно. За нее приходится платить энергией, в результате чего энтропия системы повышается на величину, по крайней мере, равную ее понижению за счет полученной информации [1]. В теории информации энтропия – это мера внутренней неупорядоченности информационной системы. Энтропия увеличивается при хаотическом распределении информационных ресурсов и уменьшается при их упорядочении [2]. Рассмотрим основные положения теории информации в той форме, которую ей придал К. Шеннон. Информация, которую содержит событие (предмет, состояние) y о событии (предмете, состоянии) x равна (будем использовать логарифм по основанию 2):

I(x, y) = log(p(x/y) / p(x)),

где p(x) – вероятность события x до наступления события y (безусловная вероятность); p(x/y) – вероятность события x при условии наступления события y (условная вероятность).

Под событиями x и y обычно понимают стимул и реакцию, вход и выход, значение двух различных переменных, характеризующих состояние системы, событие, сообщение о нем. Величину I(x) называют собственной информацией, содержащейся в событии x.

Рассмотрим пример: нам сообщили (y), что ферзь стоит на шахматной доске в позиции x = a4. Если до сообщения вероятности пребывания ферзя во всех позициях были одинаковы и равны p(x) = 1/64, то полученная информация равно

I(x) = log(1/(1/64)) = log(64) = 6 бит. [3, С.12]

В качестве единицы информации I принимают количество информации в достоверном сообщении о событии, априорная вероятность которого равна 1/2. Эта единица получила название "бит" (от английского binary digits). [1]

Предположим теперь, что полученное сообщение было не вполне точным, например, нам сообщили, что ферзь стоит то ли в позиции a3, то ли в позиции a4. Тогда условная вероятность его пребывания в позиции x = a4 равна уже не единице, а p(x/y) = ½. Полученная информация будет равна

I(x, y) = log((1/2) / (1/64)) = 5 бит,

то есть уменьшится на 1 бит по сравнению с предыдущим случаем. Таким образом, взаимная информация тем больше, чем выше точность сообщения, и в пределе приближается к собственной информации. Энтропию можно определить как меру неопределенности или как меру разнообразия возможных состояний системы. Если система может находиться в одном из m равновероятных состояний, то энтропия H равна

H = log(m).

Например, число различных возможных положений ферзя на пустой шахматной доске равно m = 64. Следовательно, энтропия возможных состояний равна

H = log64 = 8 бит.

Если часть шахматной доски занята фигурами и недоступна для ферзя, то разнообразие его возможных состояний и энтропия уменьшаются.

Можно сказать, что энтропия служит мерой свободы системы: чем больше у системы степеней свобод, чем меньше на нее наложено ограничений, тем больше, как правило, и энтропия системы [3, С.13-15]. При этом нулевой энтропии соответствует полная информация (степень незнания равна нулю), а максимальной энтропии – полное незнание микросостояний (степень незнания максимальна) [6].

5 Негэнтропия

Явление снижения энтропии за счет получения информации отражается принципом, сформулированным в 1953 г. американским физиком Леоном Брюллиэн, исследовавшим взаимопревращение видов энергии. Формулировка принципа следующая: «Информация представляет собой отрицательный вклад в энтропию». Принцип носит название негэнтропийного принципа информации [5]. Понятие негэнтропия (то же, что и отрицательная энтропия или синропия) также применимо к живым системам, оно означает энропию, которую живая система экспортирует, чтобы снизить уровень собственной энтропии.

6. Энтропия и жизнь. Биологическая упорядоченность

Вопрос об отношении жизни ко второму началу термодинамики – это вопрос о том, является ли жизнь островком сопротивления второму началу. Действительно, эволюция жизни на Земле идет от простого к сложному, а второе начало термодинамики предсказывает обратный путь эволюции – от сложного к простому. Указанное противоречие объясняется в рамках термодинамики необратимых процессов. Живой организм как открытая термодинамическая система потребляет энтропии меньше, чем выбрасывает ее в окружающую среду. Величина энтропии в пищевых продуктах меньше, чем в продуктах выделения. Иными словами, живой организм существует за счет того, что имеет возможность выбросить энтропию, вырабатываемую в нем вследствие необратимых процессов, в окружающую среду [6].

Так, ярким примером является упорядоченность биологической организации человеческого тела. Понижение энтропии при возникновении такой биологической организации с легкостью компенсируется тривиальными физическими и химическими процессами, в частности, например, испарением 170 г воды [1].

Научный потенциал энтропии далеко не исчерпан уже существующими приложениями. В перспективе проникновение энтропии в новую область науки – синергетику, которая занимается изучением закономерностей образования и распада пространственно-временных структур в системах различной природы: физических, химических, биологических, экономических, социальных и так далее.

Список использованных источников

1 Блюменфельд Л.А. Информация, динамика и конструкция биологических систем. Режим доступа: http://www.pereplet.ru/obrazovanie/stsoros/136.html.

2 Глоссарий. Режим доступа: http://www.glossary.ru/cgi-bin/gl_sch2.cgi?RIt(uwsg.o9.

3 Голицын Г. А. Информация. Поведение, язык, творчество.М: ЛКИ, 2007г.

4 Демон Максвелла – Википедия. Режим доступа: http://ru.wikipedia.org/wiki/Демон_Максвелла.

5 Негэнтропия – Наука. Режим доступа: http://ru.science.wikia.com/wiki/Негэнтропия.

6 Осипов А. И., Уваров А. В. Энтропия и ее роль в науке. – МГУ им. М. В. Ломоносова, 2004.

7 Пригожин Современная термодинамика, М.: Мир, 2002.

8 Термодинамическая энтропия – Википедия. Режим доступа: http://ru.wikipedia.org/wiki/Термодинамическая_энтропия.