Entrópia

A Wikipédiából, a szabad lexikonból.

Az entrópia a hőtan és az informatika fontos fogalma.

[szerkesztés] Hőtani értelmezés

Egy zárt termodinamikai rendszer a különböző állapotait meghatározott valószínűséggel veszi fel. A lehetséges állapotok összességét jellemzi az állapothalmaz: S=\{x_{1},x_{2},x_{3},\dots \}.

Az állapotok termodinamikai valószínűsége (hagyományosan) \Omega=\{\omega_{1},\omega_{2},\omega_{3},\dots \}.

A rendszer entrópiája az xi állapotban

S_{i}=-k\cdot \ln \omega_{i},

ahol k a Boltzmannn-állandó. A termodinamikai entrópia fogalmát és Clausius vezette be.


[szerkesztés] Informatikai értelmezés

A kommunikációs kapcsolatban a hírforrás, mint stochasztikus (véletlenszerű) kibernetikai rendszer működik. Állapotait véletlenszerűen veszi fel, s az eseményekről tudósítő híreket véletlenszerűen sugározza (küldi). A forrás hírkészlete: H=\{h_{1},h_{2},h_{3},\dots \}, és a rendszer állapothalmaza (l. fent) között természetes az egy-egy értelmű megfeleltetés, ami ezért a hírkészlet és az állapot-valószínűségek P=\{p_{1},p_{2},p_{3},\dots \} között is fennáll. A forrás egy hírének az entrópiája:

\eta (h_{i})=-p_{i}\cdot \log _{2} p_{i}.

A rendszer entrópiája ezek összegezésével adódik: H(S)=-\sum p_{i}\log _{2}p_{i}.

A forrás-entrópia a híreinek átlagos hírértéke. A fizikai entrópia formulájához való hasonlóság nyomán "keresztelte el" Shannon.