Entrópia
A Wikipédiából, a szabad lexikonból.
Az entrópia a hőtan és az informatika fontos fogalma.
[szerkesztés] Hőtani értelmezés
Egy zárt termodinamikai rendszer a különböző állapotait meghatározott valószínűséggel veszi fel. A lehetséges állapotok összességét jellemzi az állapothalmaz:
.
Az állapotok termodinamikai valószínűsége (hagyományosan)
.
A rendszer entrópiája az xi állapotban
,
ahol k a Boltzmannn-állandó. A termodinamikai entrópia fogalmát és Clausius vezette be.
[szerkesztés] Informatikai értelmezés
A kommunikációs kapcsolatban a hírforrás, mint stochasztikus (véletlenszerű) kibernetikai rendszer működik. Állapotait véletlenszerűen veszi fel, s az eseményekről tudósítő híreket véletlenszerűen sugározza (küldi). A forrás hírkészlete:
, és a rendszer állapothalmaza (l. fent) között természetes az egy-egy értelmű megfeleltetés, ami ezért a hírkészlet és az állapot-valószínűségek
között is fennáll. A forrás egy hírének az entrópiája:
.
A rendszer entrópiája ezek összegezésével adódik:
.
A forrás-entrópia a híreinek átlagos hírértéke. A fizikai entrópia formulájához való hasonlóság nyomán "keresztelte el" Shannon.


Based on work by