domingo, 15 de abril de 2012

¿Cómo se define el concepto de entropía y qué relación guarda con el de información?

En el ámbito de la teoría de la información la entropía, también llamada entropía de la información y entropía de Shannon(en honor a Claude E. Shannon), mide la incertidumbre de una fuente de información.
La Entropía también se puede considerar como la cantidad de información promedio que contienen los símbolos usados. Los símbolos con menor probabilidad son los que aportan mayor información; por ejemplo, si se considera como sistema de símbolos a las palabras en un texto, palabras frecuentes como "que", "el", "a" aportan poca información. Mientras que palabras menos frecuentes como "corren", "niño", "perro" aportan más información. Si de un texto dado borramos un "que", seguramente no afectará a la comprensión y se sobreentenderá, no siendo así si borramos la palabra "niño" del mismo texto original. Cuando todos los símbolos son igualmente probables (distribución de probabilidad plana), todos aportan información relevante y la entropía es máxima.

No hay comentarios:

Publicar un comentario