Teoria de la informacion

2418 palabras 10 páginas
TEORIA DE LA INFORMACION

La Teoría de la Información es una teoría matemática creada por Claude Shannon en el año 1948 y que forma la piedra angular sobre la que se ha desarrollado toda la teoría actual de la comunicación y la codificación. Esta teoría establece los límites de cuánto se puede comprimir la información y de cuál es la máxima velocidad a la que se puede transmitir información. La Teoría de la Información es, por tanto una teoría de límites alcanzables: máxima compresión de datos y máxima tasa de transmisión de información transmitida sin errores. Las aplicaciones de esta teoría son enormes y abarcan desde las ciencias de la computación (criptografía, aprendizaje), la ingeniería eléctrica (Teoría de la comunicación y teoría
…ver más…
Obviamente, no podemos predecir con exactitud cuál será el siguiente carácter en la cadena y eso la haría aparentemente aleatoria; pero es la entropía la encargada de medir precisamente esa aleatoriedad, y fue presentada por Shannon en su artículo de 1948 A Mathematical Theory of Communication ("Una Teoría Matemática de la Comunicación", en inglés).
Shannon ofrece una definición de entropía que satisface las siguientes afirmaciones: • La medida de información debe ser proporcional (continua). Es decir, el cambio pequeño en una de las probabilidades de aparición de uno de los elementos de la señal debe cambiar poco la entropía. • Si todos los elementos de la señal son equiprobables a la hora de aparecer, entonces, la entropía será máxima.

Definición formal [editar]

La entropía nos indica el límite teórico para la compresión de datos. También es una medida de la información contenida en el mensaje
Su cálculo se realiza mediante la siguiente fórmula: [pic] donde H es la entropía, las p son las probabilidades de que aparezcan los diferentes códigos y n el número total de códigos. Si nos referimos a un sistema, las p se refieren a las probabilidades de que se encuentre en un determinado estado y n el número total de posibles estados.
Se utiliza habitualmente el logaritmo en base 2, y entonces la entropía se mide en bits.
Por ejemplo: El lanzamiento de una moneda al aire para ver si sale cara o cruz (dos estados con probabilidad 0,5) tiene una

Documentos relacionados

  • Tecnologías de la información
    1276 palabras | 6 páginas
  • Las fuentes de informacion
    1992 palabras | 9 páginas
  • Teoría del procesamiento de información
    613 palabras | 3 páginas
  • Sociedad de la informacion
    9694 palabras | 39 páginas
  • Sintesis De La Informacion
    2560 palabras | 11 páginas
  • Teoria de la informacion
    3413 palabras | 14 páginas
  • Sistemas de la informacion
    824 palabras | 4 páginas
  • Jerarquizacion De La Informacion
    10517 palabras | 43 páginas
  • Tecnologias De La Informacion
    1085 palabras | 5 páginas
  • recopilacion de informacion teoria del muestreo
    4966 palabras | 20 páginas