Teoria de la informacion

3413 palabras 14 páginas
Teoría de la información | Comunicaciones Digitales | | | | | 07/12/2009 | |

Índice

* Introducción

* Medición de la cantidad de información de un mensaje.

* Entropía.

* Algoritmos para obtener códigos de mínima longitud.

* Ventajas y desventajas de los códigos de mínima longitud.

* Campos de aplicación de los códigos de mínima longitud.

* Códigos criptográficos.

FUNDAMENTOS BÁSICOS DE LA TEORÍA DE LA INFORMACIÓN

La información es almacenada en forma digital, sin embargo hubo un periodo durante el cual las computadoras eran una novedad, y donde los únicos medios de almacenamiento conocidos eran los libros. Es en ese marco que un matemático francés: Claude Shannon se dedicó a elaborar una
…ver más…
El contenido sólo es importante en la medida que afecta la probabilidad. La cantidad de información que proporciona un mensaje varía de un contexto a otro, porque la probabilidad de enviar un mensaje varía de un contexto a otro.

Un segundo principio que guarda relación con las elecciones sucesivas establece que si son seleccionados los mensajes X e Y, la cantidad de información proporcionada por ambos mensajes será igual a la cantidad de información proporcionada por X más la cantidad de información proporcionada por Y, dado que X ya ha sido seleccionada. Esto puede ser expresado así:

I(xi e yj) = f p(xi) + f p(yj/xi)

Donde

I(xi e yj): cantidad de información proporcionada por los mensajes xi e yj f: función p(xi): probabilidad de xi p(yj/xi): probabilidad de yj dado que xi ha sido seleccionado.

Entropía

De acuerdo a la teoría de la información, el nivel de información de una fuente se puede medir según la entropía de la misma. Los estudios sobre la entropía son de suma importancia en la teoría de la información y se deben principalmente a Shannon, existen a su vez un gran número de propiedades respecto de la entropía de variables aleatorias debidas a Kolmogorov.

Dada una fuente "F" que emite mensajes, resulta frecuente observar que los mensajes emitidos no resulten equiprobables sino que tienen una cierta probabilidad de

Documentos relacionados

  • Tecnologías de la información
    1276 palabras | 6 páginas
  • Las fuentes de informacion
    1992 palabras | 9 páginas
  • Teoría del procesamiento de información
    613 palabras | 3 páginas
  • Sociedad de la informacion
    9694 palabras | 39 páginas
  • Sintesis De La Informacion
    2560 palabras | 11 páginas
  • Sistemas de la informacion
    824 palabras | 4 páginas
  • Jerarquizacion De La Informacion
    10517 palabras | 43 páginas
  • Tecnologias De La Informacion
    1085 palabras | 5 páginas
  • recopilacion de informacion teoria del muestreo
    4966 palabras | 20 páginas
  • Teoria de la informacion
    2418 palabras | 10 páginas