TEORÍA DE LA INFORMACIÓN

Ésta teoría es una rama de la teoría matemática de la probabilidad, y está relacionada con algunas leyes matemáticas que rigen la transmisión y el procesamiento de la información. En sí, creo que la teoría de la información se encarga de medir la información y representarla, además estudia los canales de información y los componentes de un sistema de comunicación, entre otros, (Enseguida se mencionarán algunos aspectos no mencionados en “Teoría de la información”, wikipedia).

La teoría de la información abarca todas las formas de transmisión y almacenamiento de información, (la televisión, impulsos eléctricos transmitidos en las computadoras o la grabación óptica de datos e imágenes, etc.).

Ésta teoría la desarrolló en 1948, por un ingeniero electrónico estadounidense llamado Claude E. Shannon, en su artículo, A Mathematical Theory of Communication (Teoría matemática de la comunicación).

Pero para hablar de esta teoría debemos saber el significado de ciertos términos:

*Información: Es todo aquello que modifica el estado de un sistema.
En este caso, el término información se refiere a los mensajes transmitidos: voz o música transmitida por teléfono o radio, imágenes transmitidas por televisión, etc.
*Sistema: Conjunto de partes que interactúan entre sí.
En particular se hablara de un sistema de comunicación, el cual consta de varios componentes.

1. Fuente de información, que produce un mensaje el cual será transmitido (por ejemplo, una persona hablando).

2. Transmisor, convierte el mensaje en señales electrónicas o electromagnéticas (por ejemplo, un teléfono).

3. Canal, el mensaje convertido en señal es transmitido a través de éste. (por ejemplo un cable o la atmósfera). Es importante señalar que los canales pueden sufrir interferencias externas, que distorsionan la señal como el ruido.

4. Receptor, transforma de nuevo la señal recibida en el mensaje original.

5. Destinatario, quien recibe el mensaje, por ejemplo una persona que escucha el mensaje.

La teoría de la información investiga la probabilidad de sucesos inciertos y trata de cuantificar la información conocida para así reducir el margen de error, por ejemplo si sabemos que una palabra comienza con cierta letra, particularmente “c”, entonces comenzamos a imaginar varias posibles respuestas, puesto que ya tenemos conocimiento de varias palabras comunes que comienzan con esa letra, pero si la cambiamos por una “x”, entonces nuestras posibles opciones de respuestas se reducen por que conocemos menos palabras que comienzan con “x”, esto es lo que estudia ésta teoría y para ello debe saber la cantidad de la información, que no es mas que la probabilidad de que un mensaje, dentro de un conjunto de mensajes posibles, sea recibido.

Para relacionar la cantidad de información representada por (I), con la probabilidad, Shannon presentó la fórmula siguiente:

I = log21/p

donde p es la probabilidad del mensaje que se transmite y log2 es el logaritmo de 1/p en base 2.
En un evento incierto (como el mencionado anteriormente sobre la primera letra de una palabra), la información es una función de las posibles probabilidades de cada suceso, y es representado por:

I=I(p1, p2,…pn l conocimiento)

Donde pi=probabilidades de ocurrencia de cada uno de los sucesos posibles compatibles con el conocimiento que tenemos. Sin embargo esta teoría no nos dice si el conocimiento que tenemos es cierto o no, más bien lo supone como verdadero.

LA ENTROPÍA


La definición de entropía es la siguiente:
Medida de la incertidumbre existente ante un conjunto de mensajes, de los cuales se va a recibir uno solo.

Designa la cantidad de información media de estos mensajes, pues la información es tratada como magnitud física y necesita de una secuencia de símbolos.

Podemos decir que la entropía es el grado de ‘desorden’ en un sistema. En la teoría de la información la entropía de un mensaje es igual a su cantidad de información media.
A un sistema se le puede extraer información, ésta relación esta dada por:

S ≥ S – I ≥ 0

En general, la teoría de la información es muy importante pues se aplicada en diversas áreas como la cibernética, la criptografía, la lingüística, la psicología y la estadística, por mencionar algunas.