La Era de las Comunicaciones Digitales: El Gran Legado de Shannon

Dr. Ing. Carlos A. Medina C.
Facultad de Ingeniería Eléctrica
Universidad Tecnológica de Panamá

En este mundo digital, movido y moldeado por los sistemas electrónicos de comunicación y las tecnologías de la información, resulta más que pertinente conocer sobre el hombre que ha hecho esto posible: Claude E. Shannon. El Modelo de Shannon.

1. Las Ideas de Shannon

Shannon es considerado el padre de la comunicación digital moderna y la teoría de la información. Sin sus brillantes y visionarias ideas, publicadas por primera vez hace 60 años, tal vez aún no tendríamos las tecnologías y sistemas de comunicación de alta velocidad que nos resultan tan naturales hoy día.

En su publicación clásica, "Una Teoría Matemática de la Comunicación", de 1948 y en las siguientes publicaciones, Shannon describió lo que debía hacerse para crear sistemas de comunicación efectivos y eficientes. Sus modelos matemáticos indican a los ingenieros cuánta información puede transmitirse sobre los canales de comunicación. También subrayó los principios matemáticos de la codificación y corrección de errores que hacen posible hoy día la transmisión a alta velocidad. Las teorías de Shannon son tan relevantes hoy como cuando fueron formuladas por primera vez. Sus ideas fueron pensamientos realmente visionarios, tal como si el procesamiento a alta velocidad y de bajo costo hubiera sido supuesto, Shannon determinó los límites superiores en las velocidades de la comunicación. Sean los canales de telefonía, las comunicaciones ópticas o los sistemas inalámbricos, la teoría ha definido siempre los límites de la comunicación. Aún en los sistemas actuales con velocidades en el orden de los gigabits y terabits, Shannon nos muestra que aún hay un camino por recorrer para acercarnos a los límites predichos de velocidad en la transmisión de información.

Las ideas de Shannon que dieron origen a la Teoría de la Información en los 1940's son sin duda alguna uno de los grandes logros intelectuales del siglo pasado. El desarrollo continuo de estas ideas en el contexto de la ingeniería de comunicación es un monumento único a la grandeza y visión de Shannon.

El modelo de un sistema de comunicación formulado por Shannon es distintivo por su generalidad, así como por su disposición al análisis matemático. Él también formuló los problemas centrales de interés teórico para la transmisión de información, dando una solución brillante y elegante a estos problemas.

2. El Modelo de Shannon

Shannon vio el proceso de comunicación como un proceso esencialmente estocástico en su naturaleza, donde el significado semántico de la información no juega ningún papel en la transmisión de la misma. En este paradigma (Figura 1), información de una "fuente" (definida como un proceso estocástico) debe ser transmitida a través de un "canal" (definido por una probabilidad de transición que relaciona la salida del canal con la entrada). El diseñador del sistema puede colocar un dispositivo llamado "codificador'' entre la fuente y el canal, el cual introduce un retraso fijo y finito (codificación), y se coloca entonces un "decodificador'' a la salida del canal. La teoría busca responder la pregunta ¿qué tan rápido o confiable puede transmitirse la información de la fuente a través del canal?, cuando es posible la optimización con respecto al codificador/ decodificador.

Figura 1. Arquitectura de un sistema de comunicación.

La respuesta dada por Shannon a esta pregunta tiene dos partes: primero, da un límite fundamental, el cual, por ejemplo, puede indicar que para una fuente y un canal dados, es imposible lograr un nivel de fidelidad o confiabilidad mejor que un cierto valor; segundo, él muestra que para retrasos grandes del codificador, es posible lograr un desempeño que es esencialmente tan bueno como el límite fundamental. Para hacer esto, el codificador puede que tenga que hacer uso de un código complejo el cual no necesariamente se puede implementar en la práctica.

Una de las ideas más brillantes de Shannon fue la separación del problema fuente/ canal (donde el codificador tiene que tomarlos en cuenta a ambos) en dos problemas de codificación. Él demostró que, sin perder generalidad, uno puede estudiar la fuente y el canal por separado y asumir que éstos están conectados por una interfaz digital. Se tiene entonces que el codificador / decodificador de la fuente optimiza el desempeño fuente-a-digital, y el codificador / decodificador del canal optimiza el desempeño del canal, como una solución al problema original conjunto de fuente/canal. De esta forma, es posible separar completamente el diseño de cada una de estas partes, fuente y canal.

El hecho de que una interfaz digital entre la fuente y el canal es esencialmente óptima, tiene implicaciones profundas en la era moderna del almacenamiento digital y la comunicación de todos los tipos de información. Shannon mostró cómo se puede cuantificar la información con absoluta precisión y demostró la unidad fundamental de toda forma de información. Esencialmente todos los modos de comunicación, señales telefónicas, texto, ondas de radio, imágenes, vídeo, etc., se pueden codificar en bits que son posible entonces, transmitir y regenerar sin error.

3. Información

En el transcurso del desarrollo de la solución al problema básico de la comunicación expuesto arriba, Shannon introdujo varios conceptos matemáticos. Fundamental entre los mismos, es la noción de la "entropía" de una variable aleatoria (y por extensión de una secuencia aleatoria), la "información mutua" entre dos variables o secuencias aleatorias, y el cálculo que relaciona estas cantidades y sus derivadas.

La entropía Hde una variable aleatoria discreta finita con probabilidades p1, ..., pn, dada por

mide la información contenida en la variable. H indica la cantidad mínima promedio de bits por símbolo de la fuente que son necesarios para representar la salida total de dicha fuente, i.e., la información de la variable aleatoria (o secuencia), sin error.

4. Codificación de Fuente

La codificación de fuente trata con la representación eficiente de datos. Hoy, el término es sinónimo de compresión de datos. El objetivo básico de la codificación de fuente es remover la redundancia en la información para hacer el mensaje más pequeño. En su exposición inicial Shannon presenta un método sin pérdida de compresión de datos en la fuente, usando un código de bloque con razón variable.

Es muy significativo el hecho de que la teoría de Shannon muestra cómo diseñar sistemas de comunicación y almacenamiento de información más eficientes, demostrando las enormes ganancias logradas con la codificación tanto de fuente como de canal.

5. Codificación de Canal

Tal vez el resultado más destacado de Shannon fue el concepto de que todo canal de codificación tiene una velocidad límite, medida en dígitos binarios por segundo: este es el importante Límite de Shannon, ejemplificado por la familiar fórmula para la capacidad de un canal AWGN (ruido Gaussiano blanco aditivo),

Este límite C define la cantidad de información que se puede enviar a través de un canal con ruido en términos de la potencia transmitida P, la potencia de ruido N y el ancho de banda W Con esto, Shannon ofrece una solución al problema de la transmisión redefiniendo la relación entre información, ruido y potencia.

Por encima de esta capacidad no es matemáticamente posible lograr una comunicación libre de errores no importa que tan sofisticado sea el esquema de corrección de error o cuánto se pueda comprimir la data, no se puede transmitir más rápido que el límite C sin perder información.

Sin embargo, por debajo del límite C, es posible transmitir información con cero error. Shannon demostró matemáticamente que existen formas de codificar la información que permitirían llegar hasta el límite de velocidad sin errores: independientemente de la cantidad de ruido o estática, o de la debilidad de la señal.

6. La necesidad de Tecnología

La tecnología de hardware ha sido siempre un factor determinante para la Teoría de la Información. Esta es sólo eso: una teoría. Los algoritmos, conceptos y códigos, requieren tecnología, en la forma de hardware complejo y altas capacidades de procesamiento para ser usados. Cuando la tecnología era escasa, compleja y costosa, como en los 1960s, las aplicaciones eran también escasas y de alcance limitado. Con el desarrollo tecnológico de hardware de alta velocidad y capacidad a bajo costo, el éxito de la Teoría de la Información es fenomenal hoy día, logrando disponer de sistemas de transmisión y almacenamiento de información del orden de gigabits y terabits.

7. El Legado de Shannon

Los elementos revolucionarios de la contribución de Shannon fueron la invención del modelo fuente-codificador-canal-decodificador-destino, y la solución elegante y significativamente general del problema fundamental que pudo poner en términos de su modelo. Particularmente significativa es la demostración del poder de la codificación con retraso en un sistema de comunicación, la separación de los problemas de codificación de fuente y de canal, y el establecimiento de los límites naturales fundamentales en la comunicación.

El trabajo de Shannon, así como el de otras grandes mentes seguidoras de sus ideas, provee un "conocimiento base" crucial para la disciplina de la ingeniería de la comunicación. El modelo de comunicación es suficientemente general para que los límites fundamentales y la intuición general provista por la teoría de Shannon provean una "ruta" extremadamente útil para los diseñadores de sistemas de comunicación y almacenamiento de información. Los sofisticados esquemas de codificación utilizados en sistemas tan diversos como, por ejemplo, la comunicación desde el espacio profundo (con sondas planetarias), y los sistemas de audio de disco compacto, se deben a las ideas provistas por la teoría de Shannon. A medida que avanza el tiempo, y aumenta nuestra habilidad y capacidad para implementar procesadores más y más complejos, los conceptos de la teoría de la información introducidos por Shannon se volverán, en concordancia, más y más relevantes para la comunicación diaria.

Como podemos ver, los límites profetizados por Shannon guían el progreso y los avances de los sistemas de comunicación y las tecnologías de la información, al tiempo que proveen el ímpetu para innovar y tratar de llegar a dichos límites.

Referencias

C. E. Shannon, "A mathematical theory of communication", Bell Syst. Tech.J., vol.27, pp. 379-423,623-656, July-Oct. 1948.

S. Verdú, "Fifty Years of Shannon Theory",IEEE Transactions on lnformation Theory, Vol. 44, No.6, pp.2057- 2078. Oct. 1998.

Aftab, Cheung, Kim, Thakkar, Yeddanapudi,"lnformation Theory and the Digital Age", 6.933 Project History,

T. Cover, J. Thomas, Elements of lnformation Theory, John Wiley o Sons, lnc., 1991, U.S.A.

J. Massey, Applied Digital lnformation Theory, Lecture notes, URL