Estudio comparativo del desempeño de las redes celulares en Panamá

Galeano | H. Poveda | F. Merchán
Fac. de Ingeniería Eléctrica, Universidad Tecnológica de Panamá
{sebastian.galeano, hector.poveda, fernando.merchan}@utp.ac.pa

Resumen: El presente trabajo proporciona una perspectiva del desempeño y la calidad de servicio brindado por los operadores de telefonía celular en Panamá. Durante los meses de enero a abril 2014 se realizaron mediciones de parámetros en comunicaciones móviles en las áreas aledañas a la Universidad Tecnológica de Panamá y las instalaciones de la misma. Las mediciones fueran hechas utilizando un equipo de prueba de sistemas móviles (TEMS). Este equipo permite medir los parámetros de la comunicación basados en indicadores claves de rendimiento (KPI‘s) a nivel del usuario. Los resultados obtenidos permiten al usuario conocer el nivel de recepción, calidad de voz, velocidad de transmisión, entre otros parámetros, de los diferentes operadores de telefonía celular en Panamá.

Palabras claves: drive test, TEMS, llamada larga, llamada corta, indoor, outdoor.

Title: Comparative study of the performance of Cellular Networks in Panama.

Abstract: The present study provides a perspective of the performance and the quality of service provided by operators of cellular telephony in Panama. During the months from January to April 2014 measurements of mobile communications parameters in the surrounding areas of the Universidad Tecnológica de Panama and its buildings have been made. The measurements were carried on using a test mobile system (TEMS) equipment. This equipment allows measuring the communication parameters based on key performance indicators (KPI's) at the level of the user. The results obtained allow the user to know the reception level, voice quality, transmission data rate, and other parameters between the different operators of cellular networks in Panama.

Keywords: drive test, TEMS, long call, short call, indoor, outdoor.

Tipo de artículo: original
Fecha de recepción: 31 de agosto de 2014
Fecha de aceptación: 6 de noviembre de 2

1. Introducción

En esta época, el mundo está experimentando grandes adelantos en el desarrollo digital en áreas como las telecomunicaciones, aplicaciones multimedia y entretenimiento. Sin embargo estas aplicaciones ya no se desarrollan por separado; al contrario, el usuario demanda una integración de electrónica, multimedia, entretenimiento y telecomunicaciones [1]. Además, la tecnología y la información van siempre tomadas de la mano, conformando herramientas de aprendizaje, integración de dispositivos para la comunicación personal y comercial, entretenimiento de alta calidad y definición. Todas ellas derrumban barreras que existían hace una década donde la distancia y el volumen de la información era un impedimento para poder establecer la comunicación entre ciudades.

Los usuarios que se agregan a los servicios de telefonía o datos aumentan y explotan sus recursos al máximo, dependiendo de la red constantemente. Estos siempre andan en busca de más ancho de banda, mayores velocidades de descarga y subida que exigen aplicaciones en tiempo real como video llamadas, voz sobre IP y video streaming. Conjuntamente, el usuario demanda para estos servicios de voz y datos, mejor cobertura y constancia del servicio, así como precios asequibles [2]. Es por eso que todas las operadoras de telefonía móvil están, y deben mantenerse continuamente, en el proceso de mejorar su red, ampliar sus equipos y actualizar el hardware en conjunto con su software y con las tecnologías que puedan hacer un uso más eficiente el espectro radio eléctrico. Esto, para suplir las exigencias de los usuarios y aumentar el número de usuarios a los que se les presta el servicio.

Por las razones arriba descritas, los operadores deben monitorear constantemente sus redes. Para ello es necesario realizar mediciones directas de los indicadores claves de rendimiento (KPI’s) con vehículos para áreas grandes o recorridos a pie dentro de instalaciones, lo que se denomina drivetest [1] [2].

En este trabajo presentamos los resultados un drivetest que se realizó con el fin de analizar los servicios de voz y datos, dentro (indoor) y fuera (outdoor) de las instalaciones de la Universidad Tecnológica de Panamá (UTP). Se realizaron llamadas cortas y llamadas largas, a la vez que se midieron diferentes parámetros de datos con el propósito de proveer al usuario una visión técnica y científica del desempeño de los operadores. Se desarrolló un estudio comparativo entre diferentes parámetros de las tecnologías GSM/EDGE (2G) y WCDMA/HSPA (3G). Para ello fue necesario ser neutrales e imparciales frente a cada operador.

En las siguientes secciones se introduce de manera resumida el equipo de captura de esta información, el equipo de prueba de sistemas móviles (TEMS), equipo que también es usado por los operadores y la autoridad reguladora de estos servicios en Panamá. Además, se presentan las definiciones y parámetros más importantes para concluir sobre la mejor red desde el punto de vista de usuario; posteriormente planteamos el procedimiento y las condiciones de las mediciones y finalmente los resultados acompañados de conclusiones con respecto al ranking general de las compañías en Panamá.

2. Recolección de datos e instrumentación

Antes de realizar mediciones se debe conocer el equipo con el que se va a trabajar; el equipo utilizado como indicó es el TEMS de la marca ASCOM. Más información de los productos y su utilización se puede encontrar [1] y [2].

Los equipos y software disponibles para esta investigación se mencionan y detallan a continuación en función de las pruebas que normalmente se realizan en un drivetest. Cuando se realiza un drivetest, se pretende recolectar información del servicio final que se le provee al usuario. Todos estos se miden conforme a parámetros específicos que describiremos en la Sección 3. La recolección de estos datos se realiza en locaciones fuera de edificios, lo que normalmente se denomina outdoor drivetest, mientras, que cuando se realiza dentro de un edificio o instalación se le denomina indoor drivetest. Para cada uno se pueden realizar pruebas de desempeño, de cobertura, de accesibilidad, de retención, de velocidad de transmisión de subida (UL) y de bajada (DL), entre otros.

Tanto en indoor como outdoor, se pueden probar servicios de voz o de datos. Para servicios de datos se mide cobertura, velocidad de transmisión de subida y de bajada. Para servicios de voz normalmente se efectúan llamadas largas y llamadas cortas. Una llamada larga es una llamada que dura más de la duración de una llamada promedio, que es aproximadamente 2 minutos. Ésta se usa para medir retención, cambio de celda, cobertura y calidad de voz. Mientras que la llamada corta es una llamada de duración entre 15 segundos a 1 minuto y se usa para medir accesibilidad, cobertura y cambio de celda. La llamada corta se repite mientras dure el recorrido en intervalos entre llamadas de 5 a 15 segundos.

2.1 Outdoor Drivetest

En un outdoor drivetest se pueden realizar pruebas para servicios de voz o servicios de datos. En este estudio se realizaron mediciones de voz, llamadas largas y cortas; y en datos DL y UL. Para recolectar datos outdoor se utilizó el equipo celular Sony Ericcson W995 que se conecta a la red celular que se desea examinar mientras la información es recolectada por la computadora portátil corriendo el software de TEMS Investigation. Adicional, se conecta un dispositivo de sistema de posicionamiento global (GPS) para geo-localizar y posicionar el punto en el mapa donde se efectuó la medición. En la Figura 1 se ilustra el equipo celular utilizado [3].

Figura 1. Sony Ericcson W995 utilizado para drivetest de Ascom .

La única manera de integrar la información de la red y la geo localización por GPS es por medio del software TEMS Investigation. Este es un software que ofrece a los operadores un instrumento con la capacidad de recopilar, analizar y post-procesar los datos de la red para corregir problemas y optimizar deficiencias de la misma. Asimismo admite el monitoreo de la telefonía de voz y de video, como una diversidad de servicios de datos. El TEMS Investigation ofrece apoyo a las siguientes tecnologías: GSM / GPRS / EDGE, WCDMA / HSPA / HSPA+, LTE, TD-SCDMA y WIMAX. En la Figura 2 se ilustra la interfaz.

Figura 2. Interfaz gráfica del TEMS Investigation de Ascom.

2.2 Indoor Drivetest

En un indoor drivetest también se pueden realizar pruebas para servicios de voz o servicios de datos tal y como se hizo para las pruebas outdoor, con la diferencia que no se tiene servicio GPS. Para poder realizar este drivetest se necesita también el equipo Sony Ericcson W995 con el software TEMS Pocket Móvil. La herramienta recopila datos de medición y de eventos para el monitoreo inmediato o para su procesamiento en un momento posterior. En la Figura 3 se muestra la interfaz de la aplicación del procedimiento de recolección de datos con el Tems Pocket en el Sony Ericcson W995.

Figura 3. Drivetest con TEMS Pocket en Sony Ericcson W995.

Los datos recolectados se guardan en la memoria del celular para posterior análisis. Debido a la mala recepción en las instalaciones, el dispositivo GPS no se puede utilizar. Por ende es necesario tener los planos de la instalación para movilizarse por el mapa y marcar los lugares donde se realizan las mediciones.

3. Análisis de datos recolectados

Previo a realizar mediciones, se hace necesario entender a fondo los parámetros que describen de manera general el desempeño de una red. Con el uso del equipo y software de Ascom se puede recolectar un número importante de mediciones; sin embargo, este estudio se enfoca sólo en aquella información recopilada que contempla el punto de vista y experiencia como usuario.

Todos los datos recopilados por el TEMS Pocket, TEMS Investigation se analizan con el software TEMS Discovery, ya sea outdoor data o indoor data. El TEMS Discovery es una herramienta de post-procesamiento altamente configurable y fácil de usar para los datos de medición de interfaz aérea. Esto permite evaluar fácilmente el rendimiento inalámbrico y detectar rápidamente los problemas de red. El TEMS Discovery permite a los usuarios realizar un análisis complejo de una manera sencilla, y generar informes de forma rápida y fácil. Se pueden analizar datos de las principales tecnologías: CDMA2000, GSM/GPRS/EDGE, WCDMA, HSDPA / HSUPA / HSPA+, TD-SCDMA, WiMAX y LTE [3] [8].

En definitiva, se presentan exclusivamente aquellos parámetros que influyen directamente en la manera en que el usuario experimenta el servicio. A continuación se detallan algunos de los parámetros de interés para el proceso de comparación.

a. Potencia del código de la señal recibida (RSCP): se describe como la potencia medida por un receptor en un canal de comunicación física particular. Es utilizado como un indicador de la potencia proveniente de la estación base a la que está conectado el dispositivo móvil y normalmente se expresa en dBm [4].

b. Índice de la calidad de voz (SQI MOS): es una estimación de la calidad de la voz percibida por un oyente en la escala MOS. La escala MOS es un promedio de resultados de un conjunto de pruebas estándar subjetivas sobre un medio de comunicación, donde un número de oyentes califica al oído la calidad de audio de pruebas de lectura en voz alta de oradores tanto masculinos como femeninos [5].

c. Tasa entre Energía e Interferencia (Ec/Io): es la relación entre la energía recibida por la tarjeta SIM en el canal y la densidad de potencia del ruido. Se expresa normalmente en dB. Al igual que para RSCP se puede usar para comparar celdas en una misma portadora, cambio de celda, entre otros [4].

d. Caudal de datos (Throughput): es la rata máxima a la cual los datos pueden ser transportados a través de la red en un contexto de protocolo de paquetes de data.

e. Acceso al sistema: es la capacidad del proveedor de brindar servicio de voz o data sin espera, o que no se interrumpa la solicitud al no poseer troncal libre, como en llamadas bloqueadas. Lo que va de la mano con las llamadas caídas, que son el número de llamadas realizadas que no lograron establecerse o se establecieron y se perdieron [6].

4. Mediciones realizadas

Durante las pruebas anclamos la tecnología de acceso a los servicios, para hacer un estudio justo y equitativo de las redes de los operadores, ya sea 3G o 2G. Las pruebas se llevaron a cabo en los alrededores de la UTP y en las instalaciones de los Edificios del Campus Víctor Levi Sasso de la UTP. Constaron de mediciones de datos y voz. En voz se realizaron llamadas cortas y llamadas largas. A continuación se indican las condiciones en las que estas mediciones se realizaron [9].

4.1 Pruebas outdoor

Para los recorridos outdoor se ejecutaron llamadas largas, llamadas cortas y recorrido de data UL y DL. En el caso de las pruebas de llamadas cortas se realizaron en los alrededores de la UTP recorridos en automóvil, donde se analizó el comportamiento de los cuatro proveedores con los que cuenta el país, manteniendo todas las pruebas bajo las mismas condiciones entre ellas. Estas se describen a continuación:

-El teléfono anclado a 3G con el objetivo de ser equitativo en la tecnología de acceso a la red del sistema proveedor.
-Duración de la llamada de aproximadamente 15 segundos y el establecimiento de llamada menor a 15 segundos.
-Horario de pruebas aproximado desde las 6:00 p.m. a 10:00 p.m. Las pruebas fueron realizadas en los meses de enero a marzo 2014; en estos meses estas horas son las que agrupan la mayor cantidad de personas.

Las llamadas largas se realizaron con las mismas condiciones de tecnología de acceso e intervalo de hora, a diferencia de que la duración de la llamada debe ser mayor a 2 minutos, lo que corresponde estadísticamente a la duración de una llamada promedio. En algunos casos, la llamada puede mantenerse abierta por todo el recorrido.

Las mediciones de la calidad de la data de los cuatro operadores móviles se realizaron en un perímetro cercano a la UTP, sectores de El Dorado, Bethania y Condado del Rey. Se analizaron diferentes parámetros como: Ec/Io, RSCP y throughtput; la decarga y subida se midió por medio de una sesión de FTP manteniendo las siguientes condiciones para los cuatro proveedores:

-Horario de pruebas aproximado desde 6:00 p.m. a 10:00 p.m.
-Descarga desde el mismo servidor FTP para los cuatro operadores.

4.2 Pruebas Indoor

En el modo indoor, únicamente se realizaron pruebas de datos en tres edificios del campus de la UTP, Edificio 1, Edificio 3 y Edificio de Postgrado, en el horario de 8:00 a.m. a 5:00 p.m. Las pruebas fueron hechas de mediados de marzo a abril 2014, este período corresponde al inicio de clases regulares en la UTP, donde el mayor tráfico de personas se da en horario diurno. En este apartado también se puede analizar cobertura con los parámetros RSCP y Ec/Io.

5. Resultados

Después de realizar las mediciones correspondientes a los parámetros señalados, obtuvimos la información planteada en la sección 3 para comparar las redes. Los siguientes gráficos y resultados para cada apartado tanto fuera de la Universidad como dentro de las instalaciones de la misma corresponden a la recopilación general de los recorridos outdoor e indoor para cada uno de los proveedores en Panamá.

5.1 Pruebas outdoor

Para las mediciones en los alrededores de la Universidad, con sectores incluidos de Betania, Condado del Rey y El Dorado (ver figura 4).

Figura 4. Muestra de recorrido outdoor de llamada larga, se muestra el nivel de recepción.

5.1.1 Nivel de Recepción

Se analizó la potencia de la señal recibida en el dispositivo, asimismo se midió la potencia de la señal portadora y la relación de la potencia de la portadora con la potencia del ruido para llamada larga, llamada corta y recorrido de data. Observamos el compendio de los 4 proveedores para la variable RSCP en el gráfico 1, en donde los operadores obtuvieron niveles tolerables y semejantes. Mientras que en el Gráfico 2. presentamos Ec/Io, que corresponde a un comportamiento similar al Gráfico 1.

5.1.2 Calidad de la voz (SQI, MOS)

La calidad de voz es importante en la percepción del audio para los usuarios, cualitativamente presentamos el índice MOS para llamada larga (rango de 0 a 5). Mientras que SQI (rango de 0 a 30) se basa en las tasas de error de bit (BER) y tasa de error de trama (FER) como el códec de voz usado, lo que lo hace ser más cuantitativo. Los resultados se presentan en el Gráfico 3, donde Movistar tiene una ligera ventaja sobre los demás proveedores; sin embargo, estas diferencias no serán percibidas por un usuario.

Gráfico 1. Nivel de Recepción RSCP outdoor para recorrido llamada larga en intervalos para los 4 proveedores.

Gráfico 2. Nivel de Recepción Ec/Io outdoor para recorrido llamada larga en intervalos para los 4 proveedores.

Gráfico 3. Índices de calidad de voz MOS y SQI respectivamente para cada proveedor.

5.1.3 Acceso al sistema

Aquí se puede observar si el servicio de voz fue sin larga espera o si se interrumpe la solicitud al no tener una troncal libre, todo esto se analiza sobre las llamadas cortas y se presenta en el Gráfico 4. En el mismo se puede observar que Claro obtuvo un mayor número de llamadas con éxito, mientras que el operador con mayor número de llamadas en cola correspondió a Digicel.

Gráfico 4. Porcentaje de llamadas en cola y bloqueadas en recorrido de llamada corta para medir Acceso al sistema.

Los resultados en llamadas caídas en llamada larga brindan un buen marcador. Los resultados generales se muestran en la Tabla 1. Los resultados son similares para todos los operadores. Estos conservan índices de cambio de celda altos, y el índice de accesibilidad se comporta de igual forma.

Tabla 1. Llamadas caídas y porcentaje de retención y accesibilidad.

5.1.4 Datos de transmisión

En este se presentan las tasas promedio y pico de descarga, siendo este el interés principal de los usuarios; la estabilidad de la conexión se puede revisar en los recursos extra de [9]. A continuación en el Gráfico 5. se presentan las velocidades de descarga - Digicel obtuvo velocidades pico superiores y Claro alcanzó una velocidad promedio sutilmente mayor a los demás.

5.2 Pruebas indoor

Para las mediciones dentro de las instalaciones de la Universidad se midió el nivel de recepción y los servicios de datos por medio de sesiones FTP para cada piso de cada edificio en el Campus Víctor Levi Sasso de la UTP. En la Figura 3 se muestra un ejemplo de uno de esos recorridos correspondiente al piso de la Facultad de Ingeniería Eléctrica en el Edificio 1 de la UTP (elegimos este piso por ser un piso intermedio entre el sótano y el último piso).

5.2.1 Nivel de recepción

En el Gráfico 6. se presentan los intervalos potencia de la señal, correspondiente a la potencia de la portadora y la relación de la potencia de la portadora con la potencia del ruido en UL y DL. En ésta todos los operadores poseen un comportamiento muy parecido.

Gráfico 5. Velocidades de descarga promedio y pico para cada uno de los proveedores.

Gráfico 6. Nivel de Recepción RSCP indoor para recorrido data.

5.2.2 Datos de transmisión

En el Gráfico 7. se presentan las tasas promedio y pico de descarga para recorrido indoor. Digicel, al igual que en outdoor, alcanzó velocidades pico ligeramente superiores, mientras que en velocidad promedio alcanzaron velocidades similares. En la Tabla 2. se resume en orden descendente el proveedor con mejor rendimiento para cada categoría.

De la Tabla 2 en la categoría de calidad de recepción outdoor (RSCP y Ec/Io) se tienen resultados estrechos, y no decisivos, mientras que para calidad de voz con índice de SQI se encontró a Movistar como aquel operador con mayor rendimiento, y a Claro con el menor rendimiento.

Tabla 2. Resumen en orden descendente de los proveedores por categoría

El índice de MOS no es decisivo para encontrar el mejor proveedor. En categorías de recorrido indoor se obtuvo mejor penetración de la señal en el edificio por parte de Movistar. Sin embargo en velocidad de datos, Claro obtuvo mejores resultados.

Gráfico 7. Velocidades de descarga promedio y pico para cada uno de los proveedores.

6. Conclusiones

El equipo TEMS permitió comparar la calidad de servicio que ofrecen cada uno de los cuatro operadores con los que cuenta Panamá. En función de los resultados obtenidos para cada prueba y la clasificación final se puede concluir cuáles son las categorías y servicios en los que cada proveedor se desempeña mejor. La experiencia con el dispositivo y el software de Ascom fue satisfactoria, y consideramos que los resultados en cobertura o datos podrían variar si se dispusiese de otro teléfono, por desigualdades de Hardware en las antenas de cada teléfono. Es muy difícil asegurar que la conexión con el servidor FTP sea independiente de la capacidad de la red celular, y no de la red de datos a la que se conecta el servidor para permitir la conectividad a Internet.

Correspondiendo los gráficos obtenidos, se puede, según categorías más generales, organizar los proveedores de la siguiente manera: en servicio de data, el mayor rendimiento lo obtuvo Digicel, y el más bajo correspondió a C&W; en cobertura y accesibilidad, el desempeño superior lo tenía Movistar y el inferior correspondió a Claro; en calidad de voz fue Movistar el que alcanzó índices mayores y el más bajo fue Claro; en estabilidad y disponibilidad, el proveedor con desempeño superior fue Claro y el menor fue Movistar.

Para analizar parámetros como celdas muertas o sectores muertos se debe tener información confidencial que sólo poseen los proveedores. La mayoría de los edificios estudiados poseen un nivel de cobertura indoor relativamente malo, a lo que recomendamos a los proveedores suplir la demanda correspondiente a la cantidad de personas en la UTP que dependen de los servicios.

Aspiramos a que los resultados obtenidos en este proyecto puedan interesar tanto a usuarios como a autoridades para tener una perspectiva técnica de un proveedor que satisfaga las necesidades y suministre una base del servicio adecuado.

Referencias

Ananda Mitra, Digital Research: The digital world, InfoBase Publishing, 2010.

Stefan Valentin, Forecasting Telecommunication Demand: Methods For the ‘Crystal Ball’. Bell Labs, Alcatel Lucent, Stuttgart, Germany

H. Poveda, Manual TEMS, Universidad Tecnológica de Panamá. Versión 2014.

WCDMA Network Planning and Optimization. Engineering Services Group. Qualcomm. Revision B 2006.

Speech Quality Measurement with SQI. Technical Paper. Ascom. Agosto 2009.

V. H. Mac Donald, „The Cellular Concept", The Bell Technical Journal, Vol. 58, No. 1, January 2008.

(2014) Ascom website. [Online]. Disponible en: http://www.ascom.com

Drive test methodology for Quality of Service. Information document Uganda Communications Comission. September 2012.

H. Poveda, Informe de mediciones para análisis comparativo de proveedores de telefonía Celular en Panamá, Universidad Tecnológica de Panamá. Versión 2014.