Método por Tres Valores Mejorado un método estocástico para la estimación temprana de la duración de los proyectos
ENHANCED THREE POINT ESTIMATION METHOD A STOCHASTIC METHOD FOR THE EARLY ESTIMATION OF THE DURATION OF PROJECTS
Pablo Andrés Ortiz
Area de Mecatrónica, Universidad Tecnológica del Uruguay
Resumen— La tasa de proyectos no exitosos (esto es, cancelados o modificados) se mantiene en valores significativamente altos, para el Standish Group [1] este valor es del 61% y para IBM[2] del 59%. La estimación de la duración de los proyectos se cita como una de las causas principales de este fenómeno. En la práctica se aplican métodos sencillos, como es el caso de PERT/Método por Tres Valores (MTV), que en general subestiman la duración del proyecto; por otra parte métodos más precisos, aunque más complejos, como el método Monte Carlo (MMC), son raramente usados por los estimadores. Adicionalmente, en las etapas tempranas de estimación, donde nos enfocaremos, la gran mayoría de los métodos no consideran el factor de riesgo o se usan técnicas simples que no evalúan el riesgo en detalle. Este artículo propone una técnica de estimación temprana que considere los factores de riesgo inherentes de esta etapa y logre una buena precisión. Se propone entonces una técnica denominada Método por Tres Valores Mejorado (MTVM). La cuantificación de los riesgos se establece aplicando la Distribución Beta-Rectangular que usa los valores heurísticos del Cono de Incertidumbre de Boehm y el juicio de expertos. Se usará evidencia empírica y teórica para validar este método, comparando los resultados del mismo con los valores de cuatro proyectos reales de tecnología y teóricamente con los valores estimados por el método Monte Carlo.
Palabras claves— Cono de incertidumbre de Boehm, Estimación temprana, Distribución Beta-Rectangular, Método Monte Carlo, Método por Tres Valores.
Abstract— The rate offailed (i.e. failed or challenged) projects remains at significantly high values, for the Standish group this rate is 61% andfor IBM 59%. The estimation ofproject duration is one ofthe principal causes citedfor this observation. In practice, simple methods such as PERT/ Three point estimation values are used, which in general underestimate project duration; on the other hand, when more precise, but also more complex methods are proposed, such as Monte-Carlo simulation, these are rarely used by estimators. Additionally, in the early phases ofestimation, which wefocus here, the great majority ofmethods do not consider the factor ofrisk or simple techniques are used that do not evaluate the risk in detail. This article develops a technique for early estimation that is based on the riskfactors inherent to this phase and get a good precision. We propose a technique called Enhanced Three Point Estimation (ETPE). The risk quantification is established by applying a Beta-Rectangular Distribution using the heuristic values ofthe Boehm Cone ofUncertainty and through expertjudgment. We use empirical and theoretical evidence to validate the method, comparing its results with real-life values offour technology projects andfor the theoretical comparison with the estimated values ofthe Monte-Carlo method.
Keywords— Boehm cone ofuncertainty, Early estimation, Beta-Rectangular Distribution, Monte Carlo method , Three point estimation.
1. Introducción
No existe una única causa que determine el éxito, o fracaso de un proyecto, ya que éste por definición es "único" en su esencia [31]. No obstante, diversas fuentes ratifican que la estimación de la duración de los proyectos es una de las causas quetambién aducen que es uno de los factores más complejos de calcular.
El problema se acentúa si la estimación se realiza en etapas tempranasl. En este punto la estimación tiene un alto grado de incertidumbre debido a que la información del proyecto es muy acotada e incompleta [3], por ejemplo, de acuerdo al PMI [3] varía en el rango [-25%,+75%]. En etapas más tardías, cuando el proyecto ya está en implementación, es cuando las estimaciones se vuelven más confiables. Este es un problema cotidiano para el GP, proveer estimaciones confiables en etapas tempranas del proyecto (o muy tempranas). Esta estimación, primaria e imprecisa, es tomada por el cliente (y a veces por la propia empresa proveedora) como un compromiso inamovible del proyecto, quedando el GP rehén de la misma.
Una de las razones de la inexactitud de la estimación es que la probabilidad de que ocurran eventos imprevistos es muy alta en las etapas tempranas del proyecto. Esto pone de manifiesto que uno de los factores que tiene un peso superlativo en ese momento es el análisis del Riesgo y en consecuencia este factor debería incidir si se quiere mejorar la precisión de la estimación. No obstante, muchas técnicas no consideran la incertidumbre en las estimaciones de las duraciones y/o costos o se usa un método muy simple en lugar de realizar una evaluación detallada del riesgo [5], [6].
Proponemos, en consecuencia, un enfoque más completo, que integre el riesgo en el modelo propuesto el cual se ha denominado Método por Tres Valores Mejorado (MTVM).
Adicionalmente se asumirá que no se dispone de información histórica, es decir, de una base de datos con información de proyectos anteriores que puedan servir de base para una mejor estimación, situación que es sumamente frecuente, identificándose hasta un 60 % de proyectos en esta situación.
En resumen, el objetivo principal del trabajo fue desarrollar una técnica de estimación estocástica que permitiera calcular la duración de proyectos en un marco de incertidumbre en etapas tempranas, cuantificando ésta y formulando un modelo con una buena precisión.
2. Revisión bibliográfica
Existen diversas clasificaciones usadas en las técnicasde estimación, no obstante, una categorización frecuentees dividirlas en dos grupos: algorítmicas y no-algorítmicas[7], [8]. Los modelos algorítmicos están basados enalgoritmos especiales, por ejemplo modelos de regresiónmúltiple. Estos se basan en relaciones matemáticas yparámetros con los que realizan las estimaciones. Porotra parte los modelos no algorítmicos están basados encomparaciones analíticas e inferencias [8].
En el grupo de las técnicas algorítmicas se ubican losmétodos de estimación paramétricos y otra diversidad demétodos, especialmente fértiles en el campo de la Ingenieríade Software (citemos, a modo de ejemplo, los métodos COCOMO, Puntos de Función, SLIM, entre ofros). A este grupo también pertenecen las estimaciones paramétricas: estimación WBS (Work Breakdown Structure), el Método por Tres Valores (MTV) y el Método Monte Carlo (MMC). En las técnicas no algorítmicas se encuentran el juicio de expertos y la estimación por analogía, entre otros.Nos centraremos principalmente en el MT V (Método por Tres Valores o Estimación por Tres Puntos), base del MTVM y en el MMC.
2.1 Técnica del Método por Tres Valores
Esta técnica basada en la técnica PERT (Program Evaluation and Review Technique) [9], se basa en las siguientes hipótesis [10]:
a. las actividades siguen una distribución Beta, y no existe correlación en la duración de las actividades;
b. la estimación por tres puntos (esto es, MT V), puede serusada para modelar la distribución de probabilidad de las actividades;
c. solamente existe un camino crítico y ningún otro camino es candidato a ser crítico;
d. las actividades del calendario son ignoradas. En particular, a partir del punto b. se ha propuesto una estimación para la duración y desvío de un proyecto que emplea las siguientes ecuaciones:
donde:
O.Valor optimista de duración de la tarea.
M. El valor más probable (moda) de la tarea;el valor mas frecuente.
P.Valor pesimista de duración de la tarea.
El procedimiento se inicia descomponiendoprogresivamente el proyecto en un conjunto de módulosestimables, de lo cual resulta un árbol que se denominaEstructura de Desglose de Trabajo (EDS) o en inglésWBS término que adoptaremos dada su amplia difusión.Los módulos del nivel inferior, es decir, aquelloscon mayores nivel de detalle, indivisibles y estimables,se denominan Paquetes de Trabajo (PT) [3], su duracióny desvío se estiman usando las ecuaciones (l) y (2).
Luego la duración total del sistema se obtiene sumandola duración de todos los PT del proyecto.
No obstante, teniendo en cuenta la etapa temprana enla cual nos ubicamos, se advierte que en muchos casospara cuantificar el riesgo del proyecto es más factibleconsiderar módulos más genéricos que el PT, ya que enese momento no se dispone de la información necesariapara realizar un análisis de riesgo con ese nivel degranularidad. Por ello definiremos un elemento al cualdenominamos genéricamente como Componente (CO),el cual debe cumplir dos propiedades importantes:
a. todos los hijos de un componente tienen elmismo grado de riesgo, caso contrario, se deberádescomponer el CO hasta tanto se cumpla estapremisa (eventualmente podrá no tener hijos, esdecir, será un PT);
b.el CO se ubicará indistintamente en el primer,segundo o tercer nivel del WBS, en tanto el análisisdel riesgo se pueda realizar de forma tan rigurosa ycuantitativa como sea posible.
2.2 Método Monte Carlo
Cuando las actividades de un proyecto se conocen con certeza, calcular la duración de un proyecto es una cuestión relativamente directa, pero en la mayoría de los proyectos ocurre lo contrario, la duración de las actividades solo se conoce con un alto grado de incertidumbre [11], en estos casos se recurre a otras técnicas, la más difundida es el Método Monte Carlo (MMC).
Esta técnica fue creada por Ulam y Von Neuman en 1949, pero recién en 1963 Van Slyke la aplicó por primera vez en el cálculo de la duración de los proyectos [11].
El MMC, es un método de simulación que implicala toma de muestras al azar de cada distribución de probabilidad del modelo para producir cientos o miles de iteraciones, los resultados forman una distribución general para el modelo que refleja la distribución de la duración total del proyecto.
Una de las ventajas más importantes del MMC es la capacidad para definir la distribución más adecuada para la duración de cada actividad en lugar de fijar una única distribución para todo el proyecto (como lo asume la técnica MTV, en su acepción más aplicada). La clave es identificar cuáles son las distribuciones de probabilidad adecuadas que deben utilizarse para simular cada una de las variables aleatorias de un modelo [11]. Esto normalmente requiereanalizar información empírica o histórica y ajustarla a algunadistribución. Como contraparte, es un método de muy bajaaceptación por parte de estimadores y GP [12],[13].
Para la simulación usaremos una de las técnicasdel MMC denominada Método de ReplicacionesIndependientes (MRI). La misma se basa en un conceptoresumido en [14] (p. 360): "...la simulación Monte Carloestá basada en un conjunto de varias replicaciones delmismo sistema, estático, estocástico del mismo parámetrode interés".
Consecuentemente en el MRI se realizan r replicaciones(simulaciones) independientes e idénticamente distribuidasdel sistema en lugar de una gran replicación de tamaño m,donde cada replicación consiste de k valores y k m/r. Esimportante que la cantidad de replicaciones se mantengareducida, típicamente 10< = r < = 430, para que k seasuficientemente grande ya que interesa el comportamientodel sistema en el largo plazo [15].
Se ejecutarán r replicaciones cada una con kobservaciones para la variable Y (siendo Y la variableobservada), por ejemplo, para la replicación 1 se tendrán los valoresY1,1,Y1,2,......,Y1,k, la media de la de la fila 1 la denominaremos X'1, por tanto para las replicaciones dej=1,..,r tendremos:
El estimador final para el valor esperado de la media(llamado a veces gran media) y la varianza es:
3. El Método por Tres Valores Mejorado
El MTVM se basa en el MTV y ajusta su precisiónincorporando el concepto de riesgo.
Los pasos son los siguientes:
1-2. Se descompone progresivamente el proyecto, usandola técnica WBS, hasta un nivel donde cada componente(y sus subcomponentes) tengan un nivel uniforme deriesgo (ver reglas en la sección 2.1). En efecto, como sugiere Cooper et al., un análisis sistemático del riesgodebe ser hecho subdividiendo un proyecto en sus módulosprincipales (los componentes) para luego analizar el riesgoy la incertidumbre en detalle [16].Dada la criticidad de este paso, una incorrectapriorización (ordenamiento) de los riesgos puedealterar significativamente el resultado, debido a ellose compararon varios métodos de priorización: AHP(Analytic Hierarchy Process) [17], Binary Search Tree[18], Bubble Sort [19] y Cost-value ranking [20] entreotros. El método AHP se basa en que cada componentese compara con todos los restantes (comparación porpares; i.e., "todos contra todos").
Este método harecibido diversas críticas, por ejemplo, se mencionaque es un método costoso tanto en la colección de losdatos como en el análisis. Efectivamente, la cantidad decálculos que deben realizarse es de O(n2), por lo que suuso se recomienda con no más de 20 ítems (en nuestrocaso 20 componentes es una cantidad razonable para losproyectos de tamaño medio o medio-grande analizados),lo que implica una limitante en el escalamiento. No obstante, como menciona Karlsson, "la comparación por pares implica mucha redundancia y por tanto es menos sensible a los errores de juicio que las técnicas que usan asignaciones absolutas" 1201, además garantiza la consistencia de comparación de alternativas durante el proceso, por lo que a nuestro juicio, resulta la mejor elección entre las técnicas analizadas.
3. Los componentes se clasifican según su riesgo en Riesgo Bajo (RB), Riesgo Medio (RM) o Riesgo Alto (RA), aplicando juicio de expertos por parte del estimador y/o equipo de trabajo.
4. A continuación, se suman las duraciones de cada componente según la categoría de riesgo en la que haya sido clasificado el componente. Es decir, la duración de todos los componentes de RB más la duración de los de RM más la duración de los de RA.
Para ello se usan los valores de media y desvío estándar de la función de distribución Beta-Rectangular f(BR) con los parámetros pertinentes según el tipo de riesgo del componente:
5. Finalmente, se suma la duración esperada y la varianza de todos los componentes para determinar la duración,varianza y desvío del proyecto.
3.1 Procedimiento para el cálculo de la duración,varianza y desvío estándar
El método, como se infiere de (6) y (7), requieredeterminar los parámetros O, M y P que usa la función dedistribución, lo que explicaremos en esta sección.Los valores de O, M y P se obtendrán de la valoracióndel riesgo del proyecto, para lo cual se propone el uso delos parámetros del llamado "cono e incertidumbre" 1211,1221 como se ilustra en la figura 1.
El concepto de "cono de incertidumbre" representa la evolución de la incertidumbre de un proyecto durante su ciclo de vida. Propuesto inicialmente por Boehm [21] y posteriormente refrendado por McConnell [22] y otros autores, en la actualidad es usado y aceptado ampliamente en la industria de TIC (Tecnologías de la Información y la Comunicación). No obstante algunos autores han presentado fundados reparos al mismo [23], [24]. En consecuencia, estos parámetros deben valorarse como heurísticas propuestas por los autores aunque refrendados ampliamente por la industria. Los intervalos de variación, mínimos y máximos según la fase de avance del proyecto (figura 1), con un 80 % de confiabilidad [21] son: 1. Concepto Inicial. Min.: 0,25; Max .:4.0. 2. Definición del Producto. Min.:O,5; Máx.: 2. 3. Requerimientos Completos. Min.: 0,67; Max.: 1,5. 4. Diseño de la Interface del Usuario completa. Min.:O,8; 5. Diseño detallado completo. Min: 0,9; Máx.: 1,10.
El valor de la incertidumbre en la fase que nos interesa, esto es, "Requerimientos Completos" (correspondiente a la Estimación Temprana), establece una variación de 10,67 (67%); 1,5 (150%)1. Esta referencia si bien establece un rango mínimo y máximo en la variación (eje de las ordenadas) y representan "el mejor caso" (otros factores pueden conducir a valores superiores [22]), no contempla que el que la incertidumbre también puede variar en función del momento en el que comience la etapa de Especificación de Requerimientos y la duración de la misma (variación en el eje de las abscisas), por ejemplo, un relevamiento realizado en un corto tiempo conlleva mayores riesgos que uno que se realiza en un tiempo mayor. Esto define una región R de incertidumbre (recuadro en la figura 1).
Asumamos que al tiempo de comienzo de la etapa se le asigna un valor concreto; de acuerdo a diversos estudios las dos primeras fases tienen una duración de 22 % aproximadamente, tal como lo ratifican los valores de la tabla I extraídos del estudio de Eveleens y Verhoef [25] (p.969).
Tabla 1. Valores de duración del cono de Incertidumbre
Luego, si bien un proyecto depende de múltiples factores, tales como dominio de proyecto (sector de la industria), requerimientos funcionales, tamaño y experiencia del equipo de trabajo, etc.; para proyectos que aplican metodologías tradicionales en TIC, los valores considerados por la industria para la fase de requerimientos varían en un entomo mínimo de 5 % y máximo de 20 %, este rango permite establecer cotas según el tipo de riesgo, tal como se detalla en la tabla 2.
Tabla 2. Cotas Inferiores y Superiores
Efectivamente, para los RA se puede considerar con duración mínima del 5 % y una máxima del 10 %, si estos valores se suman al 22 % de duración de las etapas anteriores (el valor 21,8 % de la tabla 1), se obtienen valores de cota inferior y superior de 27 % (22 %+5 %) y 32 % (22 %+10 %) en el tiempo, ver figura 2. Similar razonamiento se aplica a los restantes tipos de riesgo.
Efectivamente, para los RA se puede considerar con duración mínima del 5 % y una máxima del 10%, si estos valores se suman al 22 % de duración de las etapas anteriores (el valor 21,8 % de la tabla l), se obtienen valores de cota inferior y superior de 27 % (22% + 5%) y 32 % (22% + 10%) en el tiempo, ver figura 2. Similar razonamiento se aplica a los restantes tipos de riesgo.
Figura 2.Región de Incertidumbre.
Basándonos entonces en que la Especificación de Requerimientos comienza un 22 % luego de iniciado el proyecto y en los valores de la tabla 2, es factible aplicar interpolación de segmentos lineales (splines) para los valores de tiempo t (27 %, 32 %, 37 %, 42 %) y obtener los valores de ordenada de las curvas l(t) con los valores inferiores (optimistas) y los valores u(t) con los valores superiores (pesimistas). Luego, considerando el valor inferior de ordenada de cada tipo de riesgo se obtiene:
Quedando, en consecuencia, definida la región de incertidumbre, tal como se aprecia en la figura 2. Esto permite interpolar las curvas en cualquier punto deseado y obtener valores estimados para los parámetros O, M y P según sea el tipo de riesgo, tal como lo indica la tabla siguiente.
Tabla 3. Valores de los parámetros O, M y P
Adviértase que el rango para los RB es bastante similar a los valores de Boehm indicados anteriormente (67 %; 150 %), lo cual corrobora una estimación razonable. 3.2 La Función Beta-Rectangular El método MT VM busca asociar el tipo de riesgo con la distribución más adecuada para estimar su duración, a diferencia del MTV tradicional donde se usa (por lo general) una única distribución para todos sus componentes, usualmente la distribución Beta-PERT.
Para la elección de la distribución observaremos el comportamiento de la media y desvío estándar. Un componente de alto riesgo será deseable que se corresponda con una función de distribución con mayor media y desvío que otro de menor riesgo. Goodpasture señala que la media y desvío estándar es mayor en la Distribución Normal que en la Distribución Uniforme [26] y esta a su vez mayor que la distribución Beta. Por su parte otros autores proponen que el orden de las distribuciones, según su desvío creciente, es: beta, normal, triangular y uniforme. No obstante, en la práctica la distribución Beta-PERT resulta superlativa en su aplicación [27], [28].
Hahn propone una nueva función que denomina Beta- Rectangular la cual se basa en la función Beta-PERT pero subsana las restricciones en los parámetros que limitan los diferentes niveles de incertidumbre en la duración de las actividades, es decir, no proveen la ductilidad necesaria para el tratamiento específico de la incertidumbre del proyecto [29].
La función Beta-Rectangular incorpora un parámetro Θ: 0 < = Θ < =1 expresando la ecuación de la siguiente forma [27], p.453):
Esta ecuación es válida en el intervalo a< = X< =b y tiene valor 0 fuera del mismo.
Cuando Θ=0 se obtiene la distribución uniforme, que representa la máxima incertidumbre, inversamente cuando Θ=1 se obtiene la distribución Beta-PERT, la de menor incertidumbre, cuando Θ=0, 86 se obtienen valores similares a la triangular. Esto serán los valores que adoptaremos. No obstante, adviértase que dada la ductilidad de la función se pueden establecer los valores más adecuados al proyecto bajo estudio a criterio del estimador.
La expresión de las ecuaciones de tres valores para el valor esperado y la varianza para esta función es:
Estas serán las ecuaciones que usaremos para determinar la media y desvío de los componentes.
3.3 Precisión del Método Para la validación teórica comparativa entre el método MMC, MTVM y MT V el resultado esperado deberá cumplir:
Para la validación empírica se usarán los estimadores de precisión más comúnmente usados en la industria: MRE (magnitude of relative error; magnitud del error relativo) y MMRE (mean magnitude of relative error; magnitud promedio del error relativo). Se acepta, siguiendo a Conte et al., que la precisión es buena si el valor de estos indicadores es menor o igual a 25 % [30].
4. Validación teórica
Se propone en primer lugar un método teórico que funcionará en carácter de piloto para validar el modelo inicialmente y luego proceder a su validación empírica.
4.1 Método Monte Carlo
Se generaron 100 CO con una duración aleatoria entre 8 y 320 horas.
1. Para estos CO se generaron tres de conjuntos escenarios:
a. Riesgos Bajos. Se crearon 5 escenarios posibles con distintas cantidades de componentes y prevalencia de los RB y,
b. 5 escenarios para los RMy 5 para los RArespectivamente, totalizando 15 escenarios.
2. Se agruparon y totalizaron los componentes de riesgo similar, llegándose a un total en horas por tipo de riesgo; por ej., para los RB:
De forma similar se procedió a totalizar la duración de los RA.
3. Finalmente se calcularon las distintas duraciones aplicando los métodos MTV, MTVM y MMC considerando aceptable el resultado si éste satisface (9).
4.2 Método por Tres Valores Las ecuaciones de las medias y varianzas son:
Las ecuaciones de las medias y varianzas son:
donde los valores (O, M, P) corresponden a los valores de la columna RB del Tabla 3 (P=125 %; M=103 %; O=80%).
4.3 Método por Tres Valores Mejorado
Basándose en (9) y (10) y con θ=1 para los RB, θ=0.86 para los RM y para los RA, las ecuaciones quedarán expresadas de la siguiente forma:
Donde j=1,2,3 corresponde con los tres tipos de riesgo y representa la cantidad de riesgos de tipo j.
4.4 Método Monte Carlo
Se aplicó el método MRI asumiendo k=m/r con los siguientes valores:
r=25; cantidad de replicaciones
k=3000; cantidad de observaciones p/replicación
m=75.000 total de observaciones
Es decir, que para cada simulación (escenario) se usaron 75.000 datos para simular el modelo teórico, los resultados representan los valores ideales teóricos y es deseable que el método MT VM se aproxime lo más posible a ellos, tal cual se expresa en (11).
Para simular los valores del MMC se opta por la Distribución Normal, ya que se consideran 100 valores independientes, por lo que el Teorema Central del Límite habilita el uso de esta distribución. Por tanto se usará la media:
consecuente con Goodpasture [24] (p.53).
4.5 Resultados Obtenidos
El comportamiento del método y los resultados derivados fueron muy consistentes para todos los tipos de riesgo.
A modo de ejemplo veamos el grupo de CO aleatorios en los que el tipo de riesgo preponderante se consideró Bajo. Se generaron 5 escenarios (En), con 100 componentes en total pero con preeminencia siempre de RB (i.e., un proyecto de "bajo riesgo"), a partir de lo cual se obtuvieron los siguientes resultados para la media (µ) y desvío estándar (ϑ):
Tabla 4. Resultados de la Simulación con RB
En cuanto a la precisión de las estimaciones se obtuvieron resultados muy aceptables:
Tabla 5. Ajuste del modelo
Para los 3 tipos de riesgos y los 15 escenarios distintos las medias resultaron en valores muy satisfactorios, con una alta correspondencia con los valores de la simulación del MMC y superiores a los valores de MTV. En todos los casos se validó (ll). En cuanto a los desvíos estándar, se advierte que el MTVM presenta valores levemente superiores, pero totalmente aceptables para los tiempos de duración de los CO que se manejan.
5. Validación Empírica
El método propuesto se contrastó con los resultados de cuatro proyectos reales de TIC realizados durante el período 2008-2012, en las áreas de retail, red de distribución de combustible, salud y telecomunicaciones en Uruguay y otros 2 países de Latinoamérica.
5.1 Procedimiento
Paso 1. Descomposición del proyecto y creación del WBS. Se desglosa el proyecto hasta el nivel de componentes con un riesgo uniforme. Por ejemplo, un WBS de TIC típico puede ser desglosado en los siguientes componentes:
CO1. Relevamiento,
C02. Análisis y Diseño,
C03..COn. Construcción. Aquí es donde en proyectos de TIC usualmente se dedica la mayor cantidad de tiempo, por lo que resulta conveniente subdividirlo en varios componentes ya que el riesgo suele ser distinto para cada uno de ellos.
COn+1. Testing, Liberación y Capacitación,
COn+2. Gestión del proyecto.
Paso 2. Priorización. A continuación se aplicó el método AHP, realizando la comparación de los riesgos relativos de cada componente en relación a los restantes, el resultado son los componentes ordenados en orden creciente de importancia.
Paso 3. Clasificación. Para la clasificación se aplicó juicio de expertos (expertos del negocio en conjunto con líderes técnicos senior), dividendo los componentes en tres conjuntos: RB, RM y RA.
Paso 4. Estimación. Luego se pasó a considerar la aplicación del método propiamente, teniendo en cuenta las cotas de riesgo de la tabla 3 y (13) y (14).
5.2 Proyecto 1 (P1)
El proyecto supuso el cambio del frente de cajas de atención al público por un nuevo sistema para una empresa de telecomunicaciones de un país de Latinoamérica. El mismo tuvo una duración de 1,5 años y el equipo de trabajo fueron 6 personas.
Presentaremos los resultados de este primer proyecto con algo de mayor detalle a efectos de ilustrar el método, para los restantes solo se presentarán los resultados más relevantes. Los CO del proyecto fueron los siguientes:
Relevamiento: 152 horas.
Análisis y Diseño: 1.520 horas.
Construcción: 3.207 horas.
Testing: 950 horas.
Liberación y Capacitación: 114 horas.
Gestión: 553 horas.
Total del Proyecto: 5.943 horas.
Luego se aplicó el método AHP (priorización) y juicio de expertos (clasificación) y se obtuvo lo siguiente:
Luego se procedió a sumar las horas de cada componente agrupados según el tipo de riesgo y se obtuvo el total de horas de cada uno. Para determinar la duración y el desvío se emplean los valores de la tabla 3, y se procedió a aplicar (13) y (14). Ilustremos el método detallando el cálculo para los RB, considerando θ=1 :
La suma de los componentes de RB (en color verde) totalizó 1.470 horas.
Sustituyendo por los valores obtenidos:
El resumen, para el proyecto completo los valores calculados según el método MTVM fueron:
Media: 6.471 horas.
Varianza: 137 horas.
Desvío estándar: 12 horas.
Como contraparte el valor de duración real recabado del proyecto fue de 6.716 horas.
Analizando la precisión obtenida que resulta de la comparación del método MTVM y los valores reales resulta un valor de MRE=4 %, lo cual es una precisión muy buena y muy inferior al 25 % requerido para una precisión aceptable.
5.3 Restantes Proyectos (P2, P3 y P4) Se resumen a continuación los resultados de los restantes proyectos.
Proyecto 2
Los valores resultantes de la aplicación del método MTVM fueron:
Media: 4.312 horas.
Varianza: 21 horas.
Desvío estándar: 5 horas.
Las horas reales del proyecto fueron 4.814.
La precisión en este caso fue de MRE=10 %, lo cual también representa una muy buena precisión.
Proyecto 3
Las horas estimadas por componente/tipo de riesgo para este proyecto fueron:
Media: 363 días.
Varianza: 15 días.
Desvío estándar: 4 días.
La duración real del proyecto fue de 532 días.
En este caso el MRE— 32 %, no logrando cumplir con la cota aceptable. Esto se atribuye a que la estimación inicial, base, fue altamente imprecisa (el grupo de estimadores era básicamente poco experiente), por lo cual es razonable que el método (y ciertamente cualquier otro) no arroje resultados de una precisión aceptable.
Proyecto 4
Los valores estimados por el método MTVM fueron:
Media: 14.074 horas. Varianza: 535 horas.
Desvío estándar: 23 horas. Las horas reales que insumió el proyecto fueron 17.871.
La precisión en este caso fue de MRE= 21 %, el cual es menor al umbral del 25 %.
6. Conclusiones
Se resumen a continuación los principales hallazgos y posibles tópicos de investigación futura.
6.1 Hallazgos
Se expuso un nuevo método denominado Método por Tres Valores Mejorado, el cual se basa en el Método por Tres Valores y propone un refinamiento del mismo incorporando el factor de incertidumbre, cuantificado mediante la distribución de probabilidad Beta-Rectangular, que usa como parámetros los valores heurísticos del cono de incertidumbre. Se buscó desarrollar un procedimiento que fuera tuviera precisión mejor a la del MTV.
La validación teórica contra el método Monte Carlo arrojó excelentes resultados, con valores de media muy cercanos y desvíos estándar razonables como lo indica la tabla 5.
En cuanto a la validación empírica, aunque se contaba con una cantidad acotada de proyectos, tres arrojaron resultados que verificaron que MRES25 %, por lo cual su precisión fue buena, no obstante el tercer proyecto presentó valores que superaron esta cota, producto de una mala estimación inicial.
Este proyecto evidencia que si la estimación básica inicial es imprecisa y no se siguen técnicas de gestión de requerimientos y planificación rigurosos la estimación resultante es esperable que no sea buena, independientemente de la técnica de estimación usada.
Asimismo se entiende que el método es apropiado para proyectos medio, medio-grandes, en función que el
método de priorización emplea la técnica AHP y ésta es recomendada cuando la cantidad de ítems a comparar no supera a los 20. Considerando que es un método que se aplica en etapas tempranas es razonable que la cantidad de componentes no supere este valor para los proyectos del porte mencionados.
Por otra parte, si bien el trabajo se enfoca en proyectos de TIC, se entiende que el método es lo bastante genérico para aplicarlo en otros campos del conocimiento, tales como construcción, seguridad de la información, etc.
6.2 Trabajos futuros
En primer lugar se debe ampliar la base de proyectos reales para validar el método con una muestra más grande.
Por otra parte, se advierte que el método es altamente sensible al proceso de priorización (por eso se optó por usar un modelo riguroso como es AHP) y a la clasificación de los riesgos. Este último punto debe realizarse de forma meticulosa y exhaustiva, con un dominio importante del tema, dado que la ubicación de un componente en una categoría de riesgos incorrecta puede alterar la estimación. Una estimación cualitativa, basada en el juicio de expertos, tales como el GP, equipo de trabajo y/o estimadores, admite desvíos cognitivos que pueden afectar el resultado, especialmente si la priorización resulta en valores muy concentrados. Queda entonces por delante investigar técnicas cuantitativas que permitan una clasificación más objetiva y rigurosa.
7. Agradecimiento
Agradezco a la Dra. Nuvia Martez por su asistencia técnica y minuciosa corrección.
Agradezco también al Dr. Thomas Schwarz por su guía y generosa disposición de tiempo y conocimientos.
8. Referencias
[1]Standish Group Intemational. ' 'The CHAOS Manifesto" len línea). 2013. https://larlet.fr/static/david/stream/ChaosMani fest02013. pdf Consulta: 06 de mayo de 2014).
[2] IBM Corporation. "Making Change Work" len línea). 2008. http://www-935.ibm.com/services/us/gbs/bus/html/gbs- making-change-work.html IConsulta: 12 de octubre de 2015).
[3] Project Management Institute, Guía de los Fundamentos para la Dirección de Proyectos (Guía del PMBOK), 5ta. Edición. Newton Square, Pennsylvania: Project Management Institute Inc., 2013.
[3] Rad, P., Anantatmula, V., Project Planning Techniques, Ist. Edition. Vienna: Management Concepts, 2005.
[4] Jorgensen, M., "Realism in assessment of effort estimation uncertainty: It matters how you ask". IEEE Transactions Software Engineering. vol. 30, pp. 209—217, 2004.
[5] Jorgensen, M., Sheppard, M., "A systematic review of software development cost estimation studies" len línea). January 2007. http://simu la. no/research/ se/publi cations/Jorgensen .2007.1 IConsulta: 30 setiembre 2014).
[6]Leung, H., Fanz Z. , Software Cost Estimation. Handbook of software engineering and knowledge engineering. World scientific publications company, River Edge: NJ. 2002.
[7]Khatibi, V., Jawawil, D., "Software Cost Estimation Methods: A Review". Journal of Emerging Trends in Computing and Information Science., vol. 2 no.l, pp. 21-29, 2010-11.
[8]Malcom, DG. , Roseboom, C.E., Clark, C.E. y Fazar, W. "Application of a technique for research and development program evaluation", Operations Research, no. 7, pp. 646-649, 1959. L 101
[9]Hadju, M., Mályusz, L. , "Modeling spatial and temporal relationships in network techniques". Procedia Engineering, vol.85, pp. 193-205, 2014.
[10]Van Slyke, R.M., "Monte Carlo methods and the PERT problem". Operational. Research, vol. 11, pp. 839-860, 1963.
[11]Besner, C., Hobbes, B., ' 'The Reality of Project Management Practice: Phase two of an ongoing study". University of Quebec at Montreal, 2007 len línea). http://www.pmi.org/4media/PDF/ Surv eys/Besner%20and%20Hobbs%20Practi ces%20 Survey%20 Report%20Phase%202.ashx IConsulta: 19 de mayo 2015).
[12] Whelan, B. "An Analysis of Influences on Estimating Practice in Software Projects" len línea). 2010. http://www.pmi.org/—/' Thesis%20Excerpt.ashx IConsulta: 19 de mayo de 2015).
[13] Leemis, L. , Park, S., Discrete Event-Simulation: AFirst Course. Prentice-Hall, 2006.
[14] Nakayama, M., "Statistical analysis of simulation output". Proceedings of the 2008 Winter Simulation Conference. len línea), http://www.informs-sim.org/wsc08papers/009.pdf IConsulta: 20 de mayo 2015).
[15] Cooper, D.F., MacDonald, D.H. y Chapman, C.B., "Risk analysis of a construction cost estimate", International Joumal ofProjectManagement, Vol. 3, No. 3, pp. 141-9, 1985
[16] Saaty, T. The Analytic Hierarchy Process. New York: McGraw- Hili, 1980. 118) Duan C., Laurent, P., Clealand-Huang, J. , ' 'Towards automated requirement prioritization and triage", Requir. Eng. Vol. 14, No. 2, pp. 73-89.2009.
[17] Babar, M., Ramzan, M., Ghayyur, S., "Challenge and future trends in software requirements prioritization", Computer Networks
and Information Technology (ICCNIT), 2011 Intemational Conference on, IEEE, pp. 319-324.
[18] Karlsson, J. , Ryan, K. , A cost-value approach for prioritizing requeriments, IEEE Softw, Vol. 14, pp- 67-74, 1997
[19] Boehm, B. Software Engineering Economics. New Jersey: Prentice Hall PTR, 1981.
[20] McConnell, S., Software Estimation: Demystifying the Black Art, Ist.edition. Redmond: Microsoft Press, 2006.
[21] Bossavit, L., The Leprechauns ofSoftware Engineer. Leanpub, 2013.
[22] Little, T., "Schedule Estimation and Uncertainty Surrounding the Cone of Uncertainty", IEEE Software, 2006.
[23] Eveleens, J .L., Verhoef, C.,"Quantifying IT forecasting quality" , Science ofComputer Programming, vol. 74, pp. 934-988, 2009.
[24] oodpasture, J. , Quantitative Methods in Project Management. J. Ross Publishing, 2006. Hulett, D., Practical ScheduleRi4r, Analysis. Gower Publi"ngLtd., 2009.
[25] Vose, D. RiskAnalysis: A Quantitative Analysis. Hoboken, NJ: John Wiley & Sons. 2000.
[26] Hahn, ED., "Mixture densities for Project management activity times: A robust approach to PERT". European Journal ofOperational Research, vol. 188, pp. 450-459, 2008.
[27] Conte, S., Dunshmore, H., Shen V., Software Engineering metrics and models. Menlo Park: Benjamin/Cummings Publishing, 1986.