Aplicación del método AHP para la priorización de proyectos de inversión social en la Comarca NGÄBE-BUGLÉ

Application of the AHP method for the prioritization of social investment projects in the NGÄBE-BUGLÉ region

Diana Ng.,¹ , Vanesa Peñalba¹ , Luis Blanco¹ , Humberto Álvarez^*1

¹Universidad Tecnológica de Panamá, Facultad de Ingeniería Industrial

Fecha de recepción: 10 de agosto de 2023;
Fecha de aprobación: 15 de diciembre de 2023.

*Autor de correspondencia: [email protected]

DOI: https://doi.org/10.33412/idt.v20.1.3976

RESUMEN. En la actualidad los patrones climáticos se han visto alterados debido a las actividades humanas, generando desastres naturales que provocan situaciones de emergencia. Esto lleva a los países a pensar en invertir en proyectos destinados a la mitigación de riesgos, sobre todo en las áreas más vulnerables ante estos desastres. Siendo las áreas más vulnerables aquellas que presentan mayores riesgos de afectación, es importante vincular los proyectos de mitigación de riesgos con los proyectos de inversión social. En este sentido, el presente estudio busca adaptar y comprobar la propuesta de utilización del Proceso de Análisis Jerárquico de decisión multicriterio (AHP) para la selección de proyectos de mitigación de riesgos. La aplicación de la metodología se da en el establecimiento de prioridades sobre los proyectos destinados a satisfacer las necesidades de la Comarca Ngäbe-Buglé, en el distrito de Besikó, área de Boca de Balsa. Se consideran 13 proyectos elegidos al azar contemplados como necesidades para la Comarca. Estas necesidades son evaluadas en los siguientes aspectos: tipos de proyecto, complejidad, impacto social, impacto ambiental, costos y sostenibilidad. Una vez realizada la evaluación se genera el orden de prioridad para la ejecución de los diversos proyectos considerados, dando como resultados la construcción de letrinas como los proyectos prioritarios. Por último, con esta metodología se facilita la clasificación, el ordenamiento y la priorización de alternativas, considerando múltiples criterios de evaluación; permitiendo simplificar decisiones complejas.

Palabras clave. Inversión social, método AHP, priorización de proyectos.

ABSTRACT. Currently, climate patterns have been altered due to human activities, generating natural disasters that cause emergency situations. This leads countries to think about investing in risk mitigations projects, especially in the areas most vulnerable to these disasters. Since the most vulnerable areas are those with the higher risk of being affected, it is important to link risk mitigation projects with social investment projects. In this sense, the present study seeks to adapt and test the proposed use of the Analytical Hierarchical Process multi-criteria decision method (AHP) for the selection of risk mitigation projects. The application of the methodology is given in the establishment of priorities on the projects destined to satisfy the needs of the Ngäbe-Buglé region, in the district of Besikó, Boca de Balsa area. Thirteen randomly selected projects are considered as needs for the region. These needs are evaluated based on type of project, complexity, societal impact, environmental impact, costs and sustainability. Once the evaluation has been carried out, an order of priority is generated for the execution of the various projects considered, resulting in the construction of latrines as the priority projects. Finally, this methodology facilitates the ranking, ordering and prioritization of alternatives, considering multiple evaluation criteria, allowing to simplifying complex decisions.

Keyword: Social investment, AHP method, project prioritization.

1. Introducción

El cambio climático es un problema global que ha sido tratado por los expertos de todo el mundo. En la actualidad los patrones climáticos se han visto alterados debido a las actividades humanas, generando desastres naturales que provocan situaciones de emergencia [1], [2], [3]. La degradación del medioambiente es una tendencia que tiene sus implicaciones en la sociedad, en los individuos y en la educación [4]. Estos efectos muestran de forma agravada la desigualdad existente a lo interno de las poblaciones, agravando la situación de la población más vulnerable [5]. Según Diaz Cordero [6], el cambio climático es el problema que determina el desarrollo humano en nuestra generación, este minará los esfuerzos que se emprenden en el ámbito internacional con el fin de combatir la pobreza.

En consecuencia, los enfoques que parten del estudio de los desastres han utilizado el concepto de vulnerabilidad para delimitar las nociones entre los agentes activos del desastre: riesgos, amenazas y desastres. No obstante, el concepto ha evolucionado a construcción social del riesgo, en la cual el riesgo no es un ente material objetivo, sino una elaboración, una construcción intelectual de los miembros de la sociedad y, por lo tanto, depende de la percepción que de él se tenga, siendo entonces un producto social. Por ende, los riesgos, son clave para el establecimiento de políticas y programas de prevención, atención y recuperación de los desastres [7],[8].

Los avances científicos y tecnológicos, junto con la conciencia de la importancia del clima en las actividades humanas, están creando una creciente demanda mundial de información sobre el clima [9]. Tales demandas incluyen no solo las predicciones o proyecciones del clima regional, sino que apuntan a los resultados posibles de las acciones de adaptación/mitigación[10]. De allí, se sigue la necesidad de ser capaces de “traducir” la información climática en distribuciones de resultados posibles que permitan evaluar riesgos y actuar en consecuencia [11].

Esto lleva a las naciones a pensar en invertir en proyectos destinados a la mitigación de riesgos, sobre todo en las áreas más vulnerables ante los desastres naturales [12]. Siendo las áreas más vulnerables aquellas que presentan mayores riesgos de afectación, es importante vincular los proyectos de mitigación de riesgo con los proyectos de inversión social [13].

Para llevar a cabo proyectos de adaptación y/o mitigación es importante un proceso de toma de decisiones de los gobiernos [14], con el fin de salvaguardar a la población en general de los imprevistos climáticos que se puedan llegar a dar. Las decisiones deben tomarse contemplando el aspecto sostenible (este incluye aspectos económicos, sociales y ambientales), considerando las consecuencias al realizar un proyecto [15], [16]. Por otra parte, un programa o proyecto con frecuencia afecta no solo a las variables que se pretenden intervenir, sino que trae consecuencias adicionales, muchas de ellas no deseadas o inesperadas, efecto de la complejidad de las interacciones sociales y sus diversas facetas [17].

La toma de decisiones es una actividad inherente a la cotidianidad del ser humano y no solo se realiza de manera individual, sino también que muchos problemas de decisión tienen que ser resueltos por un grupo de personas, denominados expertos, que tienen que decidir de forma conjunta qué alternativa de entre todas es la mejor. Esto ha impulsado el desarrollo de una gran variedad de enfoques y métodos, lo cual dificulta escoger cuál es el más adecuado para un problema del mundo real [18], [19], [20].

En este caso se aplicó el Proceso de Análisis Jerárquico (AHP), el cual es un método matemático desarrollado por Saaty con el objetivo de evaluar alternativas cuando se tienen en consideración varios criterios y está basado en el principio que la experiencia y el conocimiento de los actores son tan importantes como los datos utilizados en el proceso, permite la utilización de variables cuantitativas y cualitativas derivada de las evaluaciones de expertos [21],[ 22]. Entre sus ventajas se pueden mencionar: (1) Es adaptable, y a su vez, permite flexibilidad para encarar cambios en los elementos de manera que no afecten la estructura total, (2) Se puede analizar el efecto de los cambios en un nivel superior sobre el nivel inferior, (3) Da información sobre el sistema y permite una vista panorámica de los actores, sus objetivos y propósitos, (4) No incluye cálculos matemáticos complejos [23], [24]. Debido a sus ventajas ha sido uno de los modelos más utilizados para la toma de decisiones [25], se ha utilizado en campos de decisiones gubernamentales, negocios, salud, industria, educación, reciclaje, entre otros [26]–[29].

El método AHP tiene algunas desventajas, y las mismas recaen en la experiencia de los expertos, lo cual conlleva el aspecto subjetivo, en el alto uso computacional, y esto debido al gran volumen de comparaciones pareadas involucradas (estas dependen de la cantidad de criterios establecidos en el análisis) [23], [25], [26]. Estas desventajas han llevado al desarrollo de adaptaciones del modelo usando la lógica difusa, el entorno neutrófico, y el uso de un enfoque bayesiano [19]–[22]. Estas adaptaciones, en su mayoría, se concentran en la disminución de la subjetividad.

Considerando que hoy en día modelos de tomas de decisiones, basados en algoritmos, pueden ayudar y apoyar a los gobiernos en la toma de decisiones [33]–[35], es importante comenzar a establecer técnicas de toma de decisiones a proyectos de inversión ejecutadas por gobiernos locales.

Considerando que el método AHP conlleva las técnicas matemáticas para evaluar alternativas, tomando en cuenta varios criterios, de fácil utilización y compresión, es un inicio sencillo para la sistematización de toma de decisiones gubernamentales locales; por ende, este estudio se basa en esta metodología. Es importante mencionar que la metodología de toma de decisión debe incluir la selección de las alternativas, los criterios, la evaluación y el establecimiento de prioridades. De igual forma, considerando que se establece, en este estudio, a los entes gubernamentales como tomadores de decisiones, se considera la intuición y subjetividad importante basadas en las experiencias. Por ello, el presente estudio busca comprobar el uso de la metodología propuesta por Ng, Blanco y Achurra en “Proposal for the use of the multicriteria decision method (AHP) for the selection of risk mitigation projects” [1].

Tomando en cuenta que los riesgos dados por el cambio climático se encuentran interrelacionados a las poblaciones más vulnerables, este estudio adapta el método propuesto y lo aplica al establecimiento de prioridades sobre los proyectos destinados a satisfacer las necesidades de la Comarca Ngäbe-Buglé, en el distrito de Besikó, área de Boca de Balsa. Se consideran 13 proyectos elegidos al azar contemplados como necesidades para la Comarca, entre los que se pueden destacar la construcción de letrinas, construcción de acueductos rurales, entre otros. Estas necesidades son evaluadas con base en: tipo de proyecto, complejidad, impacto Social, impacto ambiental, costos y sostenibilidad.

Una vez realizada la evaluación con la metodología propuesta se genera el orden de prioridad para la ejecución de los diversos proyectos considerados y ya dependerá del presupuesto asignado la ejecución de los proyectos. Con lo cual se cumple el objetivo del estudio que busca adaptar y comprobar el método de decisión multicriterio (AHP) para la selección de proyectos de mitigación de riesgosa.

2. Materiales y Métodos/Metodología

Este estudio se basa en la propuesta metodológica realizada por Ng, Blanco y Achurra [1], en donde se propone el uso del método AHP para sistematizar la toma de decisiones en relación con el desarrollo de proyectos de mitigación de riesgo. En este artículo se propone una metodología que contempla desde, definir los objetivos, desarrollar los criterios, asignar los pesos, establecer niveles de evaluación, definir alternativas y validar resultados. Sin embargo, en este trabajo se ha adaptado la propuesta para implementarla en la priorización de proyectos para las necesidades existentes en la Comarca Ngäbe-Buglé.

En este estudio se adapta la metodología en cinco pasos, tal como se muestra en la figura 1. Tomando en consideración que ya se tienen objetivos establecidos por parte del gobierno central para el desarrollo de la comunidad.

El primer paso consiste en identificar los posibles proyectos a desarrollar. Es importante establecer proyectos basados en clústeres, en este caso el clúster está dado por la región, la Comarca Ngäbe-Buglé. Para ello, se identifican 13 proyectos en los corregimientos de Boca de Balsa y Camarón Arriba.

El segundo paso se basa en el establecimiento de los criterios de evaluación. Para este punto se toma en consideración que para los proyectos sociales se hace un estudio de documentación que sustenta la evaluación de proyectos de inversión social y entidades internacionales (CEPAL; PNUD, entre otras) y se definen los siguientes criterios básicos:

• Tipo de proyecto (TP): definido de acuerdo con el Ministerio de Economía y Finanzas de Panamá (MEF), estos van de acuerdo a la categoría del mismo y se definen como proyectos de vivienda, salud, educación, vialidad, saneamiento, agua potable, riego, producción agrícola y otros.

• Complejidad: se puede definir como la percepción que tendrían tanto el analista como el decisor sobre el nivel de complejidad del proyecto o idea bajo consideración. Se considerará como el efecto que tiene el nivel de complejidad sobre la decisión de selección del proyecto. La variable a definir es del tipo «menos es mejor». La complejidad de un proyecto será definida como alta, media, baja.

• Impacto social (IS): es el impacto percibido que la idea o proyecto, una vez ejecutada, tendría sobre diferentes elementos del área: poblaciones de riesgo, empleo, nivel de pobreza, etc. Se definirá como: alto, medio, bajo y será una variable del tipo «más es mejor».

• Impacto ambiental (IA): Será el impacto percibido que el proyecto tendrá sobre el medio ambiente. En este sentido se verá como grado de contribución positiva que el proyecto analizado hace a la conservación y defensa del medio ambiente de tal manera que será una variable del tipo «más es mejor». Se definirá como: alto, medio, bajo.

• Costo (C): Es el nivel de costo estimado de la idea. En este caso es el efecto que el nivel de costo tendrá sobre la decisión del proyecto, por lo que será una variable «menos es mejor». Se definirá como: alto, medio, bajo.

• Sostenibilidad (S): Todo proyecto de inversión social debe tener un componente de sostenibilidad. Desde el enfoque de este trabajo, la sostenibilidad será el grado de inversión adicional que se requiere para que el proyecto pueda ser puesto en marcha una vez que la ejecución del proyecto sea terminada. Así, se tiene que, entre mayor presupuesto de operaciones, requerimientos de equipamiento, personal y otros elementos sean necesarios, menor será la sostenibilidad futura del proyecto. Así esta variable es del tipo «más es mejor» y será definida como alta, media, baja.

Estos criterios son lo que se utilizan dados para el estudio. Los pesos o ponderaciones, valores mínimos y máximos o rangos de cada criterio, se contemplan como el paso 3. Gracias al uso del AHP, los niveles de alta, media y baja valores cualitativos son totalmente válidos. Esto da un rango de evaluación dado por la experiencia de los expertos.

Para el paso 4, los puntajes / evaluaciones de cada criterio para cada proyecto son establecidos por los expertos en el tema. En este punto todos los criterios para cada alternativa son evaluados por los expertos en el tema, y estos indican si los mismo son alto, medio, baja (definido previamente en el paso 3).

El Paso 5, es la realización de la evaluación. Este se basa en el método AHP, y se inicia con la matriz de comparación de criterios, se normaliza para la obtención del vector de prioridad de criterios, usando la escala de Saaty, mostrada en la tabla 1. Luego, se desarrollan las matrices de las alternativas con relación a cada criterio de evaluación establecido.

Para el desarrollo de estas matrices se establecen rangos en base a las evaluaciones dadas por los expertos para poder unificar los valores y utilizar la escala de Saaty. En otras palabras, basadas en las diferencias aceptables de los valores numéricos, se establece el uso de los valores dados por Saaty en donde los números impares establecen diferencias significativas. Con esto, se realizan las respectivas matrices normalizadas para obtener el vector de prioridad por criterio de cada alternativa.

Tabla 1. Escala de Saaty [21].

Teniendo todos los vectores de prioridad por criterio, se realiza la matriz comparativa, dando como resultado un vector promedio con las evaluaciones finales de cada alternativa. En este caso se proceden a ordenar para establecer las alternativas con alta puntuación a menor puntuación.

Figura 1. Pasos propuestos de la metodología adaptada.
Fuente: Propio del autor

Si bien los pasos establecidos (del 1 al 5) no establecen la validación de resultados, este es un punto importante para toda toma de decisiones, sobre todo cuando se contemplan presupuestos limitados, como ocurre en el sector gubernamental.

3. Resultados y discusión

Partiendo de la tabla de alternativas, criterios y evaluaciones dadas por el anexo 1., se realizan las evaluaciones para encontrar el vector de prioridad de las alternativas.

Se inicia sacando la matriz comparativa de criterios, esto conlleva evaluar los criterios entre sí. Los pesos de casa criterio, es información que debe tomar el decisor basado en experiencias de expertos, ver tabla 2.

Tabla 2. Matriz de comparación de criterio.

Tomando la matriz comparativa, incluyendo los valores impares de la escala de saaty, se obtiene el vector de prioridad de los criterios. Esto a través de la matriz normalizada, tabla 3.

Tabla 3. Matriz de criterio normalizada y vector de prioridad de criterios (VPc).

Luego se realizan las matrices de cada criterio por cada alternativa (proyectos). Para el caso del criterio de tipo de proyecto, que es el único que mantiene una escala de medición diferente al resto, se realiza un rango de evaluación para adaptar la escala de Saaty. Los intervalos de rango se establecen de 2 en 2 puntos y se toma la escala completa, número pares e impares ver tabla 4. El intervalo excluye el valor inferior, pero incluye el superior ( , ].

Tomando la escala realizada se proceden a comparar todas las alternativas de proyectos, en relación al criterio de tipo de proyecto y aquí se procede a generar la matriz de comparación con la escala de Saaty, y luego la matriz normalizada, dando como resultados el vector de prioridad de las alternativas para el criterio de tipo de proyecto (tabla 5).

Tabla 4. Adaptación de escala de saaty para el tipo de proyecto.

Tabla 5. Vector de prioridad por tipo de proyectos.

En el caso de las evaluaciones cualitativas basadas en los niveles de alto, medio, bajo como evaluaciones, estas se ajustan a la escalada de Saaty basadas en la tabla 6.

Tabla 6 comparación de rangos ajustada a la escala de Saaty.

Esta escala de comparación utiliza solo valores impares de Saaty estableciendo una diferencia significativa, y se considera para los criterios de complejidad, impacto social, impacto ambiental y sostenibilidad. Para el criterio de costos se invierten los valores, ya que entre «menos es mejor». Con ello se procede a realizar las matrices normalizadas y se obtienen los vectores de prioridad para cada criterio, ver tabla 7.

Tabla 7. Vectores de prioridad por criterio de evaluación.

Teniendo los vectores de prioridad por criterio se procede a establecer la matriz de prioridad por criterio de alternativas (13x6) y esta se multiplica por el vector de prioridad de criterios, dando como resultado un vector promedio con las evaluaciones finales de cada alternativa, ver tabla 8.

Tabla 8 Resultado de la evaluación de alternativas.

Una vez realizada la matriz comparativa se puede observar que los proyectos 1 y 2, son las que ocupan mayor prioridad. Mientras que los proyectos 8 y 9 son los que obtienen el menor puntaje.

Los proyectos 1 y 2, ambos hacen mención a la construcción de letrinas en cada corregimiento analizado. Mientras que los casos 8 y 9, se refieren a programas de apoyo a la producción.

Los proyectos evaluados contemplan dos áreas geográficas a lo interno de la Comarca, el corregimiento de Boca de Balsa y Camarón Arriba. Los proyectos por corregimientos pueden de igual forma separarse para tener dos grupos diferentes; sin embargo, al tener proyectos similares bajo las mismas condiciones establecidas por el grupo regional se contemplan en la misma evaluación.

4. Conclusiones

La metodología descrita, emplea técnicas para la toma de decisiones multicriterio, en este caso el Proceso de Análisis Jerárquico, (AHP), y propone la colaboración de equipos multidisciplinarios con el propósito de establecer de forma simple, y lógica un vector de prioridades.

Al tener proyectos de impacto social, en donde la población a alcanzar es tan diferente, el agrupar por sección geográfica permite tener un control inicial al momento de comenzar la comparación para tomar la adecuada decisión. Esto va ligado a la asignación de recursos estatales los cuales deben ser de forma racional, eficaz y eficiente.

Siempre que se tengan situaciones con varios criterios y alternativas a considerar, esta metodología facilita la clasificación, el ordenamiento y la priorización de ideas, propuestas de proyectos; permitiendo simplificar situaciones complejas y tomando en consideración opiniones de expertos. La capacidad de integrar opiniones subjetivas representa una fortaleza de este método, no elimina subjetividad si no que la integra con datos cuantitativos.

Quedan por resolver algunos elementos importantes dentro de la metodología. En primer lugar, sería importante poder automatizar la misma sobre todo la creación de las matrices, de tal manera que se pueda simplemente definir el nivel del atributo o el tipo de proyecto y el modelo genere los puntajes y equivalentes de manera rápida y confiable. A fin de que esto se pueda hacer será necesario realizar un trabajo de investigación más profundo en conceptos tales como el uso de lógica difusa para definir pesos y puntajes equivalentes, redes neuronales para la toma de decisiones expertas y ontologías para desarrollar bases de datos genéricas de atributos y criterios. De igual forma, hoy en día existen softwares abiertos como la Inteligencia Artificial que ayudan a minimizar el tiempo de desarrollo y automatización de la metodología.

AGRADECIMIENTOS

Este trabajo se realizó en parte gracias a la contribución de los estudiantes del curso Toma de Decisiones Multicriterio dictado dentro de los programas de maestrías en Administración Industrial e Ingeniería Industrial de la Facultad de Ingeniería Industrial de la Universidad Tecnológica de Panamá en las sedes de Panamá y Colón.

REFERENCIAS

[1] D. Ng, L. Blanco, and V. P. Achurra, “Proposal for the use of the multicriteria decision method (AHP) for the selection of risk mitigation projects,” in 2022 8th International Engineering, Sciences and Technology Conference (IESTEC), Oct. 2022, pp. 493–497, doi: 10.1109/IESTEC54539.2022.00083.

[2] Z. Mi et al., “Cities: The core of climate change mitigation,” J. Clean. Prod., vol. 207, pp. 582–589, 2019, doi: 10.1016/j.jclepro.2018.10.034.

[3] C. Climático, “quórum 17 antonio ruiz de elvira I 87,” 2007.

[4] W. F. Lamb and J. K. Steinberger, “Human well-being and climate change mitigation,” Wiley Interdiscip. Rev. Clim. Chang., vol. 8, no. 6, pp. 1–16, 2017, doi: 10.1002/wcc.485.

[5] K. Thomas et al., “Explaining differential vulnerability to climate change: A social science review,” Wiley Interdiscip. Rev. Clim. Chang., vol. 10, no. 2, pp. 1–18, 2019, doi: 10.1002/wcc.565.

[6] G. Díaz Cordero, “CIENCIA Y SOCIEDAD EL CAMBIO CLIMÁTICO,” vol. XXXVII, no. 2, pp. 227–240, Apr. 2012.

[7] C. Sandoval, D. Soares, and T. M. Munguía, “Sociedad y Ambiente,” vol. 1, pp. 7–24, 2014.

[8] S. Asumadu Sarkodie and V. Strezov, “Economic, social and governance adaptation readiness for mitigation of climate change vulnerability: Evidence from 192 countries,” Sci. Total Environ., vol. 656, pp. 150–164, 2019, doi: https://doi.org/10.1016/j.scitotenv.2018.11.349.

[9] E. J. . González Gaudiano and P. Á. Meira Cartea, “Educación para el cambio climático: ¿Educar sobre el clima o para el cambio?,” 2020.

[10] S. VijayaVenkataRaman, S. Iniyan, and R. Goic, “A review of climate change, mitigation and adaptation,” Renew. Sustain. Energy Rev., vol. 16, no. 1, pp. 878–897, 2012, [Online]. Available: https://www.sciencedirect.com/science/article/abs/pii/S136403211100459X.

[11] C. Hidalgo and C. E. Natenzon, “Apropiación social de la ciencia: toma de decisiones y provisión de servicios climáticos a sectores sensibles al clima en el sudeste de América del Sur Social appropriation of science: decision-making and provision of climate services to climate-sensitive,” 2014.

[12] S. Fawzy, A. I. Osman, J. Doran, and D. W. Rooney, “Strategies for mitigation of climate change: a review,” Environ. Chem. Lett., vol. 18, no. 6, pp. 2069–2094, 2020, doi: 10.1007/s10311-020-01059-w.

[13] United Nations. and CEPAL, Panorama Social de América Latina 2004. Economic Commission for Latin America & the Caribbean, 2004.

[14] C. W. Gómez and C. H. González, “El Proceso De Toma De Decisiones En Políticas Públicas,” Prospect. Rev. Trab. Soc. e Interv. Soc., vol. 0, no. 12, pp. 75–104, 2007.

[15] P. H. Dos Santos, S. M. Neves, D. O. Sant’Anna, C. H. De Oliveira, and H. D. Carvalho, “The analytic hierarchy process supporting decision making for sustainable development: An overview of applications,” J. Clean. Prod., vol. 212, pp. 119–138, 2019, doi: https://doi.org/10.1016/j.jclepro.2018.11.270.

[16] I. Bolis, S. N. Morioka, and L. I. Sznelwar, “Are we making decisions in a sustainable way? A comprehensive literature review about rationalities for sustainable development,” J. Clean. Prod., vol. 145, pp. 310–322, 2017, doi: 10.1016/j.jclepro.2017.01.025.

[17] A. Grajales-quintero, E. D. Serrano-moya, and C. M. Hahn Von-h, “LOS MÉTODOS Y PROCESOS MULTICRITERIO PARA LA EVALUACIÓN,” 2013.

[18] M. Mendoza, A. Alfonso, O. Castro, W. Alberto, R. Martínez, and D. Stephanie, “Aplicación de los métodos de toma de decisiones LP-GW-AHP y lógica difusa para la selección de una electiva académica en la Universidad del Atlántico, Colombia,” Rev. Virtual Univ. Católica del Norte, vol. 0, no. 48, pp. 352-364–364, 2016.

[19] V. M. Feregrino H., J. C. Reza G., and L. R. Ortiz Esquivel, “LA TOMA DE DECISIONES BASADA EN PROBLEMAS CONTEXTUALIZADOS. (Spanish),” Rev. Cuba. Química, vol. 18, no. 2, pp. 18–18, 2006.

[20] G. Jim, A. I. Adaptativos, and D. Cultural, “Algunos Modelos De Toma De Decisiones,” Novum, vol. 0, no. 2, pp. 102–112, 2012.

[21] T. L. Saaty, “How to make a decision: The analytic hierarchy process,” Eur. J. Oper. Res., vol. 48, no. 1, pp. 9–26, 1990, doi: https://doi.org/10.1016/0377-2217(90)90057-I.

[22] H. Taherdoost, “Decision Making Using the Analytic Hierarchy Process (AHP); A Step by Step Approach,” J. Econ. Manag. Syst., vol. 2, no. International, pp. 244–246, 2017, [Online]. Available: http://www.iaras.org/iaras/journals/ijems.

[23] A. Kumar et al., “A review of multi criteria decision making (MCDM) towards sustainable renewable energy development,” Renew. Sustain. Energy Rev., vol. 69, no. October 2016, pp. 596–609, 2017, doi: 10.1016/j.rser.2016.11.191.

[24] J. C. OSORIO GÓMEZ and J. P. OREJUELA CABRERA, “EL PROCESO DE ANÁLISIS JERÁRQUICO (AHP) Y LA TOMA DE DECISIONES MULTICRITERIO. EJEMPLO DE APLICACIÓN.,” Sci. Tech., vol. XIV, pp. 247–252, 2008.

[25] R. D. F. S. M. Russo and R. Camanho, “Criteria in AHP: A systematic review of literature,” Procedia Comput. Sci., vol. 55, no. Itqm, pp. 1123–1132, 2015, doi: 10.1016/j.procs.2015.07.081.

[26] I. Canco, D. Kruja, and T. Iancu, “Ahp, a reliable method for quality decision making: A case study in business,” Sustain., vol. 13, no. 24, pp. 1–14, 2021, doi: 10.3390/su132413932.

[27] A. B. Barcelona, “An analytic hierarchy process for quality action researches in education,” Int. J. Eval. Res. Educ., vol. 9, no. 3, pp. 517–523, 2020, doi: 10.11591/ijere.v9i3.20626.

[28] G. Improta, G. Converso, T. Murino, M. Gallo, A. Perrone, and M. Romano, “Analytic Hierarchy Process (AHP) in Dynamic Configuration as a Tool for Health Technology Assessment (HTA): The Case of Biosensing Optoelectronics in Oncology,” Int. J. Inf. Technol. Decis. Mak., vol. 18, no. 5, pp. 1533–1550, 2019, doi: 10.1142/S0219622019500263.

[29] A. Challcharoenwattana and C. Pharino, “Multiple-criteria decision analysis to promote recycling activities at different stages of urbanization,” J. Clean. Prod., vol. 137, pp. 1118–1128, 2016, doi: https://doi.org/10.1016/j.jclepro.2016.07.208.

[30] M. Abdel-Basset, M. Mohamed, and F. Smarandache, “An extension of neutrosophic AHP-SWOT analysis for strategic planning and decision-making,” Symmetry (Basel)., vol. 10, no. 4, 2018, doi: 10.3390/sym10040116.

[31] Y. Liu, C. M. Eckert, and C. Earl, A review of fuzzy AHP methods for decision-making with subjective judgements, vol. 161. 2020.

[32] J. M. Moreno-Jiménez, M. Salvador, P. Gargallo, and A. Altuzarra, “Systemic decision making in AHP: a Bayesian approach,” Ann. Oper. Res., vol. 245, no. 1–2, pp. 261–284, 2016, doi: 10.1007/s10479-014-1637-z.

[33] M. Veale, M. Van Kleek, and R. Binns, “Fairness and accountability design needs for algorithmic support in high-stakes public sector decision-making,” Conf. Hum. Factors Comput. Syst. - Proc., vol. 2018-April, pp. 1–14, 2018, doi: 10.1145/3173574.3174014.

[34] C. Alexopoulos, V. Diamantopoulou, Z. Lachana, Y. Charalabidis, A. Androutsopoulou, and M. A. Loutsaris, “How machine learning is changing e-government,” ACM Int. Conf. Proceeding Ser., vol. Part F1481, no. April, pp. 354–363, 2019, doi: 10.1145/3326365.3326412.

[35] L. Bruno, N. Oliver, E. Letouzé, A. Pentland, and P. Vinck, “Fair, Transparent, and Accountable Algorithmic Decision-making Processes,” Philos. Technol., vol. 31, no. 4, pp. 611–627, 2018.

[36] Y. Yah Jusoh, “Open Source Software Selection Using an Analytical Hierarchy Process (AHP),” Am. J. Softw. Eng. Appl., vol. 3, no. 6, p. 83, 2014, doi: 10.11648/j.ajsea.20140306.13.

[37] K. Goepel, “Implementation of an Online software tool for the Analytic Hierarchy Process (AHP-OS),” Int. J. Anal. Hierarchy Process, vol. 10, no. 3, pp. 469–487, 2018, doi: 10.13033/ijahp.v10i3.590.

[38] F. P. Rodríguez and A. R. Alboreca, “MPC 2.0©, software para la aplicación del método AHP de toma de decisiones multicriterio. (Spanish),” Recur. Rurais, no. 7, pp. 27–33, 2011, [Online]. Available: http://search.ebscohost.com/login.aspx?direct=true&db=fua&AN=77694251&lang=es&site=ehost-live.

Anexo 1. Alternativas a evaluar, criterios y evaluaciones dadas por expertos.