El área de informática tiene particularidades que la hacen distinta a otras disciplinas. Además de los aspectos tecnológicos, que la hacen particularmente dinámica, existen los aspectos relacionados con la realización de proyectos de desarrollo y mejoramiento, las características intrínsecas de la estructura del "software" y su desempeño, así como la utilidad que proporcionan los sistemas informáticos a las organizaciones y a la comunidad. La abundancia de información generada durante las actividades productivas y evaluativas durante el desarrollo, la instalación y la operación requiere de mecanismos de selección y simplificación que la hagan manejable y de utilidad a los productores y promotores de los sistemas. Una plataforma de evaluación puede considerarse como un mecanismo de ayuda, por cuanto organiza los diversos tipos de información de una manera estructurada.
Una plataforma de evaluación de la calidad de los sistemas informáticos proporciona un esquema orientador a los productores,
operadores, utilizadores, promotores y evaluadores de sistemas informáticos, para mejorar la toma de decisiones. La plataforma propuesta consiste de tres dimensiones: proyecto, sistema y utilidad. Los detalles de la plataforma se presentan más adelante.
El objetivo del trabajo de investigación ha sido el de analizar los procesos de evaluación en informática y proponer mecanismos que permitan mejorar la toma de decisiones durante todo el ciclo de vida de los sistemas. Desde las primeras etapas de factibilidad de los sistemas, pasando por la concepción y producción, hasta la operación en las organizaciones, que brindan servicios a la comunidad, se requieren actividades de evaluación para la toma de decisiones. Una plataforma para la evaluación de la calidad de los sistemas permite organizar la información recabada durante el ciclo de vida de los sistemas. La plataforma esta organizada jerárquicamente para facilitar la determinación del nivel de profundidad requerido para la evaluación de cada uno de los factores considerados como importantes.
La metodología utilizada ha requerido del estudio de enfoques existentes en el área de calidad y evaluación de sistemas. El contacto directo con la industria ha servido para establecer la aplicabilidad del estudio. Una vez analizados los distintos enfoques existentes, y recabados algunos datos con la industria, se ha propuesto una plataforma de evaluación que permite orientar el proceso de evaluación. El uso de métricas, aplicables en las distintas dimensiones del proyecto, sistema y utilidad constituye un área que requiere trabajo de investigación adicional.

Identifica las dimensiones, factores y sub-factores de la jerarquía. Los puntos de vista representados en la plataforma se refieren al proyecto (i.e., proyecto de desarrollo, proyecto de mejoras), el sistema (i.e., características intrínsecas del producto, operación y mantenimiento de los sistemas) y la utilidad (i.e., la contribución del sistema).
La Figura 1 presenta un diagrama con la plataforma de evaluación de la calidad, que se descompone en dimensiones (proyecto, sistema, utilidad), cada una de las dimensiones se descompone en factores y éstos a su vez se descomponen en sub-factores; los sub-factores podrían eventualmente seguirse descomponiendo, dependiendo del grado de profundidad que se requiera en una determinada evaluación. Un proyecto sigue un proceso, envuelve algunos agentes y usa ciertas herramientas. El sistema está compuesto de productos, se comporta a un determinado nivel de desempeño y se implanta en una tecnología determinada. La utilidad establece la correspondencia de los resultados con las necesidades predefinidas para el sistema, evalúa la utilizabilidad del sistema desde la perspectiva del usuario y aporta una contribución o beneficio para la organización y la comunidad al operar el sistema.
Cada factor (proceso, agente, y herramientas de la dimensión proyecto) se sub-divide en sub-factores (gerencia del proyecto, proceso adecuado, y control de calidad). A cada sub-factor se le asignan categorías, e.g., muy bajo, bajo, medio, alto y excelente, que son útiles para clasificar la información sobre los sistemas desde una perspectiva de madurez.
Proyecto La dimensión proyecto trata de caracterizar los aspectos de eficiencia del proyecto (i.e., habilidad para desarrollar un sistema utilizando óptimamente el tiempo, los recursos, etc.) desde el punto de vista de los productores y gerentes.
Proceso. El proceso evalúa el grado de eficiencia y continuidad del proceso desde el punto de vista de los productores, básicamente la gerencia del proceso.

• Consideraciones de gerencia del proyecto (en ciernes, limitado, aceptable, bajo control, optimo): este sub-factor evalúa las prácticas gerenciales para el proyecto considerando la planificación, la estimación y el control de las actividades.
• Proceso adecuado en su definición y medida (indefinido, rudimentario, germinando, consolidado, completamente definido): este sub-factor evalúa la definición del proceso, la documentación del proceso y su forma de medición con propósito de control.
• Prácticas de control de calidad (informal, en gestación, aceptable, en progreso, excelente): este sub-factor evalúa las características de las actividades de control de calidad en el proyecto (e.g., revisiones, pruebas, prevención de errores, análisis de los problemas).

Agentes. El factor agentes evalúa la capacidad del grupo de trabajo participando en el proyecto, considerando aspectos gerenciales como técnicos, desde el punto de vista de productores y gerentes.

• Balance de experiencias y capacidades adecuadas del personal (sin preparación, limitado, aceptable, demostrados, consolidados): este sub-factor evalúa la experiencia del grupo y las habilidades para realizar sus responsabilidades.
• Coordinación y cooperación dentro del grupo (pobre, baja, media, alta, excelente): este sub-factor evalúa el liderazgo, la conformación del grupo, y la cooperación en el proyecto.
• Sentido de logros y reconocimiento (sin reconocimiento, limitado, aceptable, progresando, excelente): este sub-factor evalúa el grado de motivación del personal que participa en el proyecto.

Herramientas. El factor herramientas evalúa el grado de dominio de las técnicas y herramientas utilizadas en el proyecto, considerando lo adecuado para el proyecto, la experiencia, el entrenamiento y el soporte para las actividades técnicas, desde el punto de vista de los productores.

• Dominio de las técnicas y herramientas (incapacitados, limitado, aceptable, franco progreso, excelente): este sub-factor evalúa la experiencia y productividad al usar las técnicas y herramientas para producir "software".
• Técnicas y herramientas adecuadas (aun no comprobadas, bajo estudio, aceptables, demostradas, consolidadas): este sub-factor evalúa las herramientas y técnicas tanto gerenciales como técnicas (en proceso de selección, en proceso de introducción en la organización, controladas), y los resultados de comparaciones con otras técnicas y herramientas.
• Soporte y entrenamiento con las técnicas y herramientas (inexistente, limitado, a petición, predefinido, excelente): este sub-factor evalúa lo adecuado del soporte, entrenamiento y documentación de las técnicas y herramientas.

Sistema La dimensión sistema busca evaluar los atributos intrínsecos del sistema y el tipo de tecnología con que se implanta el sistema, desde el punto de vista de operadores, administradores del sistema y gerentes.
Producto. El factor producto evalúa los atributos intrínsecos del sistema, con respecto a la estructura del sistema, su facilidad de comprensión, desde el punto de vista de operadores y administradores de sistema.

• Comprensión del producto y su documentación (inexistente, baja, media, alta, excelente): este sub-factor evalúa varios aspectos relativos al producto tales como que sea completo, conciso, consistente, así como mantenible y que pueda ser probado ("tests").
• Consideraciones de calidad del "software" (pobre, aleatoria, adecuada, bajo control, optima): este sub-factor evalúa tamaño y complejidad del "software", tomando en consideración su estructura y modularidad.
• Controles internos (inexistentes, limitados, adecuados, sólidos, excelentes): este sub-factor evalúa lo adecuados y completos que son los controles en el sistema para asegurar la exactitud de los datos, consideraciones de seguridad para prevenir acceso no autorizado al sistema y aspectos sobre recuperación en caso de desastres.

Desempeño. El factor desempeño evalúa las características dinámicas del "software", tales como fiabilidad y eficiencia, desde el punto de vista de operadores y administradores de sistema.

• Eficiencia en el consumo de recursos (ineficiente, limitada, aceptable, sólida, excelente): este sub-factor evalúa el consumo de tiempo y espacio de memoria en el sistema.
• Operación adecuada y su eficacia (descontrolada, limitada, aceptable, bajo control, excelente): este sub-factor evalúa la operación del sistema, la posibilidad de controlar y contabilizar sus resultados y la interoperabilidad del sistema en el ambiente operativo.
• Consideraciones sobre fallas en el sistema (una falla se convierte en desastre, gran cantidad de recursos para recuperarse, se recupera sin graves penalidades, fácil de recuperar, recuperación automática): este sub-factor evalúa la confiabilidad y posibilidad de recuperación del sistema.

Tecnología. El factor tecnología evalúa el nivel de dominio y lo adecuado de la tecnología con que se implanta el sistema, desde el punto de vista de operadores y administradores del sistema.

• Dominio de la tecnología (inexistente, limitado, aceptable, extenso, completo): este sub-factor evalúa la experiencia de los operadores y de aquellos al cargo del mantenimiento en cuanto a la tecnología con que se implanta el sistema (e.g., sistemas operativos, lenguajes de programación, manejadores de bases de datos).
• Adecuada tecnología (no comprobada, baja, media, alta, resultados demostrables): este sub-factor evalúa la gerencia de la tecnología (selección, introducción, control), así como los resultados de comparaciones con otras tecnologías alternativas.
• Soporte y entrenamiento para operar y mantener con la tecnología (inexistente, limitado, a petición, optima, excelente): este sub-factor evalúa lo adecuado del soporte, entrenamiento y documentación de la tecnología.

Utilidad La dimensión utilidad busca evaluar el nivel de satisfacción con el sistema, así como la contribución percibida del sistema para la organización, desde el punto de vista de usuarios e involucrados en general.
Conformidad. El factor conformidad evalúa la correspondencia del sistema con las necesidades establecidas, desde el punto de vista de los usuarios.

• Conforme a las necesidades funcionales y lo adecuado de la información producida (no se establecen necesidades, limitado, aceptable, conforme a necesidades, supera las necesidades): este sub-factor evalúa que tan correcta y adecuada es la información suministrada por el sistema.
• Conforme a necesidades no-funcionales, validez de la información y su producción a tiempo (no se considera, limitado, aceptable, conforme a las necesidades, supera las necesidades): este sub-factor evalúa la exactitud, su entrega a tiempo o rapidez, lo actualizado y la seguridad de la información conservada y suministrada por el sistema.
• Satisfacción de los usuarios y sus actitudes respecto al sistema (insatisfechos, pobre, aceptable, demostrable, excelente): este sub-factor evalúa las expectativas del usuario y sus resultados al usar el sistema.

Utilizabilidad. El factor utilizabilidad evalúa la facilidad de aprendizaje y uso del sistema, desde el punto de vista de los usuarios.

• Sistema discernible (inconsistente, poco amigable, aceptable, fácil manejo, excelente manejo): éste sub-factor evalúa las características de la interacción entre los seres humanos y el sistema, tales como la interfaz, el asesoramiento suministrado por el sistema para orientar las labores del usuario, y la facilidad de recordar aspectos ya suministrados al sistema.
• Eficiencia de uso (ineficiente, presenta redundancia, aceptable, previene los errores y señala su seriedad, excelente): éste sub-factor evalúa el esfuerzo requerido para utilizar el sistema.
• Aprendizaje del sistema (muy compleja, requiere mucho tiempo de aprendizaje, aceptable, aprendizaje rápido, aprendizaje optimo): éste sub-factor evalúa el esfuerzo requerido para aprender la aplicación.

Contribución. El factor contribución evalúa los beneficios suministrados por el sistema a la organización y a la comunidad, desde el punto de vista de los usuarios, promotores y todos los afectados por el sistema.

• Impacto a los usuarios y su trabajo (sin impacto, pobre, aceptable, gran impacto, excelente): este sub-factor evalúa el incremento de productividad al usar el sistema.
• Costo-beneficio con respecto a lo planificado (no se planifica, limitado, aceptable, demostrable, excelente): este sub-factor evalúa los parámetros económicos para definir el incremento del valor adicional del negocio y la recuperación de la inversión.
• Encaje del sistema en la organización y su impacto (no contribuye, limitado, aceptable, gran impacto, excelente): este sub-factor evalúa las ventajas competitivas al usar el sistema y el éxito logrado hacia el alcance de las metas estratégicas del negocio.

3. Resultados

En este trabajo se ha propuesto una plataforma de evaluación de la calidad de los sistemas. La Plataforma de Evaluación de la Calidad de los Sistemas ha sido utilizada en ambientes institucionales, comerciales y docentes. A nivel de industria se ha utilizado para recabar datos sobre sistemas existentes; un sistema existente, el cual no ha sido planificado por objetivos o que éstos no se han documentado, requiere de una evaluación tipo post-mortem basada en estándares de la industria; aquellos sistemas donde se han establecido los criterios de evaluación desde el comienzo del proyecto, pueden controlarse durante toda su ejecución y evaluarse una vez concluidos. A nivel académico se ha utilizado la plataforma para determinar las características de los sistemas a desarrollar desde las primeras etapas de concepción y así poder plantear un seguimiento durante el desarrollo.
La experiencia demuestra que debido a la estructura jerárquica de la plataforma de evaluación es posible adaptarse a diversos estilos o ambientes para la evaluación. Los niveles jerárquicos de la plataforma permiten profundizar hasta el nivel requerido en una evaluación particular; en algunos casos pueden ampliarse los niveles jerárquicos para investigar áreas que por su envergadura requieren de evaluación adicional. En otros casos sólo algunas de las dimensiones o factores son aplicables; es distinto aplicar la plataforma desde las primeras etapas del ciclo de vida de un sistema que aplicarla cuando un sistema ya ha sido completado; es distinto evaluar un "paquete de software" que evaluar un sistema construido internamente por la misma organización que lo utilizará. El caso de desarrolladores de paquetes también requiere de consideraciones particulares, pues ellos deben generalizar sus aplicaciones para ambientes diversos.
La aplicación continua de la plataforma en la industria permitirá mejorar las escalas de medida propuestas para cada sub-factor. Estas escalas se utilizarán tanto en los desarrollos de nuevos sistemas, la mejora a sistemas existentes y los sistemas completados. Se requiere de trabajo adicional en la determinación de métricas cualitativas y cuantitativas para ser objetivos al evaluar.

- Boloix, G. "Quality-based Software Process Definition", SEA’99, Scottsdale, Arizona, octubre 6-8 de 1999.
- Boloix, G. "Specifying and Evaluating Software Quality", SCI-ISAS’99, Orlando, Florida, julio-agosto de 1999.
- Boloix, G. "Software Systems Evaluation and Quality Improvement", Journal of Systems and Software, marzo 1997.
-Boloix, G.; Robillard, P.N. 'A Software System Evaluation Framework', IEEE Computer, diciembre 1995