Evaluación en informática

Enviado por gboloix

Indice
1.
Introducción
2. La Plataforma de Evaluación de
la Calidad de los Sistemas
3. Resultados
4. Referencias

1.
Introducción

El área de informática tiene particularidades que la
hacen distinta a otras disciplinas. Además de los aspectos
tecnológicos, que la hacen particularmente dinámica, existen los aspectos relacionados
con la realización de proyectos de
desarrollo y
mejoramiento, las características intrínsecas de la
estructura del
"software" y su
desempeño, así como la utilidad que
proporcionan los sistemas
informáticos a las organizaciones y
a la comunidad. La
abundancia de información generada durante las
actividades productivas y evaluativas durante el desarrollo, la
instalación y la operación requiere de mecanismos
de selección
y simplificación que la hagan manejable y de utilidad a
los productores y promotores de los sistemas. Una plataforma de
evaluación puede considerarse como un
mecanismo de ayuda, por cuanto organiza los diversos tipos de
información de una manera estructurada.
Una plataforma de evaluación de la calidad de los
sistemas informáticos proporciona un esquema orientador a
los productores,
operadores, utilizadores, promotores y evaluadores de sistemas
informáticos, para mejorar la toma de
decisiones. La plataforma propuesta consiste de tres
dimensiones: proyecto,
sistema y
utilidad. Los detalles de la plataforma se presentan más
adelante.
El objetivo del
trabajo de investigación ha sido el de analizar los
procesos de
evaluación en informática y proponer mecanismos que
permitan mejorar la toma de decisiones durante todo el ciclo de vida
de los sistemas. Desde las primeras etapas de factibilidad de
los sistemas, pasando por la concepción y producción, hasta la operación en
las organizaciones, que brindan servicios a la
comunidad, se requieren actividades de evaluación para la
toma de decisiones. Una plataforma para la evaluación de
la calidad de los sistemas permite organizar la
información recabada durante el ciclo de vida de los
sistemas. La plataforma esta organizada jerárquicamente
para facilitar la determinación del nivel de profundidad
requerido para la evaluación de cada uno de los factores
considerados como importantes.
La metodología utilizada ha requerido del
estudio de enfoques existentes en el área de calidad y
evaluación de sistemas. El contacto directo con la
industria ha
servido para establecer la aplicabilidad del estudio. Una vez
analizados los distintos enfoques existentes, y recabados algunos
datos con la
industria, se ha propuesto una plataforma de evaluación
que permite orientar el proceso de
evaluación. El uso de métricas, aplicables en las
distintas dimensiones del proyecto, sistema y utilidad constituye
un área que requiere trabajo de investigación
adicional.

2. La Plataforma de
Evaluación de la Calidad de los Sistemas

Identifica las dimensiones, factores y sub-factores de
la jerarquía. Los puntos de vista representados en la
plataforma se refieren al proyecto (i.e., proyecto de desarrollo,
proyecto de mejoras), el sistema (i.e., características
intrínsecas del producto,
operación y mantenimiento
de los sistemas) y la utilidad (i.e., la contribución del
sistema).
La Figura 1 presenta un diagrama con
la plataforma de evaluación de la calidad, que se
descompone en dimensiones (proyecto, sistema, utilidad), cada una
de las dimensiones se descompone en factores y éstos a su
vez se descomponen en sub-factores; los sub-factores
podrían eventualmente seguirse descomponiendo, dependiendo
del grado de profundidad que se requiera en una determinada
evaluación. Un proyecto sigue un proceso, envuelve algunos
agentes y usa ciertas herramientas.
El sistema está compuesto de productos, se
comporta a un determinado nivel de desempeño y se implanta
en una tecnología
determinada. La utilidad establece la correspondencia de los
resultados con las necesidades predefinidas para el sistema,
evalúa la utilizabilidad del sistema desde la perspectiva
del usuario y aporta una contribución o beneficio para
la
organización y la comunidad al operar el sistema.
Cada factor (proceso, agente, y herramientas de la
dimensión proyecto) se sub-divide en sub-factores
(gerencia del
proyecto, proceso adecuado, y control de
calidad). A cada sub-factor se le asignan categorías,
e.g., muy bajo, bajo, medio, alto y excelente, que son
útiles para clasificar la información sobre los
sistemas desde una perspectiva de madurez.
Proyecto La dimensión proyecto trata de caracterizar los
aspectos de eficiencia del
proyecto (i.e., habilidad para desarrollar un sistema utilizando
óptimamente el tiempo, los
recursos, etc.)
desde el punto de vista de los productores y gerentes.
Proceso. El proceso evalúa el grado de eficiencia y
continuidad del proceso desde el punto de vista de los
productores, básicamente la gerencia del
proceso.

Consideraciones de gerencia del proyecto (en ciernes,
limitado, aceptable, bajo control,
optimo): este sub-factor evalúa las prácticas
gerenciales para el proyecto considerando la planificación, la estimación y el
control de las actividades.
Proceso adecuado en su definición y medida
(indefinido, rudimentario, germinando, consolidado,
completamente definido): este sub-factor evalúa la
definición del proceso, la documentación del proceso y su forma de
medición con propósito de
control.
Prácticas de control de calidad (informal, en
gestación, aceptable, en progreso, excelente): este
sub-factor evalúa las características de las
actividades de control de calidad en el proyecto (e.g.,
revisiones, pruebas,
prevención de errores, análisis de los problemas).

Agentes. El factor agentes evalúa la capacidad
del grupo de
trabajo participando en el proyecto, considerando aspectos
gerenciales como técnicos, desde el punto de vista de
productores y gerentes.

Balance de experiencias y capacidades adecuadas del
personal (sin
preparación, limitado, aceptable, demostrados,
consolidados): este sub-factor evalúa la experiencia del
grupo y las habilidades para realizar sus
responsabilidades.
Coordinación y cooperación dentro del
grupo (pobre, baja, media, alta, excelente): este sub-factor
evalúa el liderazgo,
la conformación del grupo, y la cooperación en el
proyecto.
Sentido de logros y reconocimiento (sin
reconocimiento, limitado, aceptable, progresando, excelente):
este sub-factor evalúa el grado de motivación del personal que participa en
el proyecto.

Herramientas. El factor herramientas evalúa el
grado de dominio de las
técnicas y herramientas utilizadas en el
proyecto, considerando lo adecuado para el proyecto, la
experiencia, el entrenamiento y
el soporte para las actividades técnicas, desde el punto
de vista de los productores.

Dominio de las técnicas y herramientas
(incapacitados, limitado, aceptable, franco progreso,
excelente): este sub-factor evalúa la experiencia y
productividad al usar las técnicas y
herramientas para producir "software".
Técnicas y herramientas adecuadas (aun no
comprobadas, bajo estudio, aceptables, demostradas,
consolidadas): este sub-factor evalúa las herramientas y
técnicas tanto gerenciales como técnicas (en
proceso de selección, en proceso de introducción en la organización, controladas), y los
resultados de comparaciones con otras técnicas y
herramientas.
Soporte y entrenamiento con las técnicas y
herramientas (inexistente, limitado, a petición,
predefinido, excelente): este sub-factor evalúa lo
adecuado del soporte, entrenamiento y documentación de
las técnicas y herramientas.

Sistema La dimensión sistema busca evaluar los
atributos intrínsecos del sistema y el tipo de
tecnología con que se implanta el sistema, desde el punto
de vista de operadores, administradores del sistema y
gerentes.
Producto. El factor producto evalúa los atributos
intrínsecos del sistema, con respecto a la estructura del
sistema, su facilidad de comprensión, desde el punto de
vista de operadores y administradores de sistema.

Comprensión del producto y su
documentación (inexistente, baja, media, alta,
excelente): este sub-factor evalúa varios aspectos
relativos al producto tales como que sea completo, conciso,
consistente, así como mantenible y que pueda ser probado
("tests").
Consideraciones de calidad del "software" (pobre,
aleatoria, adecuada, bajo control, optima): este sub-factor
evalúa tamaño y complejidad del "software",
tomando en consideración su estructura y
modularidad.
Controles internos (inexistentes, limitados,
adecuados, sólidos, excelentes): este sub-factor
evalúa lo adecuados y completos que son los controles en
el sistema para asegurar la exactitud de los datos,
consideraciones de seguridad
para prevenir acceso no autorizado al sistema y aspectos sobre
recuperación en caso de desastres.

Desempeño. El factor desempeño
evalúa las características dinámicas del
"software", tales como fiabilidad y eficiencia, desde el punto de
vista de operadores y administradores de sistema.

Eficiencia en el consumo de
recursos (ineficiente, limitada, aceptable, sólida,
excelente): este sub-factor evalúa el consumo de tiempo
y espacio de memoria en el
sistema.
Operación adecuada y su eficacia
(descontrolada, limitada, aceptable, bajo control, excelente):
este sub-factor evalúa la operación del sistema,
la posibilidad de controlar y contabilizar sus resultados y la
interoperabilidad del sistema en el ambiente
operativo.
Consideraciones sobre fallas en el sistema (una falla
se convierte en desastre, gran cantidad de recursos para
recuperarse, se recupera sin graves penalidades, fácil
de recuperar, recuperación automática): este
sub-factor evalúa la confiabilidad y posibilidad de
recuperación del sistema.

Tecnología. El factor tecnología
evalúa el nivel de dominio y lo adecuado de la
tecnología con que se implanta el sistema, desde el punto
de vista de operadores y administradores del sistema.

Dominio de la tecnología (inexistente,
limitado, aceptable, extenso, completo): este sub-factor
evalúa la experiencia de los operadores y de aquellos al
cargo del mantenimiento en cuanto a la tecnología con
que se implanta el sistema (e.g., sistemas
operativos, lenguajes de
programación, manejadores de bases de
datos).
Adecuada tecnología (no comprobada, baja,
media, alta, resultados demostrables): este sub-factor
evalúa la gerencia de la tecnología
(selección, introducción, control), así
como los resultados de comparaciones con otras
tecnologías alternativas.
Soporte y entrenamiento para operar y mantener con la
tecnología (inexistente, limitado, a petición,
optima, excelente): este sub-factor evalúa lo adecuado
del soporte, entrenamiento y documentación de la
tecnología.

Utilidad La dimensión utilidad busca evaluar el
nivel de satisfacción con el sistema, así como la
contribución percibida del sistema para la
organización, desde el punto de vista de usuarios e
involucrados en general.
Conformidad. El factor conformidad evalúa la
correspondencia del sistema con las necesidades establecidas,
desde el punto de vista de los usuarios.

Conforme a las necesidades funcionales y lo adecuado
de la información producida (no se establecen
necesidades, limitado, aceptable, conforme a necesidades,
supera las necesidades): este sub-factor evalúa que tan
correcta y adecuada es la información suministrada por
el sistema.
Conforme a necesidades no-funcionales, validez de la
información y su producción a tiempo (no se
considera, limitado, aceptable, conforme a las necesidades,
supera las necesidades): este sub-factor evalúa la
exactitud, su entrega a tiempo o rapidez, lo actualizado y la
seguridad de la información conservada y suministrada
por el sistema.
Satisfacción de los usuarios y sus actitudes
respecto al sistema (insatisfechos, pobre, aceptable,
demostrable, excelente): este sub-factor evalúa las
expectativas del usuario y sus resultados al usar el
sistema.

Utilizabilidad. El factor utilizabilidad evalúa
la facilidad de aprendizaje y uso
del sistema, desde el punto de vista de los usuarios.

Sistema discernible (inconsistente, poco amigable,
aceptable, fácil manejo, excelente manejo): éste
sub-factor evalúa las características de la
interacción entre los seres humanos y el sistema, tales
como la interfaz, el asesoramiento suministrado por el sistema
para orientar las labores del usuario, y la facilidad de
recordar aspectos ya suministrados al sistema.
Eficiencia de uso (ineficiente, presenta redundancia,
aceptable, previene los errores y señala su seriedad,
excelente): éste sub-factor evalúa el esfuerzo
requerido para utilizar el sistema.
Aprendizaje del sistema (muy compleja, requiere mucho
tiempo de aprendizaje, aceptable, aprendizaje rápido,
aprendizaje optimo): éste sub-factor evalúa el
esfuerzo requerido para aprender la
aplicación.

Contribución. El factor contribución
evalúa los beneficios suministrados por el sistema a la
organización y a la comunidad, desde el punto de vista de
los usuarios, promotores y todos los afectados por el
sistema.

Impacto a los usuarios y su trabajo (sin impacto,
pobre, aceptable, gran impacto, excelente): este sub-factor
evalúa el incremento de productividad al usar el
sistema.
Costo-beneficio con respecto a lo planificado (no se
planifica, limitado, aceptable, demostrable, excelente): este
sub-factor evalúa los parámetros
económicos para definir el incremento del valor
adicional del negocio y la recuperación de la inversión.
Encaje del sistema en la organización y su
impacto (no contribuye, limitado, aceptable, gran impacto,
excelente): este sub-factor evalúa las ventajas
competitivas al usar el sistema y el éxito
logrado hacia el alcance de las metas estratégicas del
negocio.

3. Resultados

En este trabajo se ha propuesto una plataforma de
evaluación de la calidad de los sistemas. La Plataforma de
Evaluación de la Calidad de los Sistemas ha sido utilizada
en ambientes institucionales, comerciales y docentes. A nivel de
industria se ha utilizado para recabar datos sobre sistemas
existentes; un sistema existente, el cual no ha sido planificado
por objetivos o
que éstos no se han documentado, requiere de una
evaluación tipo post-mortem basada en estándares de
la industria; aquellos sistemas donde se han establecido los
criterios de evaluación desde el comienzo del proyecto,
pueden controlarse durante toda su ejecución y evaluarse
una vez concluidos. A nivel académico se ha utilizado la
plataforma para determinar las características de los
sistemas a desarrollar desde las primeras etapas de
concepción y así poder plantear
un seguimiento durante el desarrollo.
La experiencia demuestra que debido a la estructura
jerárquica de la plataforma de evaluación es
posible adaptarse a diversos estilos o ambientes para la
evaluación. Los niveles jerárquicos de la
plataforma permiten profundizar hasta el nivel requerido en una
evaluación particular; en algunos casos pueden ampliarse
los niveles jerárquicos para investigar áreas que
por su envergadura requieren de evaluación adicional. En
otros casos sólo algunas de las dimensiones o factores son
aplicables; es distinto aplicar la plataforma desde las primeras
etapas del ciclo de vida de un sistema que aplicarla cuando un
sistema ya ha sido completado; es distinto evaluar un "paquete de
software" que evaluar un sistema construido internamente por la
misma organización que lo utilizará. El caso de
desarrolladores de paquetes también requiere de
consideraciones particulares, pues ellos deben generalizar sus
aplicaciones para ambientes diversos.
La aplicación continua de la plataforma en la industria
permitirá mejorar las escalas de medida propuestas para
cada sub-factor. Estas escalas se utilizarán tanto en los
desarrollos de nuevos sistemas, la mejora a sistemas existentes y
los sistemas completados. Se requiere de trabajo adicional en la
determinación de métricas cualitativas y
cuantitativas para ser objetivos al evaluar.

4.
Referencias

– Boloix, G. "Quality-based Software Process
Definition", SEA’99, Scottsdale, Arizona, octubre 6-8 de
1999.
– Boloix, G. "Specifying and Evaluating Software Quality",
SCI-ISAS’99, Orlando, Florida, julio-agosto de 1999.
– Boloix, G. "Software Systems Evaluation and Quality
Improvement", Journal of Systems and Software, marzo 1997.
-Boloix, G.; Robillard, P.N. 'A Software System Evaluation
Framework', IEEE Computer, diciembre 1995

Autor:

Germinal Boloix