Criterios de evaluación y métricas de evaluación ISO/IEC 25040

 

Criterios de evaluación y métricas de evaluación 

ISO/IEC 25040


ISO/IEC 25040 define el proceso para llevar a cabo la evaluación del producto software.
Dicho proceso de evaluación consta de un total de cinco actividades.





Actividad 1: Establecer los requisitos de la evaluación

El primer paso del proceso de evaluación consiste en establecer los requisitos de la evaluación.

Tarea 1.1: Establecer el propósito de la evaluación
En esta tarea se documenta el propósito por el que la organización quiere evaluar la calidad de
su producto software (asegurar la calidad del producto, decidir si se acepta un producto, determinar
la viabilidad del proyecto en desarrollo, comparar la calidad del producto con productos de la competencia, etc.).

Tarea 1.2: Obtener los requisitos de calidad del producto

En esta tarea se identifican las partes interesadas en el producto software (desarrolladores, posibles

adquirientes, usuarios, proveedores, etc.) y se especifican los requisitos de calidad del producto

utilizando un determinado modelo de calidad.

Tarea 1.3: Identificar las partes del producto que se deben evaluar

Se deben identificar y documentar las partes del producto software incluidas en la evaluación.

El tipo de producto a evaluar (especificación de requisitos, diagramas de diseño, documentación

de las pruebas, etc.) depende de la fase en el ciclo de vida en que se realiza la evaluación y del

propósito de ésta.

Tarea 1.4: Definir el rigor de la evaluación

Se debe definir el rigor de la evaluación en función del propósito y el uso previsto del producto

software, basándose, por ejemplo, en aspectos como el riesgo para la seguridad, el riesgo

económico o el riesgo ambiental. En función del rigor se podrá establecer qué técnicas se

aplican y qué resultados se esperan de la evaluación.

Actividad 2: Especificar la evaluación 

En esta actividad se especifican los módulos de evaluación (compuestos por las métricas, herramientas

y técnicas de medición) y los criterios de decisión que se aplicarán en la evaluación.

Tarea 2.1: Seleccionar los módulos de evaluación

En esta tarea el evaluador selecciona las métricas de calidad, técnicas y herramientas (módulos de evaluación) que cubran todos los requisitos de la evaluación. Dichas métricas deben permitir que, en función de su valor, se puedan realizar comparaciones fiables con criterios que permitan tomar decisiones. Para ello se puede tener en cuenta la Norma ISO/IEC 25020.

Tarea 2.2: Definir los criterios de decisión para las métricas

Se deben definir los criterios de decisión para las métricas seleccionadas. Dichos criterios son umbrales numéricos que se pueden relacionar con los requisitos de calidad y posteriormente con los criterios de evaluación para decidir la calidad del producto. Estos umbrales se pueden establecer a partir de benchmarks, límites de control estadísticos, datos históricos, requisitos del cliente, etc.

Tarea 2.3: Definir los criterios de decisión de la evaluación

Se deben definir criterios para las diferentes características evaluadas a partir de las subcaracterísticas y métricas de calidad. Estos resultados a mayor nivel de abstracción permiten realizar la valoración de la calidad del producto software de forma general.

Actividad 3: Diseñar la evaluación

En esta actividad se define el plan con las actividades de evaluación que se deben realizar.

Tarea 3.1: Planificar las actividades de la evaluación

Se deben planificar las actividades de la evaluación teniendo en cuenta la disponibilidad de los recursos, tanto humanos como materiales, que puedan ser necesarios. En la planificación se debe tener en cuenta el presupuesto, los métodos de evaluación y estándares adaptados, las herramientas de evaluación, etc.

El plan de evaluación se revisará y actualizará proporcionando información adicional según sea necesario durante el proceso de evaluación.

Actividad 4: Ejecutar la evaluación

En esta actividad se ejecutan las actividades de evaluación obteniendo las métricas de calidad y aplicando los criterios de evaluación.

Tarea 4.1: Realizar las mediciones

Se deben realizar las mediciones sobre el producto software y sus componentes para obtener los valores de las métricas seleccionadas e indicadas en el plan de evaluación. Todos los resultados obtenidos deberán ser debidamente registrados.

Tarea 4.2: Aplicar los criterios de decisión para las métricas

Se aplican los criterios de decisión para las métricas seleccionadas sobre los valores obtenidos en la medición del producto.

Tarea 4.3: Aplicar los criterios de decisión de la evaluación

En esta última tarea se deben aplicar los criterios de decisión a nivel de características y subcaracterísticas de calidad, produciendo

como resultado la valoración del grado en que el producto software cumple los requisitos de calidad establecidos.

Actividad 5: Concluir la evaluación

En esta actividad se concluye la evaluación de la calidad del producto software, realizando el informe de resultados que se entregará al cliente y revisando con éste los resultados obtenidos.

Tarea 5.1: Revisar los resultados de la evaluación

Mediante esta tarea, el evaluador y el cliente de la evaluación (en caso de existir) realizan una revisión

conjunta de los resultados obtenidos, con el objetivo de realizar una mejor interpretación de la evaluación y  una mejor detección de errores.

Tarea 5.2: Crear el informe de evaluación

Una vez revisados los resultados, se elabora el informe de evaluación, con los requisitos de la evaluación,  los resultados, las limitaciones y restricciones, el personal evaluador, etc.

Tarea 5.3: Revisar la calidad de la evaluación y obtener feedback

El evaluador revisará los resultados de la evaluación y la validez del proceso de evaluación, de los indicadores y de las métricas aplicadas. El feedback de la revisión debe servir para mejorar el proceso de evaluación de la organización y las técnicas de evaluación utilizadas.

Tarea 5.4: Tratar los datos de la evaluación

Una vez finalizada la evaluación, el evaluador debe realizar el adecuado tratamiento con los datos y los objetos de la evaluación según lo acordado con el cliente (en caso de ser una tercera parte), devolviéndolos, archivándolos o eliminándolos según corresponda.


Métrica: Es una medida del grado en que un sistema, componente o proceso posee un atributo dado.

Comentarios