Fiabilidad y validez de encuestas

FIABILIDAD DE ENCUESTAS

Cohen (1996), Davis (1996), Hayes (1998) y Huck (1996) están de acuerdo en que la fiabilidad de un instrumento de medición hace referencia a la consistencia de un resultado.

Esto es, el cuestionario de datos será consistente después de pruebas repetidas, utilizando los mismo o diferentes valores, para las mismas preguntas o similares.

Diferentes procedimientos estadísticos han sido desarrollados para probar la fiabilidad (consistencia). Cada una de las diferentes técnicas proporciona una medida de consistencia llamada coeficiente de fiabilidad.

Ese número tendrá un valor de 0.00 a +1.00. El valor 0.00, establece que la consistencia está ausente, mientras que el valor de +1.00 indica una consistencia total. Huck (1996) establece que el coeficiente de fiabilidad puede ser negativo, pero debería ser cambiado a 0.00.

Davis (1996) establece que no existen lineamientos absolutos como el coeficiente de fiabilidad pero proporciona el siguiente paquete de estándares para consideración:

• utilizado para investigación exploratoria

• utilizado para investigación básica

• utilizado para escenarios aplicados para decisiones importantes

Cohen (1996) lista las razones (excluyendo al humano) por las que el puntaje o las respuestas de la encuesta pueden variar del valor real:

Elaboración del cuestionario: Variación entre las preguntas de el cuestionario en contenido o selección

Administración del cuestionario: La temperatura de la sala estuvo muy alta, la iluminación fue pobre, el cuestionario del administrador se entregó tarde pero aplicaciones de prueba con los tiempos límite originales

Puntaje e interpretación del cuestionario: No todas las pruebas son calificadas por una máquina, algunas son calificadas de manera subjetiva por los humanos.

Si las calificaciones de el cuestionario no muestran mucha variación, entonces el coeficiente de fiabilidad debería ser cercano a 1.00. Los fundamentos del estado de fiabilidad establecen que un puntaje observado está compuesto de dos partes básicas: el puntaje real y el error de valor.

Puntaje observado = puntaje real + error de valor

Variación (puntaje observado) = variación (puntaje real) + variación (error de valor)

Como la variación de error disminuye en valor (o como los puntajes de el cuestionario son más consistentes) el coeficiente de fiabilidad será más cercano al valor de 1.00.

Esto puede indicar un muy buen juego de datos. Por otro lado, como la información en la evaluación es inconsistente, entonces el coeficiente de fiabilidad caerá.

Existen 3 pruebas de fiabilidad que pueden ser utilizadas:

– Fiabilidad de prueba: Utilizado para evaluar la consistencia desde la primera reevaluación prueba hasta la última prueba.

– Fiabilidad de

formas paralelas Dos pruebas similares le darán un puntaje consistente

– Fiabilidad de Los mismos puntos de el cuestionario producirán los mismos

consistencia interna resultados dentro del cuestionario

Fiabilidad de cuestionario-reevaluación

Los mismos temas serán medidos dos veces con el mismo instrumento de medición, con un tiempo de prueba separado.

Esto es, una separación de un día, semana, mes o año es utilizada antes que la misma prueba sea administrada a los mismos temas. El investigador correlacionará los juegos de puntajes para determinar el monto de consistencia en la información.

En el reporte, el coeficiente de fiabilidad es renombrado como el coeficiente de fiabilidad de prueba-reevaluación.

Fiabilidad de formas paralelas

Esta prueba puede estar referida como formas equivalentes o alternar pruebas de fiabilidad. Los sujetos son probados con dos diferentes formas que miden las mismas características, pero difiere la precisión de las preguntas.

Es utilizado un corto periodo de tiempo para realizar el cuestionario. Un coeficiente de equivalencia indica el grado de consistencia entre las dos formas.

Fiabilidad de consistencia interna

Esta es una prueba de la consistencia de el cuestionario en sí. Un instrumento debería poseer una fiabilidad de consistencia interna alta. Los métodos disponibles son:

• Fiabilidad de Dispersión-media: el investigador analizará los puntos de el cuestionario mediante la dispersión de el cuestionario a la mitad. Las preguntas con número impar serán comparadas con las preguntas de números pares.

• Kuder-Richardson #20 (K-R 20): Una variación de la anterior. Se le llama K-R 20 porque fue la 20va fórmula en el cálculo eventual. Esta es la estadística de opción para preguntas de opción múltiple.

• Coeficiente Alfa, Cronbach"s Alfa o Alfa: Una prueba que es muy útil para pruebas con dicotomía (sí, no), opción múltiple o un rango de valores

(Huck, 1996)

Fiabilidad de interevaluadores

Debe existir una necesidad para evaluar el grado de consistencia entre evaluadores. Un índice de fiabilidad de interevaluadores será hecho. Los tres métodos más utilizados son:

• Coeficiente de concordancia Kendall"s

• Cohen"s Kappa

• Coeficiente e correlación intraclass

Validación del examen

La validación representa el alcance de precisión del instrumento de prueba.

Mientras que la fiabilidad procura medir la consistencia de la información, la validación se enfocará en la exactitud y consistencia.

Existen tres procedimientos frecuentemente utilizados para validar:

• Validez de contenido

• Criterio en relación a la validez

• Construcción de validez

Validez de contenido

Los expertos usualmente verificarán que las preguntas del instrumento de prueba pertenezcan al contenido del material bajo cuestión. Una lista de verificación, resumen, perfil serán utilizados para verificar las preguntas del instrumento.

Criterio relativo a la validez

Un criterio es definido como el estándar contra el cual una prueba o puntaje de prueba es evaluado.

Esto puede ser un nuevo examen de ingreso a la universidad comparado al examen existente. Una prueba es proporcionada sobre el nuevo instrumento con un coeficiente de validez calculado.

La validez común es conducida si la nueva prueba puede ser comparada a el cuestionario vieja si se da dentro de un periodo corto de tiempo una de la otra.

La validez profética es utilizada cuando la nueva prueba es tomada en el periodo de tiempo actual, con el criterio de prueba (prueba estándar) tomado años después.

Construcción de validez

Una construcción es un concepto, un comportamiento, una actitud o una idea científica utilizada para explicar un desempeño.

La construcción puede ser la satisfacción del trabajo, ansiedad, motivación o satisfacción del cliente. La construcción de validez busca empatar las preguntas del cuestionario con las situaciones observadas.

Los puntajes altos y bajos de el cuestionario deben coincidir con las conductas observadas.

La validez convergente es el grado de asociación (correlación) que el instrumento de el cuestionario tiene que construir bajo pregunta.

La satisfacción del cliente puede ser medido por un instrumento de muestra y empata al grado de satisfacción del cliente.

La validez discriminante es el uso de un instrumento válido que medirá lo opuesto a lo construido. En este caso, una medición de la insatisfacción del cliente puede estar correlacionada de manera negativa a la satisfacción del cliente.

Comentarios finales de validez

Huck (1996) noto que cualquier estudio o encuesta puede poseer un alto grado de validez o fiabilidad.

El diseño del estudio y el uso de técnicas apropiadas estadísticas juegan una parte en la obtención de buenas conclusiones.

Valoración de la encuesta

Las encuestas pueden ser utilizadas en la investigación para obtener información cualitativa o cuantitativa. Los proyectos pueden estar basados en información pura experimental bajo condiciones controladas, tales como en un laboratorio.

Muchos proyectos pueden requerir un campo de datos recolectados vía algún método como los cuestionarios o entrevistas. La calidad profesional puede tener una necesidad para recolectar información en:

• Retroalimentación del cliente

• Satisfacción/insatisfacción del cliente

• Desempeño del proveedor

• Satisfacción del empleado

• Efectividad de la capacitación

Escala Likert

Una escala de puntuación utilizada comúnmente para encuestas es la escala Likert.

Pueden ser de 5 puntos, 7 puntos o una escala numérica especial. La escala se puede extender de 1 a 7, de 1 a 9, de 1 a 11, etc. dependiendo de la aplicación. Por ejemplo:

Fuertemente en desacuerdo 1

En desacuerdo 2

Indeciso 3

De acuerdo 4

Fuertemente de acuerdo 5

Entre más favorable el encuestado esté inclinado hacia la pregunta, mayor será el puntaje. Así pues, varias estadísticas como la media, la desviación estándar, coeficientes de correlación, y otros valores estimados pueden ser sacados de la evaluación.

Las mediciones son parte del proceso de mejora. La comunicación de qué tan buena o pobre es la calidad será expresada en términos numéricos. Con las bases estadísticas apropiadas, las mejoras en el proceso, el servicio al cliente, la satisfacción al cliente, la retención del cliente, puede ser determinado.

Evaluación cualitativa

Muchas evaluaciones no necesariamente se prestan a análisis cuantitativo.

La información por naturaleza tiende a ser subjetiva o cualitativa en la naturaleza. Ejemplos:

• Preguntas de Si/no

• Respuestas de opción múltiple

• Rango de valores

• Evaluaciones subjetivas basadas en el sentido humano

• Preferencia de color

• Desempeño del empleado

• Personalidad

• Etc,

Ejemplos cualitativos

Es común correlacionar los rechazos internos de planta con las fallas de campo. Cuando son reportadas cuantitativamente, cierta información puede ser determinada.

Para encontrar donde las expectativas interna y externas difieren, deben ser comparadas categorías de quejas cualitativas.

El uso del análisis de Pareto es una herramienta poderosa. Assume que la tasa de desperdicio interno es 8% y la tasa de quejas externas es de 3%.

Esta información puede ser graficada en una gráfica de atributos para ver si alguna tendencia o ciclos existen. Una mejora considerable no ocurrirá hasta que categorías de un diagnóstico de defectos sea determinado.

Análisis y uso de los resultados de la encuesta

Los resultados de una encuesta crean deficiencias y oportunidades. Muchos resultados de encuesta son discutidos en detalle entre gerentes clave. El rol de los gerentes de calidad en este intercambio variará de forma considerable.

El gerente de calidad puede ser un participante activo en el mejoramiento de la calidad y de la prontitud de los resultados de las encuestas por las siguientes actividades:

• Proporcionando formatos de encuestas bien diseñados

• Proporcionando incentivos para alentar una retroalimentación adecuada

• Proporcionando instrucciones simples para la forma del uso de datos

• Realizar auditorías de la encuesta o el proceso de recolección de datos.

• Promover el uso de tecnología moderna para recolectar información

• Promover el uso de herramientas modernas para el análisis de datos

• Promover el uso de conceptos de muestreo modernos

• Asegurar que los canales de comunicación con los que han sido encuestados estén abiertos

Los gerentes de calida y sus departamentos son comúnmente llamados para analizar los datos y resumir de una manera digerible para la alta gerencia. De manera colectiva gerentes claves o un comité administrativo revisará los resultados y tomará acción. Comúnmente las acciones serán decididas en algún orden de prioridad. Varias versiones (para la misma información) pueden ser necesarias:

• Un despliegue de categoría basado en una frecuencia dócil

• Un despliegue de categoría basado en costo

• Un despliegue de categoría basado en el grado de insatisfacción del cliente

• Un despliegue de categoría basado en regulaciones gubernamentales

• Un despliegue de categoría basado en el peso de varias cuestiones

Después de la asignación de prioridades por la alta gerencia, las necesidades de mejor son delegadas a fuerzas de tarea, equipos de calidad, equipos contemporáneos, etc., para la solución. El departamento de calidad está involucrado en el rastreo de resultados de esta actividad de mejora mediante gráficas, tablas, resúmenes ejecutivos.

Autor:

M. Reyes Y P. Reyes

Enviado por:

Ing. Lic. Yunior Andrés Castillo S.

"NO A LA CULTURA DEL SECRETO, SI A LA LIBERTAD DE INFORMACION"?

Santiago de los Caballeros,

República Dominicana,

2015.

"DIOS, JUAN PABLO DUARTE Y JUAN BOSCH – POR SIEMPRE"?