Validación de cuestionario para la medición de la satisfacción de los clientes de la DCI

Introducción

Un cuestionario consiste en un conjunto de preguntas
respecto a una o más variables a medir (Hernández
Sampieri, 2000).El cuestionario es el instrumento a través
del cual se recoge la información sobre las variables en
estudio. Cuestionarios defectuosos ofrecen una visión
sesgada de la realidad que se está analizando, por lo
tanto necesita de algún tipo de
validación.

Evaluación
de la Validez

Existen diversos métodos o estrategias para
obtener evidencia de la validez de las encuestas que apoye las
deducciones derivadas de los resultados. Esencialmente se
realizan tres tipos de validaciones:

1) Validez de contenido: Se pretende comprobar
cuales de los aspectos elegidos o preguntas que se hacen son
indicadores claros de lo que se pretende medir. Para ello hay que
someter el cuestionario a la valoración de investigadores
y expertos que deben juzgar la capacidad de éste para
evaluar todas las dimensiones que se desean medir.

Se utiliza el criterio de expertos para realizar este
tipo de análisis. Deberán emplearse tamaños
de muestra representativos, el Método Delphi y la prueba
no paramétrica de Kendall para probar el acuerdo de los
expertos.

2) Validez de constructo: Las
características con las que se están trabajando, al
ser cualitativas y representar actitudes o percepciones, no se
pueden medir directamente, sino, hay que valorarlas a
través de indicadores. Se trata ahora de examinar el grado
en que los indicadores definidos miden adecuadamente el concepto
(constructo) que se quiere medir.

Se puede utilizar el Análisis Factorial de
Componentes Principales. Emplear el coeficiente de
Kaiser–Meyer–Olkin (KMO) y la Prueba de Esfericidad
de Barlett para evaluar la calidad del análisis de los
factores.

Se recomienda en los dos casos anteriores, el uso de
softwares profesionales, entre ellos el SPSS versión 15.00
o superior.

Validez de criterio: Relaciona la medida con un
estándar al que se denomina criterio. Si existen
suficientes garantías sobre su bondad, se puede determinar
un patrón de oro, que servirá de comparación
para cualquier medida realizada. Dada la manifiesta dificultad
para definir este patrón de comparación en un
estudio de satisfacción, este tipo de análisis de
validez no es ampliamente usado. La validez de criterio establece
la validez de un instrumento de medición
comparándola con algún criterio externo ampliamente
reconocido. Este criterio es un estándar con el que se
juzga la validez del instrumento (Wiersma, 1986).

Evaluación de la Validez

La validez se refiere al grado en que un instrumento
realmente mide la variable que pretende medir y se expresa por la
siguiente fórmula:

Validez total=Validez de contenido + Validez de
criterio + Validez de constructo

Por tanto, para probar la validez de las encuestas se
tienen que utilizar al menos dos de los criterios anteriormente
mencionados.

Objetivo del presente trabajo:

La Dirección de Certificación Industrial
(DCI) del Centro Nacional para la Certificación Industrial
(CNCI) de Cienfuegos pretende validar un cuestionario para medir
la satisfacción de sus clientes e implantar acciones de
mejora con los datos obtenidos. Para ello se crea un equipo de
expertos que proponen y evalúan los atributos que
medirá la encuesta. Se usará el software SPSS
versión 16.00.

Pasos para
validar el cuestionario

• 1) Selección de los expertos.

• 2) Validación del contenido.

• 3) Formulación de la
  encuesta.

• 4) Evaluación de la confiabilidad o
  fiabilidad de la encuesta.

• 5) Validación del criterio.

• 6) Validación del constructo.

1) Selección de los expertos.

Se propone un grupo de 17 expertos para evaluar su
competencia a través de la siguiente
fórmula:

Kcomp.= ½(Kc+Ka). (1)

Donde:

Kcomp.: Coeficiente de competencia del
experto.

Kc: Coeficiente de conocimiento del
experto.

El coeficiente resulta del promedio de los valores que
se otorgan al candidato.

Ka: Coeficiente de Argumentación. Es la
suma de los valores del grado de influencia de cada una de las
fuentes de argumentación con respecto a una tabla
patrón. (Ver tabla patrón 1).

Tabla patrón 1. Fuente:
Elaboración propia.

La selección de los expertos se realiza basada
en los siguientes criterios:

• Competencia ALTA si Kcomp. >
  0.8

• Competencia MEDIA si 0.5 < Kcomp. < =
  0.8

• Competencia BAJA si Kcomp. < =
  0.5

 Se evalúa cada experto según
lo establecido en la fórmula (1) y se seleccionan los
más competentes.

De entre los seleccionados se determina la cantidad de
expertos mediante la siguiente fórmula:

Donde:

i-Nivel de precisión deseada (0,15). (Valores
recomendados para encuestas).

P-Proporción estimada de errores
(0,05).

K-Parámetro cuyo valor está asociado al
nivel de confianza establecido en la tabla 2. Para este caso con
un nivel de confianza de 95% el valor de K es 3,8416.

Tabla 2. Valores de K. Fuente: Fuente:
SPSS. Versión 16.00.

Para comprobar la validez del contenido del
cuestionario, de los 17 solamente se tomarán 9
expertos.

La tabla 3 muestra los expertos
seleccionados.

Tabla 3. Expertos seleccionados. Fuente:
Elaboración propia.

2) Evaluación de la Validez

A continuación se realiza la validación de
contenido del cuestionario.

Validez de contenido: Se utiliza el criterio de
los expertos para este análisis. Se emplean tamaños
de muestras representativos y se utiliza la prueba no
paramétrica (W) de Kendall para probar el acuerdo de los
expertos.

Se utiliza el Método Delphi y la prueba de
concordancia de Kendall.

Se desarrollaron sesiones de BRAINSTORMING (Tormenta de
Ideas), en las cuales los 9 expertos seleccionados realizan las
propuestas de las características o atributos que deben
formar parte de la encuesta.

Cada experto clasifica las características
asignándoles un rango aij que expresa el orden de
importancia que posee la característica. El rango a
evaluar es el siguiente:

1.- Sin importancia.

2.- Poco importante.

3.- Medianamente importante.

4.- Importante.

5.- Muy importante.

Se realizan 6 rondas con los expertos, al final se
obtuvo la siguiente matriz (Ver tabla 4).

Tabla 4. Datos con la votación final de los
expertos. Fuente: SPSS. Versión 16.00.

Se procesan estadísticamente los datos
obtenidos.

Se valida el criterio de los expertos según la
prueba de hipótesis estadística
siguiente:

La encuesta en cuestión queda de la siguiente
forma:

ENCUESTA PARA LA MEDICIÓN DE LA
SATISFACCIÓN DEL CLIENTE.

Estimado cliente:

Como parte de las acciones de mejoramiento continuo de
la calidad de nuestro trabajo queremos conocer su grado de
satisfacción respecto a los servicios recibidos. Le
agradecemos su sincera colaboración y sepa que sus
opiniones nos resultarán muy valiosas.

Para cada uno de los atributos de la encuesta indique su
Nivel de Satisfacción marcando con una X el grado
de Importancia del atributo colocando un valor entre 1 y 5
según las escalas siguientes:

17) Sugerencias y comentarios:

_________________________________________________________________

Gracias por su colaboración.

2) Evaluación de la confiabilidad o fiabilidad
de la encuesta.

La confiabilidad se comprueba mediante los siguientes
estadígrafos especiales:

• Alpha de Cronbach.

• Guttman.

• Coeficiente de Kuder-Richardson (KR-20).

Conceptualmente la fiabilidad refleja hasta qué
punto las puntuaciones percibidas por los clientes a
través de las respuestas están relacionadas con las
puntuaciones verdaderas, esto es, el grado en que las mediciones
están libres de la desviación producida por los
errores casuales (aleatorios). En definitiva, la fiabilidad
garantiza que la escala siempre mide lo mismo.

Se toma para la evaluación una muestra de 30
clientes y se aplica el estadístico Alpha de Cronbach,
según se observa en la tabla 6.

Reliability Statistics

Tabla 6. Estadístico Alpha de
Cronbach. Fuente: SPSS. Versión 16.00.

Lo s valores del estadístico Alpha de Cronbach
oscilan entre 0 y 1. Se consideran aceptables los valores mayores
que 0,5.

Debido a que el coeficiente Alfa de Cronbach obtenido es
mayor que 0,5, se determina que la confiabilidad del cuestionario
es aceptable.

Desviación estándar o proporcional
muestral.

Es una medida de la dispersión de los resultados,
esto es, de la variabilidad de las opiniones. Cuanto más
heterogéneas sean las respuestas (haya más
dispersión), mayor será el tamaño muestral
requerido.

Como en muchas ocasiones es difícil contar con un
estimado real de la desviación estándar, se
utilizan los parámetros p: proporción muestral y
q:1–p para caracterizar la dispersión de los datos.
En el caso de que sea difícil estimar p, se utiliza
p=q=0,5 que garantiza el mayor tamaño de muestra
posible

Error Muestral (B).

Es el nivel de precisión de las estimaciones, es
decir, la magnitud de las desviaciones respecto al valor
verdadero en la población. A mayor precisión (menor
error) y mayor tamaño muestral. Los valores de error
más típicos con los que se suelen trabajar
están entre el 5 y el 8%. En cualquier caso, se
recomiendan siempre valores inferiores al 10%.

Cálculo del tamaño de la
muestra.

Población Finita (<100 000) y Varianza
Desconocida.

Se toma entonces una muestra de 100 clientes.

Validación del criterio.

Relaciona la medida con un estándar al que se
denomina criterio. Si existen suficientes garantías sobre
su bondad, se puede determinar un patrón de oro, que
servirá de comparación para cualquier medida
realizada. Dada la manifiesta dificultad para definir este
patrón de comparación en un estudio de
satisfacción, este tipo de análisis de validez no
es ampliamente usado

La validez de criterio establece la validez del
instrumento de medición comparándolo con
algún criterio externo. Este criterio es un
estándar con el que se juzga la validez del instrumento
(Wiersma, 1986).

En el presente trabajo no se realiza validación
del criterio.

Validación de constructo.

Las características con las que se están
trabajando, al ser cualitativas y representar actitudes o
percepciones, no se pueden medir directamente, sino, hay que
valorarlas a través de indicadores. Se trata ahora de
examinar el grado en que los indicadores definidos miden
adecuadamente el concepto (constructo) que se quiere
medir.

Análisis Factorial.

Se procede a hacer el análisis KMO y la prueba de
esfericidad de Bartlett. (Ver tabla 8).

Tabla 8. KMO y Prueba de esfericidad de
Bartlett. Fuente: SPSS. Versión 16.00.

La matriz anti-imagen muestra valores muy bajos y los
coeficientes KMO bastante altos en su diagonal por lo que con
este análisis se puede concluir que el procedimiento
factorial que sigue a continuación puede proporcionarnos
conclusiones satisfactorias.

Análisis de los supuestos del análisis
factorial:

El análisis factorial es adecuado para la
encuesta y puede ser empleado para detectar las dimensiones y los
atributos incluidos en cada una de las preguntas:

• La prueba de esfericidad de Bartlett con una
  significación asintótica de 0,000 implica que
  se rechaza la hipótesis nula que plantea que las
  variables no están correlacionadas en la
  población, o sea, la matriz de correlación de
  los factores definidos para el test no es una matriz
  identidad, cada factor se correlaciona con él mismo y
  se relaciona con otros.

• Como la medida de adecuación de la muestra
  KMO es mayor que 0,5, se establece que las correlaciones
  entre los pares de factores pueden ser explicados por medio
  de otras variables.

Al observar las comunalidades (Ver tabla 9), todos las
variables se encuentran por encima de 0,5, por tanto todas las
preguntas pasan a formar parte de la encuesta final.

Communalities

Extraction Method: Principal Component
Analysis.

Tabla 9. Comunalidades. Fuente: SPSS.
Versión 16.00.

Utilizando el método de los componentes
principales se obtienen 5 componentes con valores propios mayores
que la unidad, que explican el 78,188 % de la varianza, lo cual
se considera aceptable, estando en correspondencia con el
criterio que plantea que los factores que se extraen deben
representar por lo menos un 60% de la varianza (Hair et al.,
1999). Ver tablas 10 y 11.

Total Variance
Explained

Extraction Method: Principal Component
Analysis.

Tabla 10. Cálculos de la Varianza.
Fuente: SPSS. Versión 16.00.

Component Matrix(a)

Extraction Method: Principal Component
Analysis. a 5 components extracted.

Tabla 11. Cálculos de los
componentes de la Matriz. Fuente: SPSS. Versión
16.00.

Luego se procede al análisis de la matriz rotada
de los pesos factoriales, que se obtiene según el
procedimiento ortogonal VARIMAX, logrando minimizar el
número de variables con saturaciones elevadas en cada
factor según se muestra en la tabla 12.

Rotated Component
Matrix(a)

Extraction Method: Principal Component
Analysis. Rotation Method: Varimax with Kaiser Normalization.a
Rotation converged in 8 iterations.

Tabla 12. Componentes de la Matriz
rotada. Fuente: SPSS. Versión 16.00.

Component Transformation
Matrix

Extraction Method: Principal Component
Analysis. Rotation Method: Varimax with Kaiser
Normalization.

Tabla 13. Componentes transformados de la
Matriz rotada. Fuente: SPSS. Versión
16.00.

La matriz rotada de los pesos factoriales se obtienen
según el procedimiento ortogonal VARIMAX, logrando
minimizar el número de variables con saturaciones elevadas
en varios factores según se muestra en las tablas 12 y
13.

A partir de los criterios antes mencionados, se
interpretan las correlaciones entre las variables y los factores
según la solución rotada por el método
VARIMAX, que minimiza el número de variables con carga
elevada en cada componente, por lo tanto facilita la
definición de las mismas. El comentario se realiza sobre
la solución rotada que permite que la
interpretación de los factores sea más
fácil.

La matriz de pesos factoriales rotadas muestra que todas
las variables saturan en algún factor (según
VARIMAX), quedando en los cuatro factores cargas factoriales
superiores al valor de 0.50 preestablecido. En las tablas 14 y 15
se exponen las componentes resultantes:

Component Score Coefficient
Matrix

Extraction Method: Principal Component
Analysis.

Rotation Method: Varimax with Kaiser
Normalization.

Tabla 14. Componentes resultantes de la
matriz rotada. Fuente: SPSS. Versión 16.0.

Component Score Covariance
Matrix

Extraction Method: Principal Component
Analysis.

Rotation Method: Varimax with Kaiser
Normalization.

Tabla 14. Componentes resultantes de la
covarianza de la matriz rotada. Fuente: SPSS. Versión
16.0.

Conclusiones

• 1. El procedimiento seguido en el presente
  trabajo para validar el cuestionario propuesto por el grupo
  de expertos de la DCI es el adecuado por lo que se considera
  que la encuesta propuesta se ha validado y puede aplicarse de
  forma sistemática.

• 2. Se tienen en cuenta un grupo de variables
  relacionadas con la medición de la satisfacción
  del cliente que pueden usarse para mejorar el
  desempeño futuro del trabajo de la DCI.

• 3. La aplicación correcta del
  procedimiento propuesto para validar la encuesta exige la
  utilización de sofisticadas herramientas y softwares
  avanzados (SPSS), además de técnicas
  estadísticas, tales como: el Análisis
  Factorial, análisis de regresión, así
  como; la ejecución de trabajos en equipo y el uso de
  expertos en el tema.

Recomendaciones

• Aplicar la encuesta validada a los clientes y usar
  los resultados como datos de entrada para del mejoramiento
  continuo del trabajo de la DCI.

• Mejorar los instrumentos utilizados para la
  medición de las variables que influyen en el
  cuestionario y aumentar la satisfacción del cliente en
  la medida que se adquiera mayor experiencia y conocimiento de
  los clientes, sus necesidades y expectativas.

• Aplicar y recomendar las técnicas y
  herramientas usadas en el presente trabajo a otras empresas
  como parte del proceso de consultoría/auditoría
  que realizan los trabajadores de la DCI.

Bibliografía

CORTÉS CORTÉS, M. & IGLESIAS
LEÓN, M. 2005. Generalidades sobre la
Metodología de la Investigación,
México, UNACAR.

HERNÁNDEZ SAMPIERI, R. 2000.
Metodología de la Investigación, Mc Grow
Hill.

LINDSEY, J. K. 1995. Introductory Statistics: A
Modelling Approach, New York: Oxford University
Press.

MELIÁ, J. & PEIRÓ, J. M. 1998.
Cuestionario de Satisfacción Laboral S20/23.

RODRÍGUEZ VARELA, A. 2009. Procedimiento para
el estudio de la satisfacción laboral en la Sucursal
Servisa Cienfuegos. Trabajo de Diploma, Universidad de
Cienfuegos.

Autor:

Ing. Salustiano Pérez Pedraza.

Especialista en Gestión de la Calidad de la DCI
del CNCI de Cienfuegos.