Estándares de Calidad, Accesibilidad y Usabilidad para la realización y el diseño de Encuestas Online (página 2)

–Encuestas
Probabilísticas:

• Encuestas intrusivas o de selección aleatoria de visitantes de
  una página o portal web

• Encuestas enviadas por email a una muestra de
  selección aleatoria
• Modelos mixtos con encuestas en páginas
  web y envíos de correos
  electrónicos
• Paneles de muestra probabilística de una
  población de selección activa o
  pasiva

-Encuestas No probabilísticas:

• Encuestas de entretenimiento ?"vote aquí"-
  .
• Encuestas web de auto
  selección
• Paneles de selección voluntaria de
  participantes

Cubiles, M. define e-encuesta
probabilística a toda encuesta donde el proceso de
entrevista a
los elementos de la muestra se realiza en la Red a través de la
WWW (World Wide
Web) y en la que se conoce la probabilidad de
selección de los elementos y/o de la muestra.

Independientemente del tipo de clasificación que
se utilice, los estándares de calidad
recomiendan aplicar aquel tipo de encuesta online que mejor se
adapte a los objetivos de
la investigación siempre y cuando se cumplan
los criterios de representatividad y de selección
probabilística. Para otros métodos
que no cumplan dichos criterios y no tenga pretensiones de ser
representativo ?como focus groups online o encuestas de
entretenimiento, etc.- no podrán aplicarse dichos
estándares.

En la investigación online actual, no se
consideran útiles por el coste de tiempo y
recursos, baja
tasa de respuesta y mala experiencia del encuestado, aquellos
tipos de encuestas en las que es necesario descargar algún
tipo de archivo o
programa para
poder
realizarlas, o bien recibirlo y reenviarlo por correo
electrónico. En primer lugar el número de
interacciones entre el encuestado y el ordenador es excesivamente
alto (abrir el correo, descargar el archivo, abrir el archivo con
el software
correspondiente -por ejemplo MS Word– rellenar
el cuestionario,
guardar el archivo, volver al programa de correo, reenviar el
archivo adjunto…) y en segundo lugar, el elevado coste de
codificación que supone al responsable del
estudio asi como en recursos (ancho de banda, almacenamiento de
archivos,
etc.).

Batagelj, Z. y Vehovar, V crean una tipología de
encuestas basadas en el tipo de programación de la página web
que divide en :

• Formularios HTML en
  servidor
  (CGI)
• Formularios Planos HTML
• Encuestas asistidas por Internet
  CAWI
• Encuestas basadas en Applets de JAVA
• Encuestas por email con soporte HTML

La primera y segunda versiones, los formularios HTML,
son copias de las encuestas en papel traducidas a código
html en una única pantalla de navegador, en las que hay
que utilizar la barra lateral de desplazamiento para visualizar
todas las preguntas. Los formularios HTML en servidor permiten
enviar automáticamente las respuestas al servidor una vez
rellenado el cuestionario y pulsado el botón "enviar" (o
similar) y los resultados se almacenan automáticamente en
una base de datos.
En cambio, los
formularios HTML planos, requieren de un programa de correo
electrónico que haga de intermediario para enviar los
datos. Las
desventajas de este tipo de formularios son: aumenta el
número de interacciones del encuestado al tener que
utilizar constantemente la barra de desplazamiento lateral para
visualizar todas las preguntas; es necesario pulsar un
botón final para enviar los resultados ?en muchas
ocasiones no se pulsa dicho botón y la encuesta no es
enviada- y no es posible realizar encuestas complejas con
filtros, saltos, cuotas, etc.

De todas las posibilidades de encuesta definidas, la
más comúnmente utilizada y desarrollada es la
encuesta CAWI en la que el encuestado recibe en su correo
electrónico el acceso a la encuesta mediante un link o
hipervínculo y que dicho link es personal e
intransferible (cada encuestado recibe un link diferente en el
que se incluye su acceso individual a la encuesta) para evitar
errores debidos a la doble respuesta, permitir el acceso en
momentos diferentes sin pérdida de datos y poder controlar
la participación y obtener más información del encuestado. En aquellas
ocasiones en las que el encuestado no disponga de correo
electrónico, o no se desee enviar el link de acceso a la
encuesta, es posible ofrecer una identidad de
usuario y contraseña con las que se identifique en una
determinada página Web y acceda a su encuesta
personal.

En este tipo de encuesta, las preguntas se organizan en
varias pantallas, lo que permite incluir saltos, filtros y todo
tipo de preguntas relacionadas, así como la medida del
tiempo de respuesta, control de la
consistencia, rotación de respuestas y
preguntas,etc.

Figura 1: Interacción Cliente-Servidor
en encuestas online.

Las encuestas basadas en Applets de Java son
similares a las encuestas CAWI, con la diferencia de que todos
los datos se almacenan en el ordenador del encuestado (y no en el
servidor) y no se envían hasta que éste no finaliza
la encuesta. Los dos principales problemas de
este tipo de encuestas son la accesibilidad y el almacenamiento
de datos, ya que todo aquel internauta que no tenga instalado el
applet de Java no podrá visualizar algunas preguntas o
pulsar en determinados botones, y por otro lado los datos no se
enviarán hasta que éste no ha finalizado todo el
cuestionario y pulsado el botón último de "enviar"
(o similar). En los casos en los que el encuestado cierre la
encuesta sin finalizarla (por caída de la red, por tiempo,
o cualquier otro motivo, etc.) se perderán todos los datos
acumulados y al volver a acceder a la encuesta tendrá que
volver a comenzarla desde el principio.

Figura 2: Interacción
Cliente-Servidor en encuestas online con JAVA
scripts.

Por último, Batagelj, Z. y Vehovar, V. mencionan
un tipo alternativo de encuesta que consiste en el envío
del formulario html directamente por email, aprovechando la
posibilidad de algunos programas de
correo electrónico de visualizar html en el email.
Actualmente, el problema de esta modalidad es que una gran parte
de los usuarios de internet no visualizan sus emails en formato
html sino en texto
plano.

Aunque los estándares de calidad no hacen
referencia a la metodología de encuestas online que mejor
cumpla criterios de calidad, por referencias en ese y otros
documentos se
puede concluir que son las encuestas CAWI con tecnología basada en
servidor aquellas que por su flexibilidad en el diseño
permiten un control absoluto del proceso, una mayor accesibilidad
del encuestado y un completo ahorro de
tiempo en el proceso de los datos.

2.
Metodología de las encuestas online

2.1 Aplicación del Códex ESOMAR y otros
estándares

Antes de definir y criticar metodologías online,
es necesario mencionar que las encuestas online están
adscritas a los mismos códigos y normativas que cualquier
otro tipo de encuestas (telefónicas, personales o por
escrito) y que es imprescindible para garantizar dicha calidad
que el instituto que realiza la investigación cumpla la
normativa vigente y posea una filosofía de calidad en
el trabajo.

2.2 Diseño metodológico de la
Investigación y Muestreo

Los estándares de calidad repasan los siguientes
puntos importantes a tener en cuenta a la hora de diseñar
una investigación mediante encuestas online: El muestreo y
captación de los participantes, el control y la tasa de
participación, y la ponderación de la
muestra.

Uno de los temas más ampliamente discutidos en la
metodología de las encuestas online es el de la
representatividad de la muestra, y la selección
probabilística de los encuestados.

Cubiles (2002) define la población que
podría participar en las e-encuestas (encuestas online)
como "?aquellas personas que pueden acceder a los medios
adecuados para la cumplimentación del cuestionario de la
encuesta a través de Internet". En su artículo,
Cubiles especifica dos tipos de poblaciones en relación
con su grado de penetración de internet: la
población saturada y la población no saturada. La
población saturada es aquella en la que la
implantación de internet alcanza el 80% o superior entre
todos los individuos. Dentro de la población saturada,
Cubiles define cuatro tipos de poblaciones: 1) la
Población Audiencia o conjunto de usuarios que
acceden a un Web site determinada (por el motivo que sea) durante
un período de tiempo; 2) la Población
Precisada o población de internautas de los que es
posible disponer de un listado con todos los elementos y la
información para su localización (por ejemplo
alumnos universitarios, empresas,
asociaciones, etc.); 3) la Población Internet que
hace referencia a todos los usuarios de Internet
independientemente del site que visiten (según Callejo los
individuos que hayan accedido una vez al menos en los
últimos siete días) y cuyas unidades primarias de
muestreo serán los websites; y 4) la Población
Internet Especial donde los elementos deberán
verificar una determinada especialización exigida para
formar parte de la población objetivo (por
ejemplo ser consumidores de un determinado producto o
vivir en una determinada región).

Por último, la "población no
saturada" se caracteriza por no poder realizar en ella
encuestas basadas únicamente en la red ya que el
recubrimiento es inferior al 80% de la población, como por
ejemplo la población para realizar encuestas
sociodemográficas. En este tipo de estudios, la
población de internautas de que se disponga servirá
como complemento a otras poblaciones o como medio de controlar la
calidad de la encuesta. No obstante, es posible alcanzar
resultados representativos en este tipo de encuestas siempre y
cuando se dote a los elementos de la muestra de los medios
necesarios para que pertenezcan a la población de
internautas.

El hecho de tener acceso a Internet no supone estar
registrado en ningún tipo de censo ni listado, por lo
tanto no es posible realizar una selección aleatoria de
internautas únicamente utilizando la Web como criterio de
selección. Los estándares de calidad, proponen
combinar métodos de captación "online" y "offline",
es decir, mediante invitaciones a participar publicadas en
páginas Web y con campañas publicitarias online,
así como a través de otros medios como son la
captación telefónica o personal.

El instituto que desee realizar un proceso de
captación de internautas para una encuesta online, ha de
realizar una selección "activa", es decir, seleccionando a
los participantes con criterios propios, y no dejando abierta la
participación a la "autoselección". En el caso de
que no haya una selección activa y estadísticamente
aleatoria, es necesario controlar el acceso a la encuesta
solicitando datos personales para evitar participaciones
múltiples y otro tipo de errores.

La discusión sobre la representatividad de las
encuestas online, se limita únicamente al tipo de
investigación que se pretenda realizar y la
población objetivo, y no puede generalizarse a todo tipo
de marcos muestrales. Como indica Muñoz (2002) (Et al.) en
su artículo: "cuando por ejemplo se pretenda realizar un
estudio a una población no saturada en internet, el marco
(muestral) de la población será el correspondiente
a dicha población, independientemente de que tenga o no
acceso a la red [?] no obstante, sería posible aplicar un
diseño con un marco dual, y aprovechar la
disminución del costo que supone
realizar entrevistas
por internet".

Finalmente y como conclusión a este apartado
sobre muestreo en las encuestas online, en el artículo
sobre e-encuestas probabilísticas II de Muñoz (et
al.), proponen las siguientes soluciones
para el muestreo a poblaciones de internet:

• Para la población audiencia: se
  aplican los mismos métodos de muestreo
  probabilístico apropiados para la población
  general
• Para la población precisada: antes de
  realizar la encuesta online, será necesario contactar
  con los elementos de la muestra por otros métodos (por
  ejemplo por teléfono)
• Para la población de Internet: Se
  puede aplicar un muestreo probabilístico
  bietápico (se consideran como unidades muestrales de
  primera etapa los sites y como unidades de segunda etapa los
  propios internautas) o bien un muestreo con marcos
  múltiples (en el caso de que el número de sites
  que recubre la población sea un número
  reducido).
• Para la población de internet
  especializada: se utilizarán los mismos
  métodos de muestreo, con monitoreo para controlar la
  especialización.

Para la población no saturada en internet:
aunque no es adecuado hacer el total de la encuesta con
entrevistas a través de la red, se podrían
aprovechar los elementos de la población con acceso a
Internet y plantear un muestreo probabilístico con un
marco dual.

2.3 Fuentes de
error

Tal y como indica Groves (1989), existen cuatro fuentes
importantes de error en cualquier encuesta que son aplicables
también a las encuestas online: el muestreo, la cobertura,
la no-respuesta y el error de medida.

• El error de cobertura hace referencia a las
  diferencias entre la población de internautas y la
  población general, y la posibilidad de que una muestra
  realizada en un colectivo de internautas pueda ser
  representativa del resto de la población.
• El error de muestreo es el resultante de realizar una
  encuesta a un subgrupo de la población en lugar de
  realizarlo al total de individuos.
• El error de medida hace referencia al resultado de
  obtener respuestas inadecuadas debido a un mal diseño en
  el cuestionario, un posicionamiento
  en determinadas respuestas, o una influencia del encuestador en
  las respuestas del encuestado.
• Por último, el error de no-respuesta, es el
  resultado que no todos los individuos seleccionados de una
  muestra decidan participar en la encuesta.

El error de cobertura en las encuestas online se
elimina paulatinamente a medida que aumenta la penetración
de internet en determinados colectivos y es más
fácil un acceso a éstos a través de la red.
No obstante, como se ha comentado antes, internet se utiliza como
una herramienta alternativa y complementaria a métodos
tradicionales en el caso de pretender entrevistar a poblaciones
no saturadas.

El error de muestreo puede ser reducido en las
encuestas por internet dado que es más fácil
aumentar el tamaño de la muestra sin que ello suponga un
aumento excesivo del coste del estudio. Como se ha demostrado
(Schaefer 2001), el coste medio de una encuesta online puede ser
hasta 3 veces inferior al coste de realizarla por
escrito.

El error de medida en las encuestas online se ha
conseguido reducir gracias a elementos relativos al diseño
del cuestionario y a la complejidad de las diversas herramientas
de software con que se diseñan las encuestas online. En
una encuesta online CAWI, es posible: rotar ítems en la
encuesta para evitar posicionamiento, rotar el orden de las
respuestas aleatoriamente para cada encuestado, introducir
elementos visuales que ayuden a comprender la encuesta,
diseñar diversos cuestionarios para diversos grupos
poblacionales, controlar automáticamente la consistencia
de la encuesta con preguntas de control y calculando el tiempo de
respuesta a cada pregunta, evitar la influencia del encuestador y
permitir el acceso a la encuesta en el momento que el encuestado
desee así como la cancelación del cuestionario para
retomarlo posteriormente en el lugar que se dejó, permitir
(o no) el retroceso a preguntas ya realizadas, realizar un
diseño de la encuesta accesible y usable por todo tipo de
internautas independientemente de sus conocimientos o
limitaciones, orientar al encuestado sobre la duración
restante de la encuesta, controlar la participación con
una clave de acceso personal a la encuesta para evitar la doble
respuesta, etc.

El error de no-respuesta es el error que
más se intenta reducir en las encuestas online. Muchos
autores apuntan que la tasa de respuesta se puede ver
influenciada por factores como la longitud del cuestionario, el
interés
sobre el tema de estudio, la tecnología de la que disponga
el entrevistado, etc. Como se demostrará posteriormente,
la fuente más importante del error de no-respuesta tiene
relación con los problemas que experimentan los individuos
en su interacción con la encuesta online. Estos problemas
pueden variar desde un texto de bienvenida y unas instrucciones
demasiado complejas hasta la incapacidad de ver determinadas
partes del cuestionario por el tamaño de pantalla,
etc.

Los autores Dillman, Tortora y Bowker (1998)
diseñaron una serie de principios para
el diseño de encuestas online y su relación con las
fuentes tradicionales del error, que ellos resumieron en la
siguiente tabla:

A los cuales se pueden añadir los
siguientes:

3. Pautas de
accesibilidad y usabilidad para el diseño de encuestas
online.

"Las encuestas online se encuentran en un estado
temprano de desarrollo y
los investigadores aún tienen mucho que aprender sobre
como diseñar encuestas precisas" (Solomon,
2001).

Casi cuatro años después de la redacción de esa afirmación, la
evolución de las tecnologías y los
conocimientos de la investigación mediante encuestas
online ha permitido reducir gran parte de los errores y mejorar
la tasa de respuesta y la calidad de los resultados.

Varios investigadores inciden en la importancia de
diseñar cuestionarios online teniendo en cuenta la
experiencia del usuario, los principios de diseño y las
pautas de accesibilidad W3C, ya que elementos tan aparentemente
insignificantes como el situar las casillas de respuesta
(radio-buttons,
checkboxes, o campos de respuesta abierta) a la izquierda del
texto de las categorías, o el obligar al encuestado a
cambiar entre teclado y
ratón demasiadas veces a lo largo de la encuesta, producen
altas tasas de respuesta en la muestra.

Razones por las cuales aumenta la no respuesta en las
encuestas online y como mejorar la calidad de las
respuestas

La observación empírica de individuos
mientras realizan encuestas online, sugiere la existencia de al
menos dos fuentes de frustración para el encuestado que
conllevan a la finalización prematura del cuestionario:
los escasos conocimientos sobre ordenadores y el mal
diseño de la encuesta.

Especialmente, se ha observado una especial
frustración del encuestado en los siguientes
casos:

• Individuos que carecen de la experiencia y los
  conocimientos sobre ordenadores no saben como introducir o
  borrar cierto tipo de respuestas como por ejemplo las
  casillas de respuesta única (radio buttons) a
  diferencia de las múltiples (checkbox) en las que para
  borrar una respuesta basta con pulsar encima de la
  introducida.
• No saber que hacer con un menú
  desplegable
• No ser capaz de ver todas las opciones de respuesta
  sin necesidad de utilizar la barra lateral de
  desplazamiento
• Verse forzado a responder a una pregunta aunque
  ninguna de las categorías de respuesta fuera apropiada
  según su opinión
• No saber cómo cerrar y finalizar el
  cuestionario que acababan de responder
• Tener que realizar varias interacciones para
  responder a cada pregunta (por ejemplo, al hacer click en la
  respuesta, tener que desplazar la barra lateral para poder
  visualizar el "Continúe con la siguiente pregunta" y
  poder así pinchar en el botón para que
  aparezca.

A continuación, se puede ver con un ejemplo
gráfico, cómo un usuario puede llegar a frustrarse
al tener que realizar demasiadas interacciones para continuar con
la siguiente pregunta. Primero, el encuestado ha de procesar la
información que se le ofrece y seleccionar una
categoría de respuesta haciendo click en el botón
correspondiente. Después, ha de usar el ratón para
desplazar la barra lateral y ver que ha de hacer a
continuación. En tercer lugar, pulsa para continuar con la
siguiente pregunta y por último, aparece una ventana de
aviso sobre posibles riesgos de
seguridad. Aunque
este último aviso puede evitarse modificando las
características del navegador, muchos individuos no lo
tienen configurado y siempre recibirán ese cuadro de
diálogo.
Una sucesiva repetición de estos cuatro pasos a lo largo
de las veinte o treinta preguntas que pueda tener la encuesta,
produce en total más de 100 interacciones en un
cuestionario que debería tener como máximo 40 y
frustrar hasta el más interesado de los
participantes.

Ejemplo1 : antes de mover la barra de
desplazamiento:

Ejemplo 2: Después de mover
la barra de desplazamiento

Otro de los motivos importantes por los que un
encuestado suele frustrarse y dejar la encuesta sin finalizar o
ni siquiera comenzarla son las incompatibilidades con hardware o software. En
ocasiones, el diseñador de la encuesta o el investigador
que genera el cuestionario, dispone de programas y dispositivos
tan avanzados que ignora de qué modo podrá ser
visualizado dicho cuestionario en otros dispositivos (por ejemplo
en otro tamaño de pantalla) y por ello da por supuesto que
el total de la muestra de encuestados estará visualizando
la encuesta tal y como él lo hace.

Los programadores, por el hecho de situarse a la cabeza
tecnológica de un país y por utilizar los
conocimientos más avanzados, diseñan encuestas que
en ocasiones son inaccesibles a grandes segmentos de la
población. Un ejemplo de ello es el uso de Java para el
diseño de encuestas, que pueden incluso producir
frustración en aquellos que a pesar de tener instalado el
dispositivo, no conozcan o no estén muy acostumbrados a
las posibilidades de interacción con el
navegador.

Otro problema con el que se enfrentan los
diseñadores de encuestas online es el tiempo de descarga
de las páginas web con las preguntas, que oscila en
función del tamaño de éstas y del tipo de
conexión que tenga el navegante.

En el caso más desfavorable, en el que el
encuestado tenga un módem de 56Kbps, necesitará
alrededor de 10 segundos para descargarse un cuestionario de unos
300Kb (un tamaño relativamente normal), lo cual supera la
barrera de los 8 segundos de paciencia de tiempo medio que todo
internauta invierte en esperar la carga de una página
web.

Por último, un error que cometen frecuentemente
muchos diseñadores de encuestas online, es programar la
encuesta para que no se pueda retroceder a la pregunta anterior,
obligando siempre al encuestado a pasar a la siguiente pregunta
hasta llegar al final. Esto produce una enorme frustración
al limitar la interacción con el navegador y no poder
utilizar el botón "atrás". En numerosos casos, el
uso de dicho botón, provoca errores como el
siguiente:

Este error, mostrado en un idioma que no es el propio y
además sin poder retroceder para retomar la encuesta,
provoca automáticamente el cierre de la ventana del
navegador y la consiguiente pérdida del
encuestado.

Pantallas como las que aparecen a continuación,
con elementos que no tienen en cuenta la experiencia del usuario,
son ejemplos claros de motivos por los cuales aumenta la no
respuesta en las encuestas online.

Error1: ¿Cómo Puedo revisar ese
error? ¿Qué he hecho mal?

Error2: El usuario no tiene instalado el plug-in
de flash : ¿Dónde está la
encuesta?

Error3: ¿Ahora que hago? No es posible
retroceder, ¿he cometido un error? ¿O ha sido el
servidor?

Javascript: Si el navegador no
lo tiene instalado, no se visualizarán los cuadros de
diálogo ni los mensajes de error