Se me ha requerido fundamentar la necesidad de un enfoque integral en la gestión de la demanda de los ciudadanos en materia de Formación Continua. Precisamente, si algo he sacado en claro a partir de mi acercamiento a esta materia, tanto desde mi trabajo de investigación y docencia para FORCEM como desde el ejercicio profesional en empresas privadas, es precisamente que toda iniciativa de intervención social –y ya no exclusivamente lo relacionado con el establecimiento de programas de Formación Continua– debe realizarse desde la adopción de una perspectiva integral de dicha intervención.

¿En qué consiste una perspectiva integral de intervención social? Creo que, básicamente, consiste en alejar el prisma de la específica iniciativa de intervención, tomando en cuenta el "antes" y "después" de la misma y el contexto en que se aplica. Cuando hacemos algo, y sobre todo cuando está en juego dinero público –y mucho dinero público, como es el caso de la formación continua–, debemos asegurarnos de la pertinencia y la adecuación de ese algo, y tales criterios, pertinencia y adecuación, sólo son concretables desde la definición clara de los fines: lo pertinente y lo adecuado, es evidente, dependen del fin que en cada momento se persiga. Los fines de la Formación Continua son bien conocidos y no voy a repetirlos aquí, pero sí voy a hacer hincapié en la necesidad de asegurar la pertinencia y la adecuación de las iniciativas de formación desarrolladas en cada contexto laboral, y esta tarea es previa, simultánea y también posterior al proceso formativo en sí.

Brevemente, la pertinencia de la formación depende de la necesidad de la misma. Esto parece una perogrullada, pero no siempre se constata en la realidad. Por su parte, la adecuación de la formación está en función tanto del ajuste entre las herramientas, contenidos y destinatarios de la formación como de la consecución de los fines para los que el acto formativo ha sido llevado a cabo.

Así pues, el enfoque integral en la gestión de la Formación Continua incorporará necesariamente un previo proceso de detección de necesidades de formación que en caso de apuntar a tal necesidad llevará al acto formativo, acto al que deberán asociarse igualmente procesos de evaluación de la propia formación (herramientas formativas, procedimiento didáctico, contenidos...), de sus resultados e impacto en el proceso productivo, todo ello de acuerdo a los fines para los que fue diseñado. En consecuencia, un enfoque integral de la Formación Continua obligaría a considerar como un todo iniciativas que sólo de modo puntual se integran de hecho: - Detección de (posibles) necesidades de formación.

- Proceso de formación evaluación de la formación.

- Evaluación de los resultados y del impacto de la formación.

Lo que afirmo no es nada nuevo, ustedes lo saben: en las convocatorias periódicas de ayudas económicas realizadas desde FORCEM se viene contemplando un capítulo, el de "Acciones Complementarias" a la Formación Continua, que incluye entre las iniciativas financiadas precisamente las investigaciones orientadas a la detección de necesidades formativas, a la evaluación de la Formación Continua, diseño de herramientas formativas e incluso de herramientas de detección de necesidades y de evaluación de la Formación Continua, entre otras. Todo ello en el interés de garantizar la pertinencia del gasto en formación y también su adecuación o eficacia.

Es, precisamente, en el marco de una investigación evaluativa de las Acciones Complementarias –"Valoración y análisis del impacto de las Acciones Complementarias y de Acompañamiento a la Formación Continua", encargada por FORCEM a la Fundación Universidad Complutense y desarrollada entre 1999 y 2000– donde comenzó mi vinculación con el tema de la Formación Continua y con FORCEM. Aquel trabajo fue duro pero tremendamente interesante y permitió constatar, por un lado, que la calidad de las propias Acciones Complementarias era manifiestamente mejorable y, en segundo lugar, que su potencial –plasmado en miles de informes y memorias– no es aprovechado: es decir, de hecho, tales Acciones se desarrollan al margen de los procesos formativos implantados y financiados también por FORCEM, de modo que la Formación Continua se imparte en muchos casos sin un previo y riguroso proceso de detección de necesidades que justifique su pertinencia y sin una simultánea y posterior evaluación de la propia formación y de su impacto en el ámbito productivo, evaluación que avale su adecuación.

Es decir, creo que ya existe en FORCEM una "concepción integral" de la Formación Continua –yo no descubro nada nuevo–, desde el momento en que financia tales acciones complementarias a la formación, pero tal concepción no se aplica de hecho y ello redunda en ocasiones en un mal aprovechamiento de los recursos financieros que a dicha formación se destinan. Falta, pues, pasar de la teoría a la acción.

Desconozco la mejor forma de dar este paso: a nivel teórico, detección de necesidades, proceso formativo, evaluación del mismo y de sus consecuencias son fases de un único procedimiento, desarrollado de forma sistemática y con coherencia interna. Ahora bien, las entidades expertas en formación no suelen serlo en detección de necesidades o en evaluación del impacto productivo, ni viceversa... Por otra parte, tampoco es adecuado, por ejemplo, que una misma agencia evalúe necesidades y se encargue de impartir formación, porque ya imaginamos en qué sentido se realizará sistemáticamente la evaluación de necesidades. Por lo mismo, tampoco la agencia encargada de la formación debe evaluar sus resultados o su impacto... Ciertamente, resulta difícil llevar a cabo nuestro desiderátum a la práctica, pero a ustedes les corresponde hacerlo. Lo que aquí ahora pretendo es abundar en la descripción de los procesos de detección de necesidades (o evaluación de las mismas) de formación y de evaluación de la misma, de sus resultados e impacto. Esta descripción es fruto de la antes mencionada investigación evaluativa desarrollada para FORCEM¹.

La detección de necesidades de formación se inscribe en el contexto más amplio de la investigación sobre posibles vías de mejora en la competitividad de las empresas. Esta posibilidad de mejora viene dada por el contraste entre el desempeño real y el desempeño deseado en la empresa. Así: • Desempeño deseado-desempeño real = posibilidad de mejora.

Tal posibilidad de mejora puede definirse en dos circunstancias: - Carencias o disfunciones actuales en el proceso de producción: posibilidad de mejora definida a partir de estándares actuales.

- Posibilidad de mayores logros a partir de la introducción de futuros cambios en el proceso: posibilidad de mejora definida a partir de estándares futuros.

En uno y otro caso hay una diferencia salvable entre lo real y lo que hemos definido como deseable, diferencia que determina la posibilidad de mejora.

• Una vez que hemos establecido esta posibilidad de mejora, deben analizarse los posibles medios para su consecución. Tales mejoras dentro del proceso productivo pueden derivar de modificaciones en cada uno de los factores de producción y también en su combinación, en concreto de:

- Cambios en la organización del proceso productivo.

- Cambios en las herramientas de producción (capital físico).

- Cambios en el trabajo: incremento de la calidad del trabajo o capital humano - conocimientos, habilidades y actitudes. Esto es posible mediante dos vías:

a) Aprendizaje sobre el terreno: en este caso, la formación aparece como subproducto de una acción formativa no consciente.

b) Formación Continua: la formación es producto de una acción intencionada, consciente y planificada.

• En la medida de lo posible, ha de haber un estudio económico de estas alternativas para mejorar el desempeño de la empresa (o industria o sector).

• Una vez realizado este estudio y en tanto en cuanto se llegue a la conclusión de que la posibilidad de mejora (al menos parcial) depende de cambios en la calidad del trabajo, y de que tales cambios pueden lograrse a través de la Formación Continua, podemos hablar de "necesidades de formación".

• Si la formación se orienta a la resolución de un problema o subsanación de carencias en el proceso productivo, hablamos de formación reactiva: formación con propósitos reparadores.

Si la formación se orienta a la anticipación de (posibles) futuros problemas derivados de la introducción de cambios en los sistemas y/o herramientas de producción, hablamos de formación proactiva: formación con propósitos previsorios.

La valoración de las necesidades de formación puede llevarse a cabo a diferentes niveles de análisis. Los más importantes son:

- Nivel categorial: la posibilidad de valoración conjunta de (posibles) necesidades de formación se fundamenta en la existencia de funciones, actividades, tareas, normas y medios análogos en un conjunto de puestos de trabajo (ocupación o profesión). Ej.: acomodadores de cine, porteros, ferrallistas...

- Nivel de equipo: entendemos "equipo" (taller o departamento) como serie de puestos con división del trabajo. Esta perspectiva de análisis se justifica en el hecho de que existen necesidades de formación vinculadas a la relación entre trabajadores en puestos de trabajo heterogéneos y también necesidades de formación comunes a los miembros de un grupo –equipo o taller– de trabajo. Ej.: cuadrilla de albañiles (maestro, gruista), equipo de instalación, oficina bancaria...

- Nivel organizacional: entendemos "organización" como conjunto de equipos de trabajo o de unidades de producción que lleva a cabo un proceso con salida al mercado (por ejemplo, compañía de aviación, agencia de viajes). Este nivel relaciona las necesidades de formación y los sistemas organizativos, algunos de cuyos elementos –típicamente, la cultura de la empresa– son susceptibles de mejorarse con la formación.

- Nivel sectorial: entendemos "sector" como conjunto de organizaciones heterogéneas vinculadas a una misma rama de actividad económica (CNAE). Existen condicionantes que, con carácter general, influyen sobre todas las organizaciones del sector: innovaciones tecnológicas, normativas comunes sobre calidad, medio ambiente y seguridad e higiene, políticas de desarrollo... De hecho, los procesos de detección de necesidades de formación a nivel sectorial suelen ser procesos de detección de necesidades de las diferentes organizaciones del sector.

En cualquiera de los casos anteriores es posible abordar el proceso de detección de necesidades de formación a diferentes niveles territoriales: ciudad, comarca, provincia, región, nación, internacional..., siendo más frecuentes aquellos de ámbito de aplicación menor o igual al nacional y mayor al provincial.

Siendo éstos los posibles niveles de análisis de las necesidades de formación, nuestro interés aquí se centra en los niveles categorial y sectorial. Desde esta perspectiva, los niveles de equipo y de organización son sólo examinados en tanto eslabones necesarios de observación del sector, cuyas unidades de análisis, recordemos, son las empresas u organizaciones.

La detección de necesidades de formación se lleva a cabo mediante un proceso de investigación de tipo normativo, es decir, de un análisis del desajuste entre la formación disponible y el estándar formativo o norma. Como tal proceso de investigación, la detección de necesidades de formación integra las siguientes fases:

El objeto de la investigación en este caso es la detección de necesidades de formación.

El proceso de detección de necesidades de formación no se plantea en abstracto; es un proceso motivado por diferentes circunstancias que originan el mencionado desajuste en relación al nivel deseado o estándar de desempeño: - Mejora de un problema grave detectado en el sector de actividad –p. ej., alta tasa de accidentes laborales entre los trabajadores del sector agrícola– o en la categoría profesional de que se trate –p. ej., alto porcentaje de multas por infracción de tráfico entre los taxistas–. Es decir, existe un problema actual que se estima solventable, al menos parcialmente mediante la formación (formación reactiva).

- Posibilidad de diferentes posibles pequeñas mejoras: previo conocimiento del sector de actividad o de la categoría profesional y de su evolución futura, la formación se plantea como vehículo de tales posibles mejoras (formación proactiva).

En una investigación de tipo normativo, el proceso de recogida de información integra dos grandes fases:

• 3.2.1. Fijación de la norma o estándar (formación deseada).
• 3.2.2. Investigación de la distancia entre la realidad (formación real) y la norma.

La definición de la norma puede ser explícita o implícita:

3.2.1.1. Norma explícita o anterior a la investigación. Esta norma puede provenir de diferentes fuentes:

- Disposiciones normativas acerca de los específicos contenidos cualificacionales de cada puesto de trabajo, es decir, perfiles profesionales (de competencia) teóricos: certificados de profesionalidad del Ministerio de Trabajo y Asuntos Sociales, contenidos de los diferentes convenios laborales...

- Disposiciones normativas generales relativas a calidad, seguridad e higiene en el trabajo, nivel de residuos tóxicos vertidos...

- Descripciones modelo de un/varios trabajo/s.

- Estándares recomendados por asociaciones profesionales, comerciales, consultorías, etc.

- Objetivos estratégicos (generalmente por área y período) establecidos por la directiva.

- Planes de desarrollo de una unidad u organización.

- Resultados conseguidos por determinadas organizaciones asumidas como modelo, por las mejores empresas del ramo (empresas "excelentes", líderes industriales...), estándares sectoriales o nacionales (niveles agregados de "buena práctica" en algunas industrias, servicios, etc.).

- Investigaciones ad hoc: las investigaciones orientadas a la definición de normas son también objeto de acciones complementarias en FORCEM –establecimiento de perfiles profesionales, evolución de los sectores, etc.–, pero no son investigaciones empíricas, sino normativas (criterios de rentabilidad...). La norma es definida por el propio investigador a partir de la definición de mejoras posibles, y ello mediante previo análisis de la categoría profesional y/o del sector de actividad de que se trate.

En todo caso, previa definición del óptimo de cualificación –de los conocimientos, habilidades y actitudes que precisa cada trabajador–, el investigador pregunta al trabajador si sabe cómo desempeñar toda una serie de tareas concretas que implican la posesión de tal óptimo. Así pues, se plantean separadamente los estándares y las necesidades de formación.

3.2.1.2. Norma implícita o definida en el mismo proceso de la investigación por los informantes en sus respuestas. El investigador no parte de una definición previa del nivel óptimo de cualificación, sino que pretende averiguarlo interrogando sobre el tipo de cualificación necesaria al trabajador –¿usted necesitaría saber sobre "X"?–, al gerente y/o a expertos consultados en calidad conocedores del sector o de la categoría profesional de que se trate. Así, el óptimo es definido implícitamente por el interesado (y/o el experto) a partir de sus propias apreciaciones sobre lo que es necesario. Esto es un proceso de investigación empírica en sí: se indaga sobre el óptimo, que es definido por el usuario o terceros conocedores del tema. En este caso, por tanto, estándares y necesidades se definen conjuntamente.

3.2.2.1. Determinación del tipo de información requerida El análisis de la situación actual se realiza mediante la recogida de información relativa a tres grandes temas:

a) Contenidos específicos de la profesión: realizaciones profesionales o funciones y tareas concretas en cada una de ellas, herramientas, materiales, condiciones de trabajo.

En este punto se recoge información acerca del óptimo de cualificación o norma de referencia para la determinación de las necesidades formativas: en caso de norma explícita –perfil cualificacional óptimo expreso–, el indicador de las necesidades de formación será el desajuste entre la misma y la cualificación declarada por el trabajador. En caso de norma implícita, el indicador de tales necesidades será la demanda de formación en diferentes posibles materias o de distintos cursos formativos.

b) Rasgos definitorios de los trabajadores: aspectos relacionados con las competencias disponibles para el ejercicio de la profesión, las competencias genéricas de la profesión. Es posible distinguir entre rasgos objetivos del trabajador y rasgos subjetivos: - Rasgos objetivos: nivel de estudios, experiencia laboral, cursos de formación no reglada realizados, grado de competencia en las tareas del puesto...

- Rasgos subjetivos: satisfacción en el trabajo, actitud hacia la profesión, opinión sobre el proceso o sobre aspectos concretos del proceso de trabajo...

Esta información permite asociar –análisis de la información– las necesidades detectadas a determinados sujetos con características concretas. Por eso es preferible que el informante en la investigación sea el trabajador (informante directo: ni gerentes ni expertos pueden dar cuenta de los datos personales de aquél).

c) Contexto: características del sector o profesión de que se trate. La información relativa a la actual estructuración del sector, a la organización del proceso productivo y los recursos materiales y humanos disponibles en las organizaciones permite, en su contraste con el nivel de cualificación óptimo previamente definido, la clarificación de los aspectos organizativos a modificar y sus implicaciones concretas en cuanto a perfiles cualificacionales de los trabajadores se refiere.

El diseño de las investigaciones orientadas a la detección de necesidades de formación, diseño correlacional, esto es, la comparación entre los niveles deseados y reales de formación.

El tipo de indicador de la variable objeto de estudio –necesidades de formación– depende del carácter implícito o explícito de la norma o estándar de cualificación definido. Tal como hemos dicho, el referente de la comparación (norma) puede proceder de dos fuentes: - El investigador, que plantea de modo explícito la norma. En este caso, el indicador de las necesidades de formación es el desajuste en relación a la norma o estándar de cualificación.

- El trabajador, que define la norma o estándar cualificacional de modo implícito al expresar sus demandas de formación (norma = cualificación disponible + demanda formativa). Tales demandas son el indicador de las necesidades de formación.

Las técnicas de recogida de información empleadas dependen del tipo de información buscada. En todo caso, y como regla de aplicación general, la elección de las técnicas debe seguir el siguiente orden de preferencias: - Técnicas de recogida de información directa: en primer lugar, observación directa o, en su defecto, fuentes documentales elaboradas a partir de tal observación directa.

- Técnicas de recogida de información indirecta procedente de informantes con conocimiento directo sobre el tema. Ej.: trabajadores y gerentes.

- Técnicas de recogida de información indirecta procedente de informantes con conocimiento indirecto sobre el tema. Ej.: expertos.

- En ningún caso ha de requerirse información a sujetos de quienes no cabe esperar conocimiento cierto del tema.

Integración de la información recogida sobre el estándar y el nivel de cualificación real, de modo que en su contraste se detecten las necesidades de formación (objetivo). Esto se puede hacer de dos maneras: - En los procesos de investigación normativos –el estándar cualificacional es predefinido– este proceso de comparación es explícito. En este caso podemos hablar de "necesidades normativas".

- En los procesos de investigación empírica –se indaga sobre el óptimo de cualificación– las necesidades de formación son formuladas directamente por los interesados (estándares cualificacionales implícitos). En este caso podemos hablar de "necesidades expresadas".

Implícita o explícita, los resultados de la comparación entre niveles de cualificación determinan de hecho las competencias a adquirir o modificar para la consecución del óptimo fijado. A partir de tales competencias –y también en función de los recursos disponibles– es que se fijan los objetivos de la formación, en tanto expresión operativa de las mismas: los objetivos de formación han de establecerse en términos KSAO (conocimientos, destrezas, habilidades y otras características) o de salidas o producto del proceso formativo.

Finalmente, se procede al diseño del proceso formativo adecuado de acuerdo a tales objetivos de formación y las condiciones del contexto en que se va a implantar, debiéndose adecuar, además, un sistema de evaluación continua de dicho proceso formativo que atienda tanto a su proceso como a sus resultados.

Así, la formación es resultado de un proceso de investigación evaluativa –de necesidades de formación–, pero es susceptible, a su vez, de ser evaluada. Este proceso de evaluación de la formación –de sus resultados, impacto y rentabilidad– es analizado a continuación.

La evaluación de la formación puede definirse como el proceso de investigación empírica orientado a la determinación de su valor de acuerdo a los objetivos para los que fue diseñada. Así, la valoración de la formación se basará necesariamente en la constatación de los cambios operados a raíz de su adquisición, en la comparación entre el antes (medición ex antes) y después (medición ex post) de la acción formativa.

La evaluación puede referirse a acciones formativas concretas o bien al conjunto de la Formación Continua recibida, y ello a diferentes niveles de análisis, individual o agregado (categoría profesional, empresa, sector de actividad), y en diferentes ámbitos territoriales (provincial, autonómico o nacional).

Cualquiera de los actores implicados en la realización de la acción formativa – sujetos formados, agentes formativos, empresa o entidad que financia la formación - puede evaluarla y, de hecho, la evalúa informalmente. En las evaluaciones formales, y de acuerdo a la posición del sujeto evaluador respecto del proceso evaluado, podemos distinguir entre evaluaciones internas y externas: - Evaluación externa: realizada por personal no implicado en el proceso evaluado.

- Evaluación interna: realizada por personal implicado –entidad financiadora, organizadora, participantes– en el proceso evaluado.

El riesgo de subjetividad en la evaluación es mayor en el segundo caso, en tanto es más factible el recurso a criterios sesgados y de aplicación limitada.

En toda acción formativa pueden evaluarse diferentes aspectos: el diseño de los programas, su implantación, los resultados o producto, la reacción y aprendizaje de los participantes, su transferencia a la organización, el impacto de la misma y la rentabilidad de la formación. Cada uno de estos posibles objetos define un tipo de evaluación, aunque no existe en la bibliografía relativa al tema acuerdo terminológico sobre esta tipología.

En nuestro caso estamos interesados en la evaluación de la formación una vez realizada la acción formativa: es, por tanto, evaluación de los efectos de la formación, sean directos o indirectos, buscados o no buscados, y a nivel individual, categorial (categoría profesional), departamental, empresarial y sectorial.

Así pues, atendemos fundamentalmente a evaluaciones de aprendizaje y transferencia (efectos directos), impacto (efectos indirectos) y rentabilidad. Veamos los rasgos definitorios de cada una de ellas:

Es evaluación de los conocimientos, habilidades y actitudes adquiridas a raíz de la participación en la acción formativa.

Esta evaluación se realiza, como hemos dicho, mediante el contraste entre los conocimientos, habilidades y actitudes antes y después de la acción formativa. La medición ex post se lleva a cabo inmediatamente después de la acción formativa.

Es evaluación del grado de aplicación de lo aprendido –conocimientos, habilidades y actitudes– al puesto de trabajo. En este caso, el aprendizaje es condición necesaria pero no suficiente: el entorno organizativo o productivo puede no favorecer la transferencia de lo aprendido.

En este caso, la medición ex post se realiza algún tiempo después (dos a seis meses) de la acción formativa: el período concreto depende del tipo de formación y del contexto de aplicación, que definen las posibilidades de transferencia de lo aprendido a la práctica.

También es aconsejable realizar un seguimiento de la permanencia de la transferencia a partir de su evaluación periódica.

Es evaluación del aumento de la competitividad de las empresas y la mejora de la situación laboral de los trabajadores (efectos deseados indirectos) y, también, de otros posibles efectos no buscados que pudieran registrarse a consecuencia de la formación tanto entre los participantes en la acción formativa como en terceros. En este caso, la transferencia de la formación es condición necesaria de su impacto en la organización, pero, obviamente, no suficiente.

También en este caso, la medición ex post se realiza después de cierto período tras la finalización de la acción formativa: la condición necesaria del impacto es la transferencia y ésta no suele ser, como hemos dicho, inmediata.

Es evaluación del rendimiento económico de la formación, es decir, de su impacto económico. Así, los efectos indirectos de la formación no susceptibles de medición monetaria –efectos "en especie"– son considerados en la evaluación del impacto, mientras la evaluación de la rentabilidad mide los efectos indirectos –tanto para el individuo como para la organización o sector– sí expresables monetariamente.

Aunque la rentabilidad se determina a partir del contraste entre costes y beneficios, la financiación externa de tal formación (procedente, por ejemplo, de FORCEM) recorta o elimina los costes directos de la misma para el trabajador o la empresa, precisamente los únicos de cálculo relativamente fácil. Es por eso que en la evaluación de la rentabilidad nos limitamos a la constatación de los beneficios económicos de la formación.

En consecuencia, la evaluación se orienta a la detección de un cambio consecuencia de la formación: cambio en la cualificación de los individuos (evaluación del aprendizaje y la transferencia), en su situación laboral y en la competitividad de las empresas (evaluación del impacto) o en la situación económica de trabajadores o empresas (evaluación de la rentabilidad). La valoración de tales efectos precisa la medición del cambio, el contraste entre el antes y el después de la formación, contraste necesario siempre aunque –como veremos– unas veces explícito y otras implícito.

El proceso de evaluación o investigación de los efectos de la formación se adecua –como el de detección de necesidades de formación: evaluación diagnóstica– al modelo general válido para todo proceso de investigación. Así, el proceso integra las siguientes fases:

El objeto, como sabemos, depende del tipo de evaluación. Brevemente: - Evaluación del aprendizaje: conocimientos, habilidades y actitudes adquiridos.

- Evaluación de la transferencia: aplicación al trabajo de los conocimientos, habilidades y actitudes adquiridos.

- Evaluación del impacto: mejora de la competitividad de las empresas y de la situación laboral del trabajador.

- Evaluación de rentabilidad: beneficios monetarios derivados de la formación.

Todo proceso evaluativo se justifica en la mejora de la calidad, esto es, de la adecuación de determinada acción o programa a los objetivos buscados (eficacia) y de la adecuación de los diferentes componentes del programa o acción entre sí (eficiencia).

En tanto investigación normativa, la evaluación de la formación integra las siguientes fases:

Esta norma viene dada por los criterios de valor correspondientes a cada tipo de evaluación, referentes desde los que se va a valorar la acción formativa. La determinación de tales criterios de valor puede ser explícita o implícita:

 El investigador conoce los contenidos y objetivos de la acción formativa y los plantea de modo explícito al participante para que evalúe dicha acción:

- Evaluación del aprendizaje y de la transferencia: la norma viene dada por los contenidos –conocimientos, habilidades y actitudes– de la acción formativa, es decir, por los objetivos específicos de la misma.

- Evaluación del impacto: en este caso los objetivos finales de la acción formativa –mejora de la competitividad de las empresas y de la situación laboral del trabajador– son los criterios de valor más utilizados. En la evaluación de los objetivos no buscados los criterios de valor dependen del tipo de efecto de que se trate.

- Evaluación de la rentabilidad: se utilizan como norma los objetivos económicos de la acción formativa, la adecuada relación entre los costes y los beneficios asociados a la formación o a la acción formativa evaluada.

El investigador no define previamente los criterios o estándares de evaluación de la acción, están implícitos en la valoración del participante.

El análisis de los efectos reales de la formación precisa de la recogida de información acerca de tres aspectos:

a) Contenidos específicos de la Formación Continua recibida: materia o contenidos, duración, modalidad (presencial-no presencial), entidad responsable de la formación, recursos humanos y materiales utilizados...

b) Rasgos definitorios de los sujetos receptores de la Formación Continua: nivel de estudios, ocupación, régimen de contratación, posición y antigüedad en la empresa, categoría profesional, empresa (tamaño, sector de actividad...), vías y motivos de acceso a la formación, valoración de los efectos de la formación recibida...

c) Contexto: en caso de que se pretenda evaluar la formación a nivel de sector de actividad, habrá de completarse la información anterior con datos relativos a dicho sector y a las empresas que lo integran (indicadores de productividad y de costes, planes de formación desarrollados, costes de la formación, beneficios de la formación, receptores de la formación –características laborales–...).

Como hemos dicho, la constatación de los resultados, el impacto o la rentabilidad es posible desde la comparación entre dos momentos, el anterior y el posterior a la formación. Pues bien, para llevar a cabo esta comparación puede elegirse uno de estos dos diseños metodológicos: a) Diseño correlacional: se trata de comparar los valores que toman los indicadores relativos al aspecto evaluado antes y después de la formación. Sobre este asunto, hemos de hacer dos precisiones:

a.1) La validez de los resultados de la comparación precisa el control de las posibles variables intervinientes, de modo que no se vinculen a la formación efectos derivados de otras variables.

a.2) La comparación o contraste puede referirse a norma explícita o implícita.

Puesto que la norma explícita está vinculada a los contenidos concretos de la acción formativa evaluada, en las evaluaciones financiadas por FORCEM lo más frecuente es que la norma se defina de modo implícito: el investigador evalúa acciones cuyo contenido concreto –conocimientos, habilidades y actitudes transmitidas– ignora, de manera que interroga directamente al participante acerca de los posibles efectos registrados en determinados aspectos. Así, el participante valora la acción formativa desde el referente –implícito– del momento anterior a la misma, sea en cuanto a cualificación previa o en relación a aspectos y condiciones laborales monetarias y no monetarias.

b) Diseño experimental: se comparan los valores de los indicadores antes y después de la acción formativa, tanto en el grupo participante en dicha acción (grupo experimental) como en otro grupo no participante (grupo de control) pero similar al primero en todas las otras posibles variables condicionantes de los valores de los indicadores elegidos.

Este grupo de control puede estar integrado por trabajadores pertenecientes a la misma empresa que los participantes u a otra organización de características similares.

b.1) El control de la validez de los resultados comienza ya el diseño de la investigación, de modo que es mayor que en el diseño correlacional.

b.2) Norma explícita siempre: puesto que en este caso uno de los grupos investigados (grupo de control) no conoce la acción formativa, no puede valorarla desde estándares implícitos, así que tales criterios habrán de ser planteados de modo explícito por el investigador.

El diseño experimental presenta tres modalidades: experimental "puro" (dos grupos exactamente iguales), cuasi-experimental (el grupo de control no es exactamente equivalente al experimental, pero la validez de los resultados se controla mediante la detección de las diferencias -medición pretest- entre ambos grupos y su consideración posterior en el análisis e interpretación de los mismos) y correlacional (el investigador recoge información acerca del comportamiento de las variables –dependiente e independiente/s– por separado y establece relaciones entre ellas; en este caso, la validez de los resultados de la comparación precisa el control de las posibles variables intervinientes en tales relaciones, de modo que no se vinculen a la variable independiente efectos derivados de otras variables). En los dos primeros casos, los valores de los indicadores en el grupo experimental son comparados con los del grupo de control antes y después del proceso formativo.

Tras la determinación de los criterios de valor o estándares de las variables –aprendizaje, transferencia, impacto o rentabilidad– a evaluar, se procede a la elección de los indicadores de las mismas.

Presentamos, en este sentido, dos consejos de utilidad general: - Los criterios de evaluación vienen dados por los objetivos de la formación, objetivos finales o específicos.

- La evaluación económica ha de ajustar las variaciones monetarias registradas tras la formación, de modo que se neutralice el "efecto precio", es decir, se comparen pesetas constantes y no corrientes (deflactar las cifras).

Las técnicas de recogida de información dependen del tipo de información buscada: hechos, actitudes u opiniones. La elección de las técnicas de recogida de información debe seguir, tal como dijimos, el siguiente orden de preferencias: - Técnicas de recogida de información directa: observación directa o, en su defecto, fuentes documentales elaboradas a partir de la misma.

- Técnicas de recogida de información indirecta procedente de informantes con conocimiento directo sobre el tema.

- Técnicas de recogida de información indirecta procedente de expertos (conocimiento indirecto) sobre el tema.

- En ningún caso ha de requerirse información a sujetos de quienes no cabe esperar conocimiento cierto del tema.

Así, por ejemplo, la medición de la rentabilidad de la formación a través de la disminución de los costes por reemplazo de productos defectuosos (indicador) habría de ser realizada mediante la constatación directa del monto de tal disminución y el posterior cálculo del ahorro monetario para las empresas. En ausencia de comprobación directa, bien podemos conformarnos con la revisión de las fuentes documentales de la propia empresa, documentos contables donde haya constancia de tal extremo. Podríamos, como tercera posible opción, preguntar al gerente o al responsable del Departamento de Contabilidad, presumiblemente las personas mejor conocedoras de este asunto. En ningún caso, sin embargo, es adecuado preguntar al trabajador sobre la rentabilidad de la formación en este sentido, por cuanto ningún trabajador suele conocer balances económicos de la empresa en que trabaja.

Siendo éste el orden de preferencias general, hay que precisar que en las evaluaciones de resultados con diseños experimentales es indispensable la recogida de información directa, mientras en los correlacionales no es indispensable porque el estándar de comportamiento puede ser implícito.

El análisis de la información habrá de realizarse con todas las precauciones debidas de cara a la validez de los resultados. Hemos de tener en cuenta que la constatación de la diferencia entre los valores de los indicadores en el grupo experimental y el de control no implica que tal diferencia sea debida a la acción formativa –y esto es particularmente cierto en las evaluaciones de impacto: efectos indirectos–, de modo que, por lo general, será más adecuado hablar de "indicios" que de "pruebas" de relación causal.

La información resultante del análisis ha de interpretarse a la vista del objetivo de la evaluación, por lo general constatar el grado de cumplimiento de los objetivos específicos y/o finales de la Formación Continua.

Dado el carácter de la investigación que nos ocupa –investigación evaluativa–, las conclusiones deberán servir como referente de posibles recomendaciones de actuación orientadas al mantenimiento, modificación o supresión de la acción formativa; de ahí la exigencia de concreción en la formulación de tales conclusiones.

Tal como se advierte a partir de lo anteriormente dicho, tanto el proceso de detección de necesidades como la evaluación de la formación –en cualquiera de sus modalidades– son procesos de investigación empírica que habrán de efectuarse con todo rigor. Esto último parece evidente y, sin embargo, el mencionado estudio –"Análisis de los productos de Acciones Complementarias 1995-1999"– puso de relieve que raramente tal rigor se constata de hecho: sólo el 10% de los productos descriptivos y de evaluación podían definirse como "buenos" productos, por cuanto ofrecían algún tipo de información novedosa, mientras el 55% no ofrecían nada nuevo y ni siquiera estaban bien realizados desde el punto de vista metodológico; la calidad de los productos formativos era algo mejor, de manera que el porcentaje de los definibles como "malos" superaba levemente el tercio del total. Estos productos fueron financiados por FORCEM, esto es, por los trabajadores españoles, y lo cierto es que la investigación desarrollada había puesto de manifiesto una clara necesidad de mejora: es necesario que los gestores de estos fondos arbitren mecanismos de evaluación de las iniciativas que se financian. Nuestra investigación puso de manifiesto que también los gestores de los fondos de Formación Continua necesitaban Formación Continua, y me consta que en FORCEM se ha hecho un importante esfuerzo en este sentido.

- Para terminar, creo necesario poner de manifiesto la necesidad de tener en cuenta aspectos no directamente relacionados con la Formación Continua en sí ni con su pertinencia o adecuación, pero sí con la forma y el contexto en que se aplica. Son éstos, como digo, aspectos externos a la propia formación: tengo la impresión de que el trabajador no verá con los mismos ojos la Formación Continua si la recibe dentro o fuera de su horario laboral; también creo que la adecuación de la Formación Continua destinada a las pequeñas empresas (Planes Agrupados) es menor que la implantada en las grandes (Planes de Formación de Empresas); es posible también que la Formación Continua, en cuanto posible vía de promoción profesional o de reducción del número de horas trabajadas, pueda convertirse de hecho en una forma de retribución en especie... Seguramente, sobre tales extremos puedan ustedes aportar mucha más información que yo. No cabe duda, en todo caso, que un enfoque integral en la gestión de la Formación Continua ha de contemplar todos ellos.

1. S. Veredas, "Los productos empíricos", en J. Carabaña (dir.), Guía de buenas prácticas sobre materiales de Formación Continua, Fundación Tripartita para la Formación del Empleo, Col. Guías de Buenas Prácticas, n.º 1, Madrid, 2003.