Evaluación y formación en Recursos Humanos: Análisis bibliométrico del Colegio Invisible

El presente estudio forma parte de una investigación mayor, cuyo objetivo es analizar la producción científica sobre «Evaluación de la Formación en el área de Recursos Humanos» (en adelante EFRH) de los documentos encontrados en la Base de Datos PsycINFO entre los años 1887 y 2008. En esta investigación mayor, 217 documentos fueron analizados bibliométricamente (Silva Peralta, Menéndez Montañés, 2010) lo que ha permitido identificar las agrupaciones de autores o Colegios Invisibles (Price, 1961) más productivos en la temática. Se encontraron 5 colegios de 3 a 23 autores. Como consecuencia de estos resultados previos, se analizó en mayor profundidad la producción del Colegio Invisible más relevante, objeto de estudio de la presente investigación.

Bassi, Ludwig, Mc Murren y Van Buren (2002) sostienen que la formación debería ser un proceso continuo que se inicia antes de ingresar al mercado laboral, pero que se mantuviera durante el transcurso del trabajo porque las necesidades formativas pueden surgir en cualquier momento. Para ello, las organizaciones deberían tener establecidos ciertos controles que permitan detectar y evaluar estas necesidades con miras a convertir la formación en una práctica constante en el área de los Recursos Humanos (en adelante RRHH). En la misma línea, Dánvila del Valle y Sastre Castillo (2005) sostienen que la formación y el trabajo deberían solaparse, siendo la formación una de las tantas actividades que un trabajador desempeña en la organización. Para que este solapamiento sea posible, es necesario el apoyo de la alta dirección en la implantación y desarrollo de sistemas formativos. Los objetivos de la formación deben ir alineados a los fines corporativos de la organización (Fernández-Ríos y Sánchez, 1997).

A fin de verificar el éxito de un proceso de formación, los responsables de RRHH deben insistir en la evaluación sistemática del mismo. Numerosos autores enfatizan la importancia de la fase evaluativa para valorar la efectividad de la formación (Alliger, Tannenbaum, Bennett, Traver & Shotland, 1997; Kirkpatrick, 1996; Kraig, Ford & Salas, 1993; Goldstein, 1993; Peiró, 2000; Tannenbaum & Yulk, 1992). Sin embargo, el modelo teórico más utilizado para evaluar criterios de EFRH es el de Kirkpatrick (1996) que plantea cuatro niveles de evaluación de la formación: 1) reacciones o nivel de satisfacción de los formandos, 2) aprendizaje de conocimientos, habilidades y actitudes, 3) transferencia de lo aprendido y su impacto en el desempeño y 4) resultados o impacto en la organización.

Peiró (2000) reformula los niveles de Kirkpatrick planteando los siguientes: a) los inputs destinados a la formación, b) los outputs individuales (respuestas afectivas de los formandos), c) la eficacia o el logro de objetivos planteados, d) la eficiencia o coste (recursos empleados para alcanzar los objetivos), e) la transferencia al puesto de trabajo y f) el impacto (beneficios y resultados).

Blake (1997) plantea que la evaluación de la formación deberá resolver cuatro dificultades: a) asegurar que se enseñe lo que se necesita, b) asegurar que lo enseñado se aprenda, c) crear las condiciones para que lo aprendido sea trasladado a la tarea y d) contribuir a que lo transferido a la tarea se sostenga en el tiempo. Según Dánvila del Valle y Sastre Castillo (2005), la empresa puede evaluar tres indicadores: a) el coste de la formación, b) el aumento salarial que se deberá pagar al empleado por su mayor preparación y c) el beneficio que se obtendrá de la mayor preparación del trabajador.

El tema de la presente investigación resulta importante de cara a la configuración de un campo de estudio incipiente pero en crecimiento y con miras al reconocimiento de los autores pioneros en publicar sobre el tema, punto de partida para generar redes de colaboración estratégicas.

El estudio sobre un tema puede realizarse a través de la evolución que manifiestan las comunicaciones divulgadas públicamente. La comunicación científica es entendida como el conjunto de elementos y pautas que sostienen, regulan y perpetúan el proceso en el que los investigadores hacen accesibles al resto de la comunidad científica sus pretensiones de contribuir al patrimonio científico (Maltrás, 1996; Garvey, 1979).

La productividad, según Carpintero y Piñero (1979), es el número de trabajos realizados, firmados y publicados por un autor, grupo de autores, instituciones, revistas o sociedades de una determinada unidad de tiempo. La cuantificación de esta productividad permite: a) describir y estratificar los autores según el volumen de sus aportaciones y el nivel de reconocimiento de sus trabajos por parte de otros investigadores, b) la valoración de las instituciones en función de su índice de productividad y c) el conocimiento del liderazgo científico de algunos autores y su influencia intelectual. La productividad se ha reconocido y relacionado con diferentes factores; por ejemplo, la evidencia de los grupos editoriales (Carpintero, Gotor y Miralles, 1983) o las motivaciones del investigador influido, en muchos casos, por las presiones institucionales por publicar (Carpintero y Peiró, 1981). Según Pao (1992), los autores más productivos son los que más colaboran en autoría con otros.

Price (1963) define dos índices utilizados para calcular la productividad comparada entre autores y grupos: Productividad General (IPG) y Productividad Fraccionaria (IPF). El primer índice se calcula a partir del logaritmo del número de trabajos publicados en una unidad de tiempo determinada para establecer la productividad de cada autor y el segundo analiza la productividad de cada autor en función de la colaboración con otros autores, se valora el logaritmo 1 de cada trabajo individual y la fracción 1/n según sea el número de firmas de la publicación, por ejemplo un autor que haya publicado un artículo individual junto a uno en pareja sería: log (1+1/2).

La colaboración entre los autores es característica de la ciencia actual, signo de madurez y grado de profesionalidad alcanzado en los diferentes campos científicos (Arora & Pawan, 1995; Agulló & Aleixandre, 1999; Miguel, 2002). Una forma de calcular la colaboración entre autores es la detección de Colegios Invisibles o Invisible Colleges (término acuñado por Price en 1961) que son agrupaciones de científicos más productivos e influyentes que colaboran entre sí en un campo de especialización. El Colegio Invisible actúa como red de comunicación e intercambio y como foro de educación y socialización de investigadores que comienzan a trabajar en una línea concreta de investigación (Carpintero & Peiró, 1981; Price & Beaver, 1966; Tortosa, Civiera & Sánchez-Lozano, 1999).

El análisis de citas o enlaces bibliográficos (bibliographic coupling) propuesto por Kessler (1963) permite considerar las alianzas entres los autores del Colegio Invisible a través de la red de citas. Se parte del supuesto de que una cita en común relacionará entre sí a los autores que referencian el documento (en donde figura la cita) y a los autores del documento citado-referenciado (White & White, 1977). Formarán Colegio Invisible aquellos autores que compartan citas o bien se citen entre sí. La intensidad del enlace estará condicionada por el número de citas comunes. Para Latour (1992) un texto relaciona a su autor con aquellos a los que cita demarcando un alineamiento teórico-metodológico.

El análisis del contenido temático de los documentos permite descubrir la evolución de las corrientes investigadoras, los tópicos que interesan y revela los temas de interés en la productividad en un determinado campo científico (Carpintero & Tortosa, 1990; Tortosa, Civera y Sánchez-Lozano, 1999).

Método

El objetivo general de esta investigación fue analizar la producción científica y la colaboración de los autores del Colegio Invisible más productivo sobre EFRH en la Base de Datos PsycINFO (1887-2008). Fueron considerados 3 criterios para la elección de la Base de Datos: a) la accesibilidad material, b) la accesibilidad económica y c) el hecho de que se tratara de una aproximación psicológica al fenómeno de estudio, dado que interesa indagar qué se ha escrito desde la disciplina Psicología sobre la EFRH.

PsycINFO es una Base de Datos de la APA (American Psychological Association) que incluye comunicaciones científicas de psicología, ciencias sociales y ciencias del comportamiento. Es la base más remota en Psicología ya que incluye publicaciones desde 1887 que forman parte de más de 1400 revistas periódicas, libros, capítulos de libro, informes, tesis doctorales, entre otras.

Fueron analizados los 16 documentos producidos por los autores del Colegio Invisible identificando los años de publicación, las fuentes en las que han publicado, los autores más productivos, las instituciones a las que pertenecen y sus países de referencia. A su vez, se analizó la colaboración entre los autores calculando el Índice de Colaboración (Price, 1963) e identificando la frecuencia con la que autores del mismo Colegio Invisible han referenciado alguno de los 16 documentos analizados y las cofirmas de los autores más productivos para identificar la colaboración entre autores más allá de las fronteras del tema de esta investigación. Finalmente, se analizó el contenido temático de los documentos a partir de los descriptores (DE), que siguen el propio criterio de indexación de la Base de Datos, y las palabras claves (KW).

Resultados

Son 23 los autores que integran el Colegio Invisible quienes acumulan 38 firmas en total y han publicado 16 documentos. Estos documentos se distribuyen entre los años 1978 y 2006, acumulándose 3 documentos en el año 1993 y dos en los años 1997 y 2006. El 80% de los documentos son artículos de revistas científicas (N=8) y capítulos de libro (N=5). Las fuentes de los artículos son: Human Resource Development Review; Journal of Applied Psychology; Personnel Psychology y Human Factors. Los capítulos de libro se han publicado en: Handbook of human factors and ergonomics; Handbook of industrial and organizational psychology; Training and development in organizations; Situational judgment tests: Theory, measurement, and application y Training for a rapidly changing workplace: Applications of psychological research.

Los 23 autores analizados están vinculados a universidades norteamericanas, el 39,13% se concentra en la Universidad Central de Florida, le sigue la Universidad de Minnesota. No especifican la institución de procedencia 7 de los 23 autores.

Figura 1. Colegio Invisible analizado

Nota. Por debajo de cada autor se detallan dos números, el primero hace referencia a las publicaciones individuales y el segundo a las publicaciones colectivas. Se detallan las instituciones de pertenencia y años de permanencia de los autores más productivos del Colegio Invisible.

Análisis de la Productividad General y Fraccionaria

En la Figura 2 se clasifican los autores de acuerdo a la cantidad de firmas que presentan en los documentos analizados. 17 autores (el 73.91%) sólo presentan una firma.

Figura  2 . Número de firmas en los documentos analizados

Los autores Salas y Ford presentan el Índice de Productividad General (Price, 1963) más elevado en el Colegio Invisible. Sin embargo, aplicando el Índice de Productividad Fraccionaria al colectivo de autores Goldstein sería el autor más productivo con 3 documentos individuales y 1 con otro autor.

 Tabla  1
Índice de Productividad General y Fraccionaria (Price, 1963)

Nota. Au es autor, PG (Productividad General) es el número de firmas del autor.PF (Productividad Fraccionaria) se calcula mediante la fórmula: A+B1/2+C1/3+ D1/4. IPG (Índice de Productividad General) se calcula aplicando el logaritmo de PG.IPF (Índice de Productividad Fraccionaria) se calcula aplicado el logaritmo de PF.

El Doctor Salas es Profesor de Psicología en la Universidad Central de Florida, Director del Programa Integración de Sistemas Humanos en el Institute for Simulation & Training. Ha sido Investigador Responsable del Departamento de Formación y Desarrollo Tecnológico en NAVAIR-Orlando por 15 años, en estos años ha participado en programas sobre: trabajo en equipo, formación de equipos, formación y tecnología, toma de decisiones en situaciones de estrés, metodologías de aprendizaje y evaluación del desempeño. Actualmente, trabaja en el diseño de herramientas y técnicas que minimicen los errores humanos en el sector de la aviación, legal y médico.

Ford es Doctor por la Universidad Estatal de Ohio, Profesor de Psicología en la Universidad Estatal de Michigan. Su interés de investigación es la efectividad de la formación a partir de comprender el análisis de necesidades, del diseño, la evaluación y la transferencia. Ford se desempeña como Consultor en el sector industrial y público en Formación y Desarrollo Organizacional.

Goldstein es Doctor por la Universidad de Maryland, Profesor de Psicología en la misma Universidad. Sus investigaciones han abordado procesos de selección, promoción y formación de personal, al mismo tiempo sus investigaciones responden, cómo el clima de trabajo afecta las prácticas en Recursos Humanos. Training in Organizations es uno de sus libros más consultados sobre el tema. El Profesor Goldstein es Editor del volumen Training & Development in Organizations de la SIOP (Society for Industrial and Organizational Psychology).

Análisis de co-firmas de los autores más productivos del Colegio Invisible

Para conocer la colaboración de los autores de este Colegio Invisible (más allá de los 16 documentos sobre EFRH) fue analizada su producción completa en la Base de Datos PsycINFO con la finalidad de conocer la colaboración entre los autores más allá del tema de esta investigación, identificando qué proporción de los autores con los que han cofirmado pertenecen al Colegio Invisible de la presente investigación.

El autor Salas tiene una producción de 251 documentos entre los años 1966 y 2008, de 632 co-firmas con otros autores, 87 (el 13.76%) son co-firmas con autores del Colegio Invisible. Ford presenta 33 documentos publicados entre los años 1981 y 2008, de 47 co-firmas con diferentes autores, 11 (el 20.40%) son con autores del Colegio Invisible. Finalmente Goldstein, el autor con mayor Índice de Productividad Fraccionaria (Price, 1963), ha producido 30 documentos entre los años 1964 y 2008, de 26 co-firmas, sólo 1 co-firma ha sido con uno de los autores del Colegio Invisible.

Análisis de los autores que han referenciado los documentos producidos por el Colegio Invisible

Se han identificado de los 16 documentos aquellos que han sido más referenciados por diversos autores en la Base de Datos PsycINFO y aquellos documentos que han sido referenciado particularmente por los autores del Colegio Invisible.

Se referencian 11 de los 16 documentos en 236 ocasiones. El documento Application of cognitive, skill-based, and affective theories of learning outcomes to new methods of training evaluation de Kraiger, Ford y Salas ha sido referenciado en 157 ocasiones (1887-2008). Seguidamente, el documento: Beyond formal experimental design: Towards an expanded view of the training evaluation process de Sackett y Mullen es referenciado en 37 ocasiones, y Assessing training needs: Critical levels of analysis de Ostroff y Ford es referenciado en 11 ocasiones.

Tabla 2
Referencias a los documentos del Colegio Invisible

Más del 50% de los autores del Colegio Invisible han referenciado los documentos analizados en otras de sus publicaciones. Salas, E. es el autor que más ha referenciado, le siguen Ford, Kraiger y Burke.

Tabla  3
 Autores del Colegio Invisible que han referenciado los documentos

Casi el 50% de la referencias de estos autores son auto-referencias, ya que se referencian documentos en los que el mismo autor que referencia está ha participado. Salas es el autor que mayor cantidad de autor-referencias ha presentado.

Tabla  4
Auto-referencias de los autores del Colegio Invisible

Análisis del contenido temático de los documentos

Para analizar los temas de investigación del Colegio Invisible se consideraron (a) los descriptores (DE) o criterio de indexación de la propia Base de Datos y (b) las palabras claves (KW) o criterio de los autores. Para el análisis de los DE y las KW se construyeron categorías teóricas que los agrupan identificando sus frecuencias y porcentajes relativos al total.

Se han encontrado 46 DE diferentes con 85 ocurrencias. Fue posible construir con ellos 4 categorías. La categoría con mayor ocurrencia es «Formación» que agrupa 23 DE relacionados mayormente a las fases del proceso de formación. Le sigue la categoría «Individuo» en la que se incluyen 14 DE (el 30.43%) que hacen referencia a variables individuales como a los procesos básicos, las competencias y las condiciones profesionales. La categoría «Organización» ha incluido 8 DE que se agrupan en las subcategorías «Recursos Humanos», «Resultados organizacionales», «Sinónimos de organización» y «Características organizacionales». Finalmente, se encontró un único DE relacionado al contexto.

Tabla  5
Clasificación de los descriptores (DE)

Los cuatro descriptores con mayor frecuencia son Personnel Training, Evaluation, Program Evaluation y Needs Assessment acumulando el 40% de los DE encontrados. Un 38.82% de los descriptores han aparecido sólo una vez en los documentos.

Tabla 6
Descriptores (DE) con mayor frecuencia en los documentos analizados

Analizaremos ahora qué ocurre con las KW encontradas, así podremos contrastar el criterio de indexación de la Base de Datos con el criterio de los autores.

De los 16 registros sólo uno de ellos no presenta KW, fueron analizadas un total de 62 KW y se clasificaron en 3 grandes categorías: «Individuo», «Organización» y «Formación». La categoría que presentó mayor número de KW es «Formación» (N=40) acumulando el 64.52% de las KW. Se consideraron como subcategorías las fases del proceso de formación: «Diagnóstico de necesidades», «Diseño», «Desarrollo», «Impartición», «Evaluación», «Análisis de costes», a la vez se incluyó una subcategoría que hace referencia a sinónimos de la KW «Formación». La categoría «Individuo» incluyó 12 KW (el 19.35%) que se clasificaron en las siguientes subcategorías: «Aprendizaje», «Transferencia», «Motivación», «Habilidades», «Actitudes», «Desarrollo profesional» y «Procesos cognitivos». Finalmente, la categoría «Organización» incluyó 10 KW (el 16.12%) que se clasificaron en: «Sinónimos Organización», «Características organizacionales», «Recursos Humanos» y «Cambio organizacional».

Tabla  7
Análisis del contenido temático de las palabras clave (KW)

La subcategoría con más KW es «Evaluación» y representa un 32.26%, le sigue «Diseño» con un 11.29 %. La subcategoría «Evaluación» incluye KW que se re-agruparon nuevamente en subcategorías menores: a) «Evaluación» de programas, de diseños y de acciones de formación, b) «Criterios» de evaluación de la formación y c) «Técnicas» de evaluación de la formación. La Tabla 8 muestra que la nueva subcategoría que concentra más KW es «Criterios» en la que se incluyen la experticia del evaluador, criterios estadísticos, gestión del tiempo, efectividad de la formación, desempeño y dilemas o puntos críticos en la formación.

Tabla 8
Re-categorización de palabras claves (KW) de la subcategoría «Evaluación de la formación»

Análisis del contenido temático de toda producción de Salas, Ford y Goldstein

Por último, se analizó el contenido temático en la producción completa de Salas, Ford y Goldstein en la Base de Datos PsycINFO (1887-2008) con la finalidad de valorar la importancia del tema EFRH respecto a otros temas que hayan publicado estos autores.

Salas, E. presenta 251 documentos que incluyen 345 descriptores (DE) diferentes con una ocurrencia de 1334. Team y Group Performance son los dos DE más frecuentes, el tercero es Personnel Training que aparece con 51 ocurrencias, por lo que se infiere que el autor Salas en 51 documentos (el 20.31% respecto de sus 251 documentos) ha trabajado sobre el tema formación en el área de los Recursos Humanos.

Ford acumula unos 33 documentos en los que se incluyen 107 DE que ocurren unas 174 veces. Personnel Training es el DE más frecuente es con 13 ocurrencias. Puede inferirse que casi el 50% de los documentos de Ford tratan sobre la formación en el área de los Recursos Humanos.

Goldstein presenta en 30 documentos que incluyen 100 DE diferentes con una ocurrencia de 132. Personnel Training es el DE con mayor frecuencia y claramente superior respecto al resto de DE. Se puede inferir que al menos en 12 de 30 documentos el autor ha trabajado el tema formación en el área de los Recursos Humanos.

Discusión

Esta investigación es consecuencia de un estudio bibliométrico mayor realizado con anterioridad en el que fueron analizados 217 documentos en la Base de Datos PsycINFO (1887-2008) sobre Evaluación de la Formación en el área de Recursos Humanos (EFRH), acumulando un total de 375 autores con 404 firmas. En la presente investigación se han analizado el Colegio Invisible más productivo que acumula 16 documentos científicos (el 7.37% respecto al total de documentos del estudio mayor), 23 autores (el 6.13% respecto al total de autores del estudio mayor) y 38 firmas (el 9.40% respecto al estudio mayor).

Los documentos encontrados se distribuyen entre los años 1978 y 2006 lo que da cuenta de un interés mantenido en la temática por parte de los investigadores. Los autores más productivos son Salas y Ford con 5 firmas y Goldstein con 4 firmas. De los 23 autores del Colegio Invisible 17 (el 74%) sólo presentan una firma, una única aportación al tema de estudio. Los autores de este Colegio Invisible pertenecen en su mayoría a instituciones universitarias norteamericanas.

Más del 50% de los autores analizados referencian los documentos del Colegio Invisible en 70 ocasiones, por lo que las relaciones de colaboración no sólo se dan en las firmas conjuntas sino que también al referenciar documentos de autores con quienes colaboran.

También se ha encontrado colaboración de los autores del Colegio Invisible más allá de las fronteras del tema EFRH ya que tanto Ford como Salas han co-firmado con autores del mismo Colegio. El autor Goldstein es quien menor colaboración presenta con los autores analizados ya que de 26 co-firmas sólo 1 ha sido con uno de los autores del Colegio Invisible.

Es importante destacar que existe una gran diversidad tanto de Descriptores (DE) como de Palabras clave (KW), indicador de una gran dispersión en torno al contenido temático, motivo por el cual se construyeron categorías muy amplias para lograr agrupar los datos. Se han encontrado 46 DE y 62 KW. Las categorías utilizadas para ambos casos son coincidentes siendo la categoría «Formación» la que agrupa el 50% de los DE y el 64.52% de las KW. Cabe destacar que la subcategoría «Evaluación» es la que presenta mayor número de KW en la que se incluyen diferentes criterios de evaluación (estadísticos, temporales, experticia de los formandos, desempeño a lo largo de la formación y efectividad). El análisis temático realizado, refleja de alguna manera los niveles ya considerados por el modelo de Kirkpatrick (1996): (a) aprendizaje y actitudes, (b) transferencia de lo aprendido al puesto de trabajo y desempeño y (c) impacto en la organización como la efectividad y el cambio organizacional.

Respecto a toda la producción de los autores más relevantes del Colegio Invisible, Ford y Goldstein son los de menor producción general pero quienes presentan casi un 50% de su producción sobre formación en el área de los Recursos Humanos. Salas presenta una producción general casi siete veces mayor respecto a Ford y Goldstein pero la formación en el área de los Recursos Humanos sólo estaría explicitada en el 20% de sus documentos, no parece ser éste el tema sobre el que focaliza sus producciones.

Antes de finalizar, es necesario destacar como limitación de este estudio el sesgo muestral ya que la obtención de la muestra estuvo condicionada por los criterios de indexación e inclusión, la probabilidad de que un documento sea publicado depende de los criterios de indexación de la propia Base de Datos y de la evaluación e inclusión de los editores de las propias revistas. Finalmente, el hecho de haber considerado una única base también sesga la muestra.

Conclusiones

Este estudio da cuenta de la revisión de los documentos publicados por el grupo de autores más productivos sobre EFRH, mostrando gran dispersión temática y poca productividad de los autores. Los documentos analizados destacan la evaluación de las distintas fases de la formación, lo cual implica analizar necesidades, poner a prueba diseños y planificación, evaluar la impartición de la formación, evaluar los resultados obtenidos post-impartición y evaluar los costos de la misma formación. Por lo visto, los documentos analizados dan cuenta de una concepción más amplia de la evaluación no reduciéndola a los resultados como la satisfacción de los formandos, el aprendizaje y la transferencia, ya que también se incluye la evaluación del proceso formativo considerando sus distintas fases o momentos.

La formación se ha convertido en uno de los soportes principales para el cambio en las organizaciones, parece necesario estructurar un tema tan relevante como lo es la evaluación de la formación en las organizaciones. Se debe definir qué, cuándo, cómo y sobre todo para qué se evalúa (el significado y sentido de la misma evaluación). Consideramos que este enfoque heurístico, junto a una visión sistémica, permite la clarificación de criterios para abordar la evaluación de la formación, entendida como valor estratégico para las organizaciones actuales.

Citar:

Silva, Y. F. (2010, 20 de septiembre). Evaluación de la formación en el área de RRHH - El Colegio Invisible más productivo en la Base de Datos PsycINFO (1978-2006). Revista PsicologiaCientifica.com, 12(17). Disponible en:
https://psicologiacientifica.com/evaluacion-formacion-rrhh-psycinfo