Julio Meneses
Los tests forman parte de la práctica habitual de los profesionales, docentes e investigadores interesados por la medida indirecta de los fenómenos psicológicos. Al servicio de la evaluación psicológica, y en conjunción con otros instrumentos, como la observación o la entrevista, los tests tienen como propósito principal proporcionar las evidencias necesarias que permitan a los psicólogos y a otros profesionales vinculados con las ciencias sociales y del comportamiento tomar decisiones u orientar sus intervenciones en los diferentes contextos en los que desarrollan su actividad. Los tests cumplen, pues, una importante función en relación con la evaluación y la intervención psicológicas y por ello requieren una atención específica en los programas de formación de los futuros psicólogos. Conocer su funcionamiento, sus propiedades y las condiciones en las que los tests deben ser utilizados de manera adecuada y responsable son algunos de los retos importantes a los que nos enfrentaremos en este texto.
Para hacerlo, a lo largo de los próximos capítulos nos adentraremos en los aspectos teóricos y prácticos involucrados en la medida indirecta de los fenómenos psicológicos mediante tests que la psicometría ha propuesto y sistematizado en las últimas décadas. Como rama de la psicología, la psicometría es la disciplina encargada del desarrollo de teorías, métodos y técnicas que dan apoyo a los procesos de construcción y administración de tests. Su objetivo último, como veremos más adelante, es proporcionar las garantías científicas necesarias para la medida objetiva y estandarizada de los fenómenos psicológicos no observables a partir de una muestra de comportamientos. Este no es un objetivo menor y ha supuesto una importante contribución de la psicología a la teoría de la medida desarrollada en otras disciplinas como la física. Es decir, de acuerdo con las palabras atribuidas a Galileo Galilei en relación con la medida científica: la manera en que la psicometría hace medibles unos fenómenos psicológicos que, por definición y en oposición a los atributos físicos, no son directamente observables ni manipulables.
Empezaremos este viaje en el capítulo “Aproximación histórica y conceptos básicos de la psicometría”, donde situaremos esta disciplina en el contexto general de la psicología, revisando sus antecedentes remotos y más recientes, presentando las aportaciones más relevantes que han contribuido a su establecimiento como disciplina científica y ofreciendo una definición formal que incorpore el papel de los tests en el marco de la evaluación y la intervención psicológicas. A continuación, desarrollaremos los fundamentos de la psicometría, partiendo de una definición y clasificación de los tests, progresando por los diferentes modelos de medida psicométrica desarrollados en las diferentes teorías de los tests, introduciendo brevemente la teoría clásica de los tests y, finalmente, recapitulando estos fundamentos con la revisión del proceso de inferencia psicométrica. Concluiremos el capítulo con una discusión de los procesos de construcción y administración de tests, presentando las principales fases en las que podemos estructurar el diseño y la construcción de un nuevo test, ofreciendo algunos criterios importantes para la evaluación de las características y la valoración de la conveniencia de los tests disponibles en la literatura y, finalmente, abordando los aspectos éticos y deontológicos vinculados al uso de tests en la práctica profesional de la psicología.
En el capítulo “Fiabilidad” trataremos de manera específica un aspecto fundamental para la medida de los fenómenos psicológicos mediante tests: la obtención de puntuaciones consistentes y precisas. Como sucede con cualquier proceso de medida, el desarrollo y la administración de tests requieren el conocimiento del error que se puede cometer. Si este error de medida es grande, de modo que las puntuaciones obtenidas no reflejen adecuadamente los fenómenos psicológicos objeto de interés, los tests no proporcionan la confianza necesaria para cumplir con su objetivo principal al servicio de la evaluación psicológica. Así, en este segundo capítulo abordaremos la fiabilidad a partir de la perspectiva de la teoría clásica de los tests, empezando con una descripción del modelo lineal clásico, derivando el coeficiente de fiabilidad y prestando una especial atención tanto a su interpretación como a las diferentes estrategias que se han ido desarrollando para calcularlo. A continuación, se tratarán tres factores importantes que influyen en la fiabilidad de los tests y se presentarán dos procedimientos para estimar las puntuaciones verdaderas de los sujetos a partir de las puntuaciones obtenidas. Finalmente, nos ocuparemos de la fiabilidad de los tests referidos a criterio, discutiendo primero sus rasgos principales y presentando, a continuación, los procedimientos clásicos disponibles para evaluar su fiabilidad. Concluiremos el capítulo con una discusión de los métodos más habituales en la determinación de los puntos de corte que permiten la correcta clasificación de los individuos en referencia al criterio.
El capítulo “Validez” abordará otro aspecto clave para la medida indirecta de los fenómenos psicológicos mediante tests: su adecuación a los objetivos para los cuales han sido construidos y son utilizados en la práctica. Partiendo de una revisión histórica, en este capítulo abordaremos las diferentes aproximaciones que la psicometría ha ido proponiendo y definiremos la validez de los tests como el grado en el que la evidencia empírica y la teoría apoyan la interpretación de las puntuaciones en relación con su uso específico. Como veremos a continuación, en la actualidad no se considera la validez como una propiedad intrínseca de los tests, sino que es más bien producto del análisis de su adecuación al propósito específico al que sirven. Para hacerlo, los profesionales interesados por el desarrollo y la administración de tests deben recoger y acumular las evidencias científicas necesarias siguiendo diferentes estrategias. Así, en este capítulo estructuraremos los indicios de validez de los tests en cinco grandes grupos: evidencias basadas en la validez de contenido, basadas en el proceso de respuesta, basadas en la estructura interna del test, basadas en la relación con otras medidas y, finalmente, basadas en las consecuencias de la evaluación. Empezaremos definiendo cada uno de estos indicios de validez y a continuación trataremos en detalle las diferentes estrategias disponibles para obtener las evidencias necesarias. Finalmente, recapitularemos esta discusión tratando los factores que afectan a la validez de los tests teniendo en cuenta su influencia en estas estrategias para obtener los diferentes indicios.
A continuación, en el capítulo “Transformación e interpretación de las puntuaciones” nos ocuparemos de los aspectos metodológicos implicados en el tratamiento de la medida indirecta de los fenómenos psicológicos mediante tests. Más allá de algunas cuestiones teóricas importantes vinculadas al proceso de construcción de tests, en este capítulo discutiremos las operaciones que los profesionales llevan a cabo para hacer interpretables las puntuaciones obtenidas. Como veremos más adelante, estas puntuaciones no son, per se, informativas y han de ser siempre interpretadas para hacerlas útiles de acuerdo con el propósito con el que los tests han sido desarrollados. Así, empezaremos presentando el marco general de interpretación de las medidas obtenidas mediante tests y abordaremos algunas estrategias importantes para la transformación de puntuaciones, como son la construcción de percentiles o de puntuaciones estandarizadas y la utilización de normas cronológicas. Estas estrategias, que trataremos en detalle teniendo en cuenta sus características, la manera de calcularlas y sus limitaciones, sirven para recodificar las puntuaciones obtenidas en un nuevo sistema de valores que facilite su interpretación sin afectar a la distinta posición de los sujetos en relación con las magnitudes de las puntuaciones originales. A continuación trataremos el proceso de baremación o escalamiento de la medida, que tiene por objetivo establecer una conexión entre la puntuación del individuo y la ejecución observada en un grupo de referencia. Finalmente, concluiremos el capítulo con una exposición de las diferentes estrategias disponibles para hacer equiparables las puntuaciones que proporcionan tests diferentes que tienen por objetivo la medida de los mismos fenómenos psicológicos.
En el capítulo “Análisis de los ítems” introduciremos brevemente un último aspecto importante para la medida indirecta de los fenómenos psicológicos mediante tests: el análisis del funcionamiento de los ítems que conforman los propios tests. A pesar de que es una cuestión muy relevante para la psicometría, especialmente en el diseño y la construcción de nuevos instrumentos, no siempre forma parte de los programas de formación de los futuros psicólogos. En este capítulo abordaremos el análisis de las propiedades de los ítems en el caso específico de las pruebas de ejecución máxima –también denominadas tests de habilidad o de potencia–, que tienen por objetivo evaluar la competencia, la aptitud o los conocimientos de los individuos a partir del acierto o la calidad de sus respuestas. Como veremos, a diferencia de las pruebas de ejecución típica, este tipo de pruebas discriminan respuestas correctas e incorrectas y es esta la base empleada para puntuar las ejecuciones individuales. Partiendo de una definición de estos dos tipos de pruebas, empezaremos discutiendo algunas directivas importantes para la construcción de los ítems, al tiempo que presentaremos una prueba de ejecución máxima ficticia que nos servirá para ilustrar esta exposición. Así, abordaremos las propiedades de los ítems de acuerdo con la formulación de la teoría clásica de los tests y discutiremos los diferentes procedimientos disponibles para evaluar la dificultad y la discriminación de los ítems. Finalmente, apuntaremos la lógica propuesta por la teoría de la respuesta al ítem y concluiremos presentando el desarrollo de los cálculos necesarios para evaluar las propiedades de los ítems que conforman la prueba ficticia que hemos utilizado para ilustrar los diferentes procedimientos.
Esta obra tiene como objetivo general conocer los fundamentos de la psicometría como disciplina científica encargada de la medida indirecta de los fenómenos psicológicos mediante el desarrollo y la administración de tests.
Además del objetivo general, tiene como objetivos específicos:
– Situar la psicometría en el contexto general de la psicología al servicio de la evaluación y la intervención psicológicas.
– Saber definir y clasificar los diferentes tipos de tests disponibles.
– Conocer los diferentes modelos de medida desarrollados por la psicometría en las diferentes teorías de los tests.
– Entender el proceso de inferencia psicométrica y conocer los retos específicos que la medida mediante tests debe afrontar en el contexto del método científico.
– Conocer las implicaciones prácticas de los procesos de construcción y administración de tests, haciendo un énfasis especial en los aspectos éticos y deontológicos vinculados con su uso.
– Entender el concepto de fiabilidad desde la perspectiva psicométrica.
– Saber calcular e interpretar los coeficientes de fiabilidad desde la perspectiva de la teoría clásica de los tests.
– Conocer los factores que afectan a la fiabilidad de una medida.
– Saber estimar las puntuaciones verdaderas de los sujetos a partir de sus puntuaciones empíricas.
– Conocer los procedimientos para abordar la fiabilidad de los tests referidos a criterio.
– Conocer los métodos disponibles para determinar el punto de corte para clasificar a los individuos.
– Conocer los procesos de validación de los tests que permiten inferir su adecuación a los objetivos para los cuales han sido construidos y son utilizados en la práctica.
– Saber definir y clasificar los tipos de validez en función de los diferentes indicios que se pueden recoger como evidencias.
– Conocer de manera práctica las diferentes formas de validez para saber si las conclusiones que se extraen a partir de la aplicación de los tests resultan adecuadas.
– Conocer los factores que afectan a los diferentes tipos de indicios de validez.
– Saber elegir el test más adecuado en función de los indicios disponibles de su validez.
– Desarrollar un punto de vista crítico en la interpretación de las puntuaciones obtenidas mediante tests.
– Conocer las distintas estrategias disponibles para transformar e interpretar las puntuaciones de los tests.
– Conocer las diversas estrategias disponibles para equiparar las puntuaciones obtenidas con diferentes instrumentos que miden los mismos fenómenos psicológicos.
– Entender qué es un baremo y cuáles son los rasgos fundamentales que le otorgan calidad.
– Conocer los diferentes procedimientos disponibles para valorar los ítems de las pruebas de ejecución máxima.
– Conocer las directivas disponibles para la construcción de ítems que conforman las pruebas de ejecución máxima.
– Saber valorar la adecuación de los ítems de las pruebas de ejecución máxima a partir de sus propiedades psicométricas.
– Conocer las diferencias básicas en el análisis de los ítems desde las perspectivas de la teoría clásica de los tests y de la teoría de respuesta al ítem.
Más allá de las referencias citadas en los diferentes capítulos, que sirven para profundizar en algunos aspectos que van más allá de los límites de este texto, a continuación ofrecemos una selección de contribuciones desarrolladas en nuestro contexto inmediato que pueden ser de utilidad para obtener una visión complementaria a esta aproximación a la psicometría.
Fernández-Ballesteros, R. (1997). Evaluación psicológica y tests. En A. Cordero (Ed.), La evaluación psicológica en el año 2000 (pp. 11-26). Madrid: TEA Ediciones.
El libro editado por TEA en torno a los retos para la evaluación psicológica ofrece algunas lecturas interesantes sobre el papel que desempeñan los tests en el ejercicio profesional de los psicólogos. En este sentido, el capítulo de la profesora Fernández-Ballesteros presenta una excelente síntesis sobre los retos de la medida indirecta de los fenómenos psicológicos mediante tests, abordando una breve aproximación histórica, una discusión sobre los usos terminológicos, el encaje de los tests en el proceso general de la evaluación psicológica y una discusión sobre la validez de las puntuaciones de los tests.
Yela, M. (1996). Los tests. Psicothema, 8, supl. 1, 249-263. Disponible en línea en http://www.psicothema.com/pdf/660.pdf.
Este es un texto clásico publicado en el año 1987 por el profesor Yela en su manual Introducción a la teoría de los tests, y reproducido en los suplementos de la revista Psicothema, donde presenta una definición y descripción general de los tests como reactivos que revelan o dan testimonio fiel de los fenómenos psicológicos no observables. El texto ofrece también una aproximación histórica a su desarrollo, una clasificación de los diferentes tipos de tests disponibles y, finalmente, una discusión sintética de las diferentes fases implicadas en el desarrollo de nuevos instrumentos.
Muñiz, J. (1998). La medición de lo psicológico. Psicothema, 10(1), 1-21. Disponible en línea en http://www.psicothema.com/pdf/138.pdf.
Este texto corresponde con la conferencia inaugural del curso 1997-1998 de la Universidad de Oviedo, donde tuvimos la oportunidad de escuchar la voz autorizada del profesor Muñiz en relación con los importantes retos que supone la medida de los fenómenos psicológicos no observables para la psicología. El artículo empieza con una descripción de las características esenciales de estos fenómenos, aborda los orígenes de la medida mediante tests y discute tres propiedades básicas para un uso adecuado de los tests: la fiabilidad, la validez y la fundamentación teórica. En relación con esta última propiedad, su exposición de los diferentes modelos de medida psicométrica propuestos por Fraser (1980) es una aproximación alternativa interesante a la que hemos desarrollado en nuestro texto.
Muñiz, J. (2010). Las teorías de los tests: teoría clásica y teoría de respuesta a los ítems. Papeles del Psicólogo, 31 (1), 57-66. Disponible en línea en www.papelesdelpsicologo.es/pdf/1796.pdf.
Este número de la revista Papeles del Piscólogo es una importante referencia para los profesionales interesados por la medida indirecta de los fenómenos psicológicos mediante tests. Entre sus artículos, la contribución de Muñiz ofrece una aproximación muy comprensible a las teorías de los tests y el papel que desempeñan en el establecimiento de las inferencias a partir de las puntuaciones obtenidas. Esta exposición arranca con una nota histórica que conduce hacia una caracterización de la teoría clásica de los tests, una discusión de sus limitaciones y, finalmente, presenta las soluciones que la teoría de respuesta al ítem ha propuesto recientemente para hacer frente a estas limitaciones. Más allá de la amena exposición, el lector interesado en conocer estas dos aproximaciones no debería dejar de tener presente la magnífica tabla en la que, en la parte final del artículo, se comparan sus características básicas.
Prieto, G. y Delgado, A. R. (2010). Fiabilidad y validez. Papeles del Psicólogo, 31 (1), 67-74. Disponible en línea en www.papelesdelpsicologo.es/pdf/1797.pdf.
En el mismo número de la revista, los profesores Prieto y Delgado ofrecen una panorámica de la fiabilidad y la validez de los tests, tanto desde un punto de vista conceptual como atendiendo a los procedimientos más habituales para su evaluación. El artículo discute algunas nociones erróneas sobre estos principios, como son considerar la fiabilidad y la validez propiedades intrínsecas de los tests o considerarlas de manera absoluta y no como una cuestión de grado.
Ferrando, J. y Anguiano-Carrasco, C. (2010). El análisis factorial como técnica de investigación psicológica. Papeles del Psicólogo, 31 (1), 18-33. Disponible en línea en http://www.papelesdelpsicologo.es/pdf/1793.pdf.
Una tercera contribución interesante publicada en este número de la revista Papeles del Psicólogo es la de los profesores Ferrando y Anguiano-Carrasco, quienes proponen una aproximación muy accesible al análisis factorial como instrumento de investigación psicológica. Después de una revisión conceptual, los autores discuten las diferencias principales entre el análisis factorial exploratorio y el análisis factorial confirmatorio, así como presentan los principales procedimientos implicados para estimar los modelos correspondientes. A continuación, ilustran las diferentes etapas implicadas en una investigación, desde su diseño y la recogida de datos hasta la interpretación de la solución final. Se presenta también el programa Factor, un recurso de distribución libre muy interesante para llevar a cabo todos los cálculos implicados en el análisis factorial.
Moreno, R., Martínez, R. J., y Muñiz, J. (2004). Directrices para la construcción de ítems de elección múltiple. Psicothema, 16 (3), 490-497. Disponible en línea en http://www.psicothema.com/pdf/3023.pdf.
Este es un artículo muy interesante para los profesionales interesados por el desarrollo de los ítems de elección múltiple que conforman un nuevo test orientado a la evaluación de competencias, aptitudes o conocimientos. A partir de una revisión crítica de las diferentes directrices existentes, los profesores Moreno, Martínez y Muñiz se proponen unificar la diversidad de criterios y proponen un conjunto de recomendaciones que, bajo el principio de parsimonia, facilite una adecuada redacción de este tipo de ítems. Se presentan un total de doce directrices básicas que los autores, además, ilustran con algunos ejemplos.
Prieto, G. y Muñiz, J. (2000). Un modelo para evaluar la calidad de los tests utilizados en España. Papeles del Psicólogo, 77, 65-75. Disponible en línea en http://www.papelesdelpsicologo.es/vernumero.asp?id=1102.
Por su parte, los profesores Prieto y Muñiz presentan en este artículo el modelo de evaluación de los tests desarrollado por el Colegio Oficial de Psicólogos –en la actualidad, Consejo General de Colegios Oficiales de Psicólogos–, donde proponen un procedimiento de evaluación de la calidad y las características de los tests y presentan un cuestionario para sistematizar todo el proceso. Este modelo ha sido ya utilizado con éxito para evaluar diez de los tests más utilizados por los psicólogos españoles y proporciona una guía interesante para conocer las decisiones que los profesionales interesados en la elaboración de tests deben tomar. Este modelo es también una importante referencia para la práctica profesional a la hora de valorar la conveniencia de los tests existentes en la literatura en relación con los objetivos de la evaluación psicológica.
Muñiz, J. y Fernández-Hermida, J. R. (2010). La opinión de los psicólogos españoles sobre el uso de los tests. Papeles del Psicólogo, 31 (1), 108-121. Disponible en línea en http://www.papelesdelpsicologo.es/pdf/1801.pdf.
En este artículo los profesores Muñiz y Fernández-Hermida presentan una parte de los resultados de un estudio dirigido por la European Federation of Psychologists’ Associations analizando las opiniones sobre el uso profesional de los tests de psicólogos españoles. Estos resultados, basados en el análisis de las respuestas de 3.126 profesionales de la psicología clínica, educativa y del trabajo, nos dan una interesante fotografía de su actitud general hacia el uso de los tests como instrumentos de evaluación psicológica en España, al tiempo que permite poner de manifiesto algunas limitaciones importantes que deben ser resueltas en el futuro.
Lang, F. (2009). El principio de responsabilidad. Papeles del Psicólogo, 30 (3), 220-234. Disponible en http://www.papelesdelpsicologo.es/pdf/1751.pdf.
Este texto forma parte de otro número interesante de la revista Papeles del Psicólogo dedicado a la discusión de las cuestiones éticas y deontológicas vinculadas a la práctica profesional de los psicólogos. En el artículo, el coordinador del Comité de Ética de la European Federation of Psychologists’ Associations propone una discusión de la responsabilidad profesional hacia las personas, las comunidades y la sociedad en general de acuerdo con los principios de su Meta-Code of Ethics. Este artículo es una versión ampliada del capítulo con el que Lang contribuyó al libro Ethics for European psychologists y da la oportunidad de reflexionar en torno a unos ejemplos concretos que ilustran los diferentes aspectos en los que se concreta el principio general de responsabilidad. Por lo que nos ocupa en esta aproximación a la psicometría, son de especial relevancia los ejemplos 4, 7 y 8, donde plantea algunas consideraciones importantes en relación con las consecuencias derivadas del uso profesional de los tests como instrumentos de evaluación psicológica.
International Test Commission (2000). International guidelines for test us. Disponible en línea en http://www.intestcom.org/upload/sitefiles/41.pdf.
En el ámbito de los códigos deontológicos profesionales de los psicólogos, estas directrices suponen una importante contribución desarrollada por la International Test Commission con el objetivo de ofrecer una estructura coherente bajo la cual se puedan entender y aplicar los diferentes códigos y estándares nacionales que desarrollan los aspectos éticos y deontológicos que afectan al uso de tests. Más allá del interés de su articulado para una práctica profesional responsable, estas directrices ponen de manifiesto la importancia del desarrollo y la adquisición de las competencias necesarias para llevar a cabo la administración de tests, la interpretación y comunicación adecuadas de los resultados, y la resolución de las dificultades, malentendidos y conflictos que se puedan derivar. Disponen de una versión traducida al castellano que esta organización proporciona gratuitamente bajo demanda a través de su página web.
Julio Meneses
Vila de Gràcia, junio de 2013