Read the book: «Prácticas de investigación aplicada a contextos educativos»

Estándares y directrices que orientan el desarrollo y adaptación de instrumentos de medición

carlos david díaz lópez

joaquín caso niebla

luis ángel contreras niño

La internacionalización del uso de los test ha puesto de manifiesto la necesidad de contar con un marco general de evaluación que recoja las buenas prácticas de evaluación (Hambleton, 2004). De manera particular, los desarrollos técnicos, metodológicos y analíticos en torno al desarrollo y adaptación de instrumentos de medición psicológica y educativa son un referente imprescindible en las prácticas de evaluación. Sin embargo, tanto la literatura técnica como los métodos de medición no son bien conocidos por los investigadores que realizan desarrollos o adaptaciones de instrumentos (Hambleton, 1996). En consecuencia, organismos como la International Test Commission (itc), la American Educational Research Association (aera), la American Psychological Association (apa) y el National Council on Measurement in Education (ncme) han impulsado y diseminado el empleo de estándares y directrices que orientan las prácticas de evaluación en general, y en particular las de desarrollo, adaptación, validación, administración y uso de instrumentos de medición psicológica y educativa.

Así, los Standards for Educational and Psychological Testing (aera, apa y ncme, 1985, 1999, 2014) y las Guidelines for Adapting Educational and Psychological Tests (itc, 2010) son los principales documentos que prescriben los procesos de adaptación y desarrollo de instrumentos. A su vez, estos documentos han motivado el desarrollo de directrices específicas para la traducción y adaptación de pruebas utilizadas en evaluaciones educativas internacionales como pisa (oecd, 2010).

No obstante, dichos documentos son y han sido susceptibles de modificación a la luz de los avances metodológicos y sociales (Elosua, 2012; Muñiz, Fernández-Hermida, Fonseca-Pedrero, Campillo-Álvarez y Peña-Suárez, 2011), pues han presentado limitaciones para guiar los distintos tipos de razonamiento utilizados por los traductores o revisores de traducción de pruebas (Instituto Nacional para la Evaluación de la Educación, 2011; Solano-Flores, Backhoff y Contreras-Niño, 2009), y para orientar los métodos y técnicas necesarios para el establecimiento de la equivalencia intercultural (Muñiz, Elosua y Hambleton, 2013).

A continuación se analizarán los documentos mencionados, resaltando las aportaciones de éstos a los procesos de adaptación de instrumentos de medición psicológica y educativa.

Standards for Educational
and Psychological Testing

En respuesta a los problemas relacionados con los instrumentos de medición y con base en los avances técnicos en materia de medición, en los nuevos y emergentes usos de los test, y en la creciente preocupación social sobre el papel que juegan los test en el cumplimiento de políticas públicas, en 1985 la American Educational Research Association (aera), la American Psychological Association (apa) y el National Council on Measurement in Education (ncme) coordinaron el trabajo de más de 125 especialistas, para actualizar y sustituir los estándares, directrices y principios que orientan el diseño, desarrollo, adaptación y validación de instrumentos. Como consecuencia de este trabajo se obtuvieron 180 estándares organizados en 16 capítulos o secciones, que tratan sobre los usos, aspectos técnicos y un amplio espectro de cuestiones legales y sociales asociadas a los test (tabla 1). El objetivo de la publicación de los estándares fue proporcionar los criterios mínimos para la evaluación de los test, orientar las prácticas de evaluación y regular el efecto del uso de los test. Sin embargo, no prescriben el uso de un método estadístico específico (American Education Research Association et al., 1985).

Nota: elaboración propia basada en Standards for Educational and Psychological Testing (aera, apa y ncme, 1985).

Estos estándares sostienen que no se puede asumir que, al atender procedimientos de traducción, se genera una versión del test equivalente en contenido, nivel de dificultad, confiabilidad y validez. De igual modo, no se debe suponer que las propiedades psicométricas de dos versiones de un instrumento sean comparables entre idiomas o dialectos. En este sentido, la edición comprometió nueve estándares distribuidos en cuatro capítulos (tabla 2), que deben considerarse en los procesos de adaptación de test y evaluaciones interculturales (Geisinger, 1994).

Nota: elaboración propia basada en Standards for Educational and Psychological Testing (aera, apa y ncme, 1985).

En cuanto a la confiabilidad y el error típico de medida, se propuso que cuando existan razones teóricas o empíricas, para esperar que estos indicadores difieran sustancialmente en diferentes poblaciones, se deben presentar las estimaciones para cada población para las cuales el test es recomendado [estándar 2.9: 22]. Asimismo, para el desarrollo y revisión de los test se estableció que el tipo y contenido de los ítems debe realizarse con reconocimiento a los antecedentes culturales y a las experiencias previas de las poblaciones involucradas (grupos étnicos, edad, género, etc.) [estándar 3.5: 26]. De igual modo se debe prever la realización de aquellos estudios que sean necesarios cuando los resultados de las investigaciones señalen la necesidad de estudiar las diferencias en el funcionamiento del ítem, o del test, para miembros de distintos grupos (edad, étnicos, género, etc.). Tales estudios deben diseñarse para detectar y eliminar aspectos del diseño, contenido o formato del test que puedan sesgar las puntuaciones de un grupo en particular [estándar 3.10: 27].

Por otro lado, se establecieron principios generales para el uso de los test, mismos que recomiendan que cuando se realizan cambios sustanciales en el formato del test, modo de aplicación, instrucciones, idioma o contenido, se debe validar el uso del test para las condiciones modificadas, o bien tener un sustento racional de que una validación adicional no es necesaria [estándar 6.2: 41]. Además, cuando un test se va utilizar para un propósito para el que no ha sido previamente validado, o para el cual no existe evidencia de su validez, los responsables del test deben proporcionarla [estándar 6.3: 42].

Finalmente, el capítulo que establece el uso de test en sujetos que forman parte de una minoría lingüística, exige que cuando un test sea traducido de un idioma o dialecto a otro, se debe establecer la validez y confiabilidad del test para los usos esperados en el grupo lingüístico por examinar [estándar 13.4: 75]. Mientras que cuando se busca que las versiones del test en dos idiomas sean comparables, se deben reportar evidencias de la comparabilidad [estándar 13.6: 75]. A este respecto, tanto los responsables del test como los editores deben proporcionar la información necesaria para realizar un uso e interpretación apropiada de éste [estándar 13.3: 75], y describir en el manual del test todas las modificaciones lingüísticas recomendadas por los editores [estándar 13.2: 75].

Standards for Educational
and Psychological Testing de 1999

Al igual que la edición de 1985, los estándares de la edición de 1999 contaban con un carácter prescriptivo y por sí solos no incluían mecanismos de aplicación. Fueron formulados con la pretensión de ser consistentes con otros estándares, directrices y códigos de conductas publicados por las organizaciones patrocinadoras, para promover el uso racional y ético de los test, y para proporcionar las bases para la evaluación de la calidad de las prácticas de evaluación. En relación con la edición anterior, la estructura y capítulos de los Standards 1999 se modificaron y se incrementaron notablemente (tabla 3), debido principalmente a lo siguiente: a) los nuevos tipos de test y usos para los test existentes; b) la inclusión de aspectos que procuran la evitación de los conflictos de interés y c) el tratamiento equitativo de todos los examinados.

Nota: elaboración propia basada en Standards for Educational and Psychological Testing (aera, apa y ncme, 1999).

En la edición de 1999 se propusieron nueve estándares que versan sobre los procesos de adaptación de test y de las evaluaciones interculturales, distribuidos en 4 capítulos (tabla 4). En esta edición se propusieron nuevos planteamientos entre los que destacan: a) la realización del cálculo de la confiabilidad y de los errores de medida cuando se enfatice la diferencia entre dos puntuaciones observadas de sujetos o de grupos [estándar 2.3: 32]; b) la inclusión de la función de información del test (fit), la apropiación del contenido, la estructura interna de las respuestas, la relación de las puntuaciones del test con otras variables y los procesos de respuesta utilizados por los examinados como criterio de variación y comparación de los subgrupos que conforman la muestra [estándar 2.11: 34 y estándar 7.1: 80]; c) la participación de los responsables de la construcción del test en la identificación y eliminación del vocabulario, símbolos, palabras, frases y contenido que se consideren ofensivos por parte de miembros de un grupo racial, étnico, de género u otros grupos, excepto cuando se juzgue necesario para una adecuada representación del constructo [estándar 7.4: 82] y d) la descripción y presentación de evidencia empírica y lógica del método utilizado para establecer la adecuación de la traducción [estándar 9.7: 99].

Nota: elaboración propia basada en los Standards for Educational and Psychological Testing (aera, apa y ncme, 1999).

Es importante destacar que esta versión retoma el concepto de sesgo expuesto con anterioridad e introduce los términos de equivalencia de constructo, funcionamiento diferencial del ítem y equivalencia de traducción; conceptos centrales en el proceso de adaptación de test y de las evaluaciones interculturales.

Standards for Educational
and Psychological Testing de 2014

Desde la edición de 1999, diversas organizaciones, empresas y especialistas en el campo de la medición psicológica y educativa han propuesto nuevos enfoques y desarrollos relacionados con el diseño de pruebas de medición y con las técnicas del análisis, normalización, interpretación y uso de las puntuaciones que de ellas se desprenden. Como respuesta, en 2005 un comité conformado por miembros de la aera, apa y ncme determinó que la edición de 1999 demandaba una revisión y actualización. Posteriormente, en 2008 un segundo comité, conformado por 15 miembros de diferentes organizaciones, desarrolló la nueva versión de los estándares y en 2011 fueron revisados tanto por las organizaciones patrocinadoras (aera, apa y ncme) como por 35 asociaciones profesionales, diez empresas orientadas a la medición, cuatro centros de investigación, tres organismos acreditadores y seis instituciones independientes. La revisión se orientó hacia cuatro áreas principales: avances tecnológicos en medición, incremento en el uso de pruebas para la rendición de cuentas y política pública, inclusión, temas vinculados con el uso de pruebas en el contexto laboral.

Al igual que las ediciones anteriores, estos nuevos estándares son prescriptivos y no contienen reglas específicas para su aplicación; fueron formulados con la intención de ser consistentes con otros estándares, directrices y códigos de conducta publicados por estas organizaciones. Los Standards 2014 buscan promover las buenas prácticas de medición y proporcionar las bases para evaluar la calidad de las mismas. A diferencia de las ediciones anteriores, esta propuesta organiza los estándares de una manera diferente (tabla 5). Así, la sección Fundamentos concentra los capítulos de validez, confiabilidad/precisión, errores de medida y equidad de las pruebas. La sección Operación concentra los estándares asociados al diseño, desarrollo, aplicación, calificación y normalización de los test, así como los derechos y responsabilidades de los examinados y usuarios de los test. Por último, la sección Aplicaciones de pruebas contiene los estándares asociados con los distintos contextos de aplicación y con el uso de las pruebas (evaluación psicológica, ámbito laboral y acreditación, evaluación educativa y evaluación de programas, política pública y rendición de cuentas).

Nota: elaboración propia basada en Standards for Educational and Psychological Testing (aera, apa y ncme, 2014).

En lo particular, los principales estándares que ayudan a orientar las prácticas en traducción y adaptación de pruebas se encuentran en los capítulos 3 y 7 (Equidad en las pruebas y Documentación de apoyo para los test, respectivamente). En comparación con las anteriores, esta edición sitúa a la equidad como un tipo de evidencia inherente y fundamental de la validez de un test, misma que requiere atenderse en todas las etapas del diseño, desarrollo y uso del instrumento.

La equidad es entendida como la sensibilidad hacia las características individuales y contextuales de las pruebas y los sujetos, de manera que las puntuaciones que se desprenden de ellas permitan interpretaciones válidas para los usos esperados. En síntesis, las características de todos los individuos de la población bajo estudio (raza, etnicidad, género, edad, nivel socioeconómico y contexto lingüístico o cultural), deben considerarse durante todas las etapas de desarrollo, aplicación, calificación, interpretación y uso de las pruebas.

De hecho, los nuevos estándares reconocen la existencia de situaciones donde el test no es apropiado para todos los sujetos bajo estudio, aun cuando éste haya sido desarrollado bajo los principios y prácticas de equidad. En este sentido, se establece que algunas adaptaciones pueden ser necesarias para aquellos individuos cuyas características impedirían su participación en el proceso de evaluación. Las adaptaciones, dependiendo de las circunstancias de aplicación, los objetivos del test y las características de los sujetos, redundan en cambios en el contenido o presentación de los ítems, en las condiciones de aplicación o en los procesos de respuesta, a fin de incrementar el acceso al test a todos los sujetos.

No obstante, es necesario diferenciar entre cambios que resultan en puntuaciones comparables (acomodaciones) y cambios que pueden no producir puntuaciones que sean comparables con las obtenidas por el test original (modificaciones). La presente edición de los estándares propone entender las adaptaciones de pruebas como un continuo donde en un extremo se encuentran las acomodaciones (cambios relativamente menores a la presentación o formato de los test, aplicación del test, o de los procesos de respuesta que mantienen el constructo original y resulta en puntuaciones comparables con el test original), y en el extremo opuesto, las modificaciones (cambios que transforman el constructo que está siendo medido, incluyendo el contenido del test o las condiciones de evaluación, para obtener una medida diferente pero que mide el constructo de manera apropiada en los sujetos esperados).

En cuanto a la eficacia de las adaptaciones, ello depende del grado en que incrementan el acceso de los sujetos al constructo medido por el test. Dicha evidencia puede recolectarse a través de estudios cuantitativos y cualitativos, donde el juicio de expertos tiene un rol determinante en las decisiones acerca de los cambios a realizar en el test o en las condiciones de aplicación. Aquellos que informan, interpretan o utilizan las puntuaciones de un test adaptado, requieren desarrollar un completo entendimiento de la utilidad y limitaciones de los procedimientos de diseño de los test, así como reconocer cuáles adaptaciones proporcionan puntuaciones comparables con las del test original y cuáles adaptaciones no las proporcionan.

Concretamente, esta nueva edición de los estándares sugiere que a) los diseñadores de pruebas son responsables del desarrollo de test y de minimizar la posibilidad de que éste se vea afectado por características lingüísticas, comunicativas, cognitivas, culturales o físicas irrelevantes al constructo [estándar 3.2: 64]; b) cuando un test es traducido y adaptado de un idioma a otro, los diseñadores y los usuarios del test son responsables de describir los métodos utilizados, para establecer la idoneidad de la adaptación y documentar la evidencia empírica, o lógica, para determinar la validez de las interpretaciones y el uso de las puntuaciones [estándar 3.12: 68] y c) cuando un test está disponible en más de un idioma, la documentación debe brindar información de los procedimientos empleados para traducir y adaptar el test y, cuando sea factible, la información también debe contener evidencias de confiabilidad/precisión y validez para la forma adaptada [estándar 7.6: 127].

Guidelines for Adapting Educational
and Psychological Tests

Uno de los principales propósitos de la Comisión Internacional de los Test (itc, por sus siglas en inglés) ha sido preparar y diseminar un conjunto de directrices para la adaptación de test e instrumentos de medición psicológica y educativa, y para el establecimiento de la equivalencia de puntuaciones entre los grupos lingüísticos y culturales considerados. Se entiende por directriz para la adaptación de instrumentos a aquellas prácticas que se consideran importantes a realizar y evaluar dentro del proceso de adaptación o de construcción paralela de instrumentos de medición psicológica o educativa, para uso en poblaciones que difieren en aspectos culturales o lingüísticos (Hambleton, 1996).

El empleo de las directrices de la itc permite detectar problemas potenciales en el proceso de adaptación y problemas que necesitan tratarse antes de que la versión adaptada se pueda considerar aceptable en el nuevo contexto (Hambleton, Yu y Slater, 1999).

Así, la itc puso en marcha en 1992 un proyecto para la elaboración de las directrices, el cual se conformó por un comité de 12 representantes de distintas organizaciones (European Association of Psychological Assessment, European Test Publishers Group, International Association for Cross-Cultural Psychology, International Association of Applied Psychology, International Association for the Evaluation of Educational Achievement, International Language Testing Association and International Union of Psychological Science). Dicho comité trabajó durante varios años definiendo 22 directrices, que después fueron sometidas a prueba en trabajos de campo (Hambleton, Mereda y Spielberger, 2005; Hambleton et al., 1999; Hambleton, 2001; Tanzer y Sim, 1999).

En una primera edición, las directrices para la traducción y adaptación de test fueron integradas y ordenadas en cuatro áreas generales que orientan el proceso de adaptación de test: contexto, construcción y adaptación, aplicación e interpretación (Hambleton, 1996). Estos lineamientos se describen a continuación.

Las directrices de contexto tratan con la equivalencia de los constructos medidos en las poblaciones de interés. Buscan minimizar los efectos de las diferencias culturales y evaluar el solapamiento de los constructos en las poblaciones, lo cual permite decidir si es adecuado adaptar el test a la nueva población.

El área de construcción y adaptación de test busca asegurar una correcta adaptación, cuidando que los contenidos, formatos, estímulos y que todos los demás componentes del test original tengan la misma familiaridad para los sujetos de las dos culturas implicadas. Esta área enfatiza la necesidad de utilizar juicios analítico-racionales y técnicas estadísticas que permitan garantizar que el test es válido para las dos poblaciones.

Las directrices del área de aplicación incluyen todos aquellos aspectos necesarios para realizar una aplicación correcta de los test.

Las directrices propuestas para el área de interpretación de puntuaciones se centran en detectar la importancia de realizar las interpretaciones con base en las evidencias contenidas en toda la documentación generada en los procesos de las áreas anteriores.

En general, las veintidós directrices buscan prevenir las diferentes fuentes de error que se presentan en el proceso de adaptación de test y, al mismo tiempo, ofrecen acciones para controlarlas (Muñiz et al., 2013).

Se pueden distinguir dos contextos de aplicación de dichas directrices. Uno de ellos se refiere a la adaptación de test existentes y el otro al desarrollo de nuevos test para comparaciones a nivel internacional. La evidencia recopilada durante una década sobre la aplicabilidad de las directrices confirmó su utilidad en una amplia variedad de contextos (Hambleton, 2001; itc, 2010). No obstante, el análisis de contenido de las directrices llevado a cabo por Tanzer y Sim (1999), identificó que las directrices trataban principalmente con principios fundamentales en el proceso de adaptación de test y que había algunas inconsistencias y ambigüedades en las mismas, de tal manera que algunas necesitaban ampliarse, clarificarse, combinarse, o requerían una mayor orientación sobre su aplicación; y c) resultaba necesario indagar sobre más tipos de evidencias para establecer la equivalencia de los test, y sobre ideas, diseños y técnicas estadísticas que permitieran investigar el posible sesgo a nivel de constructo, de método o de ítem de los test traducidos y adaptados.

Es importante observar que dichas directrices eran normativas y no prescriptivas (Solano-Flores et al., 2009; Tanzer y Sim, 1999). Es decir, no proveían un método específico para obtener test multiculturales o multi-lingüísticos válidos. Por otro lado, para que los principios normativos provistos por las directrices pudieran transformarse en aplicaciones prácticas, era necesario desarrollar un compendio de las dificultades y soluciones en el proceso de adaptación de test, y también se requiere la institucionalización de programas de formación para los constructores y usuarios de los mismos (Tanzer, 2005).

Tanto los análisis de contenido de las directrices, como los avances metodológicos, psicométricos y sustantivos en el campo de la adaptación de test, hicieron necesaria una revisión de las directrices originales (Muñiz et al., 2013). De esta manera, la itc coordinó un nuevo grupo de trabajo interdisciplinar compuesto por representantes de asociaciones de psicólogos de cinco países (Reino Unido, Turquía, Bélgica, España y Holanda), para realizar la revisión y modificación de las directrices originales, a la luz de los nuevos desarrollos.

La segunda edición de las directrices (Muñiz et al., 2013) propuso un marco integral que busca que la adaptación consiga, con respecto al test original, el máximo nivel de equivalencia lingüística, cultural, conceptual y métrica posible. Éstas son entendidas como un esquema que orienta a los investigadores y profesionales en el proceso de adaptación. A través de veinte directrices, agrupadas en seis categorías, se propone un proceso ordenado y global que considera todas las fases y cuestiones relevantes en la adaptación de test. Así, las nuevas directrices (Muñiz et al., 2013), se agrupan de la siguiente manera:

 Directrices previas. Resaltan el respeto a los derechos de propiedad intelectual y a los acuerdos sobre el uso de los test vigentes en los países implicados. Además, proponen el estudio de la influencia de las diferencias culturales o lingüísticas en la medición, y de la relevancia del constructo en la población de interés.

 Directrices sobre el desarrollo del test. Sugieren que el proceso de adaptación sea el más pertinente para las poblaciones de interés y que valore la utilización de juicios de expertos, para estimar si el proceso de adaptación considera las diferencias lingüísticas, psicológicas y culturales suficientes. Asimismo, se interesan por que las instrucciones, contenido, formato, escalas, formas de aplicación y demás aspectos relacionados con el test y los ítems, tengan el mismo significado y sean pertinentes en las poblaciones implicadas.

 Directrices de confirmación. Fijan su atención en ofrecer información empírica acerca de la equivalencia de constructo, de método y entre los ítems en todas las poblaciones implicadas. De la misma manera, señalan la necesidad de obtener evidencias sobre la confiabilidad y validez del test adaptado y de establecer el nivel de comparabilidad entre las puntuaciones obtenidas por el test en sus dos versiones.

 Directrices sobre la aplicación. Se enfocan en la disminución de las diferencias culturales y lingüísticas derivadas de los procedimientos de aplicación o de los formatos de respuesta; y en la especificación de las condiciones de aplicación de manera que no se vea amenazada la validez de las inferencias originadas de las puntuaciones del test.

 Directrices sobre puntuación e interpretación. Comunican la necesidad de considerar información demográfica pertinente al momento de realizar las interpretaciones de las diferencias de las puntuaciones entre los grupos bajo estudio. También, resaltan la importancia de utilizar el nivel de invarianza establecido para la escala de puntuación sobre la que se hacen las comparaciones.

 Directrices sobre documentación. Señalan la importancia de proporcionar toda la documentación técnica acerca de las modificaciones del test adaptado, donde además se incluyan las evidencias de la equivalencia con la versión original e información a los usuarios sobre el uso correcto del test en la población a la que va dirigido.

Directrices para la traducción
y adaptación de pisa 2012

Las directrices para la traducción y adaptación de pisa son un claro ejemplo de la importancia de contar con procesos rigurosos y específicos en traducción y adaptación de pruebas de medición psicológica o educativa. pisa es un estudio realizado en un gran número de países con diferentes idiomas, culturas y sistemas escolares, orientados a la evaluación de las competencias de los estudiantes en lectura, matemáticas, ciencia y resolución de problemas. Estas evaluaciones incluyen cuestionarios de contexto que ayudan a explicar las diferencias observadas en los resultados obtenidos entre y a través de los países, así como manuales de operaciones y de procedimientos que buscan asegurar la estandarización de la aplicación de los instrumentos.

Dado que uno de los objetivos de esta evaluación es realizar comparaciones internacionales, la equivalencia de los instrumentos y materiales utilizados es un requisito imprescindible. Por ello, el consorcio responsable de la implementación de pisa elaboró un conjunto de recomendaciones y directrices, para asegurar la equivalencia de todas las versiones de cada país, a través de un proceso de traducción que no introduzca sesgo o comprometa las comparaciones internacionales entre las pruebas (Organization for Economic Co-operation and Development, 2010).

Las directrices para la traducción y adaptación de pisa están basadas en la revisión de la literatura internacional de test, en directrices similares desarrolladas en estudios previos y en la experiencia adquirida de la verificación de los materiales de pisa. Dichas normas se organizan en seis secciones:

 Directrices generales de traducción/adaptación. Establecen la necesidad de construir los test, cuestionarios de contexto y otros materiales de apoyo a través del trabajo de dos traductores independientes y de la posterior revisión de una tercera persona, quien concilia una sola versión. Asimismo, se debe documentar cualquier adaptación, cultural o de uso local, implementada a los materiales de evaluación. Este conjunto de directrices también considera el análisis de los ítems, para determinar las cualidades psicométricas de los mismos.

 Instrucciones generales. Incluyen la descripción de los materiales utilizados en la evaluación, así como de las obligaciones de las personas responsables del proyecto en cada país, los requerimientos de seguridad y los perfiles y las obligaciones de los traductores y del conciliador. En el mismo sentido, se resalta la importancia de hacer un seguimiento meticuloso de cualquier error identificado y de las modificaciones a cualquier material de evaluación.

 Traducción de instrumentos. Incluye recomendaciones que tratan con los obstáculos comunes en el proceso de traducción de los materiales, tales como la variación de una versión a otra, de la presentación de las ilustraciones y los elementos gráficos, la inclusión de expresiones propias del idioma, técnicas, afectivas, metafóricas, etcétera.

 Adaptación de material cognitivo. Se incluye un listado de cuidados que se consideran deseables, aceptables u obligatorios cuando se traducen los test cognitivos de pisa. Se trata de evitar que los estudiantes se enfrenten a expresiones o conceptos que no les son familiares, pero sin alterar el significado sustantivo del texto o del ítem. De manera general, no se deben adaptar o alterar los formatos de los ítems, o incluir notas explicativas o instrucciones adicionales; y se debe valorar la pertinencia de adaptar nombres de personas, lugares, símbolos, abreviaciones y fórmulas matemáticas.

 Directrices específicas sobre la traducción de cuestionarios de contexto. Para traducir adecuadamente los cuestionarios de contexto, la cuestión central es mantener el mismo significado, en todas las versiones de los países participantes, de las preguntas sobre el contexto educativo y las instrucciones de ejecución del cuestionario. Para ello, los responsables de la evaluación deben encontrar las palabras o expresiones de mayor equivalencia con la versión original.

 Directrices específicas sobre la traducción de los manuales de operación. Consideran procedimientos que pueden, o no, modificarse en los manuales de aplicación. Además, se hace hincapié en la elaboración de un registro detallado y completo de todos los cambios realizados a cada estímulo, ítem o procedimiento, pues esta información es necesaria para la interpretación de los resultados y en la revisión de la calidad psicométrica de los ítems.

Como parte de los procedimientos de control de calidad implementados por pisa, se incluyó un listado de verificación que es utilizado por los revisores internacionales, para identificar posibles problemas de traducción, y sugerir modificaciones y correcciones.

El objetivo principal de estas directrices es asegurar que el proceso de traducción no introduzca sesgos que distorsionen las comparaciones internacionales, como pueden ser: a) la alteración de la dificultad de textos, gráficos o tablas utilizadas como estímulos en los test, b) la alteración de la dificultad de un ítem de manera que se modifique el tipo de estrategia mental requerido para responder, c) la introducción de ambigüedades que perjudiquen la medición de las variables de los cuestionarios de contexto, o d) la inadecuada adaptación de manuales al contexto nacional para que se modifiquen los procesos de muestreo, aplicación o calificación.

Consideraciones finales

En este capítulo se describieron los principales documentos que orientan las prácticas de desarrollo, adaptación y traducción de instrumentos de medición psicológicos y educativos. De manera general, los documentos y argumentos aquí presentados coinciden en destacar que la aplicación de instrumentos válidos y confiables en otros países, desarrollados en apego a marcos conceptuales pertinentes, no aseguran que éstos midan lo mismo en poblaciones y contextos diferentes.

La presente revisión sirve como marco al conjunto de investigaciones realizadas en nuestro país (aún reducido) que reconocen la necesidad de utilizar metodologías, procedimientos y esquemas analíticos que proporcionen equidad en las evaluaciones y justicia a los examinados, con reconocimiento a la contribución que hacen las diferencias culturales en la explicación de los resultados educativos (Byrne et al., 2009; Solano et al., 2009; inee, 2011). Sirva este trabajo para difundir el contenido de documentos aquí referidos y como orientación para todos aquellos involucrados en procesos de desarrollo, validación y adaptación de instrumentos de medición psicológica o educativa.

Bibliografía

American Education Research Association, American Psychological Association y National Council on Measurement in Education (1999). Standards for Educational and Psychological Testing 1999. Washington: American Education Research Association.

American Education Research Association, American Psychological Association y National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing 2014. Washington, dc: American Education Research Association.

American Education Research Association, American Pychological Association y National Council on Measurement in Education (1985). Standards for Educational and Psychological Testing 1985. Washington, dc: American Education Research Association.

byrne, b. m., Oakland, T., Leong, F. T. L., Van de Vijver, F., Hambleton, R. K., Cheung, F. M., y Bartram, D. (2009). A critical analysis of cross-cultural research and testing practices: Implications for improved education and training in psychology. Training and Education in Professional Psychology, 3 (2), 94-105. doi: 10.1037/a0014516.

elosua, p. (2012). Test publicados en España: usos, costumbres y asignaturas pendientes. Papeles del Psicólogo, 33 (1), 12-21.

geisinger, k. (1994). Cross-cultural normative assessment: Translation and adaptation issues influencing the normative interpretation of assessment instruments. Psychological Assessment, 6 (4), 304-312.

hambleton, r. k. (1996). Guidelines for adapting educational and psychological tests: A progress report. European Journal of Psychological Assessment, 10, 229-240.

hambleton, r. k. (2001). The next generation of the itc test translation and adaptation guidelines. European Journal of Psychological Assessment, 17 (3), 164-172.

hambleton, r. k. (2004). Theory, methods and practices in testing for the 21st century. Psicothema, 16(4), 696-701.

hambleton, r. k., Mereda, P. y Spielberger, C. (2005). Adapting Educational and Psychological Tests for Cross-Cultural Assessment. Nueva Jersey, Londres: Lawrence Erlbaum Associates.

hambleton, r. k., Yu, J. y Slater, S. C. (1999). Field test of the itc Guidelines for adapting educational and psychological tests. European Journal of Psychological Assessment, 15 (3), 270-276.

Instituto Nacional para la Evaluación de la Educación (2011). La teoría del error de traducción de pruebas y las evaluaciones internacionales de timss y pisa. México: Instituto Nacional para la Evaluación de la Educación.

International Test Commission (2010). International Test Commission Guidelines for Translating and Adapting Tests. Recuperado de http://www.intestcom.org

klerk, g. (2008). Cross-cultural testing. In Online Readings in Testing and Assessment. International Test Commission. Recuperado de http://www.intestcom.org/Publications/Orta.php

Muñiz, J., Elosua, P. y Hambleton, R. K. (2013). Directrices para la traducción y adaptación de los tests (segunda edición). Psicothema, 25 (2), 151-157.

Muñiz, J., Fernández-Hermida, J. R., Fonseca-Pedrero, E., Campillo-Álvarez, Á., y Peña-Suárez, E.(2011). Evaluación de test editados en España. Papeles del Psicólogo,32 (2), 113-128.

Organization for Economic Co-operation and Development (2010). Translation and adaptation guidelines for pisa 2012. Recuperado de http://www.oecd.org/pisa/pisaproducts/49273486.pdf

solano flores, g., Backhoff, E. y Contreras-Niño, L. Á. (2009). Theory of Test Translation Error. International Journal of Testing, 9 (2), 78-91. doi: 10.1080/15305050902880835

tanzer, n. k. (2005). Developing Tests for Use in Multiple Languages and Cultures a Plea for Simultaneous Development. En Hambleton, R. K., Mereda, P. y Spielberger, C. (2005). Adapting Educational and Psychological Tests for Cross-Cultural Assessment. Mahwah, New Jersey: Lawrence Erlbaum Associates.

tanzer, n. k. y Sim, C. Q. (1999). Adapting instruments for use in multiple languages and cultures: A review of the itc Guidelines for Test Adaptations. European Journal of Psychological Assessment, 15 (3), 258-269.

Sistema para administrar
en línea instrumentos
de evaluación del aprendizaje

zulma sarabia ocampo

luis ángel contreras niño

juan carlos rodríguez macías

joaquín caso niebla

Resumen

Este capítulo presenta un estudio que tuvo como objetivo diseñar un sistema de cómputo, alineado a estándares de calidad técnica de las evaluaciones, que permita administrar en línea instrumentos estandarizados como exámenes de referencia criterial para evaluar el aprendizaje, así como analizar y elaborar reportes de resultados específicos para diferentes usuarios.

El sistema se denominó salidea (Sistema para Administrar en Línea Instrumentos de Evaluación del Aprendizaje). El diseño incluyó desarrollar componentes y funciones que permitan incorporar un examen de referencia criterial, la correspondiente documentación que debe acompañar al instrumento y las evidencias que avalan su calidad técnica, de modo que sea posible llevar a cabo su aplicación estandarizada. Además, su diseño incluye elementos que permiten, al concluir la evaluación, analizar y reportar de manera inmediata, simple y significativa los resultados generales y específicos a los diferentes usuarios de la información. Para propiciar que el diseño de salidea estuviera alineado a los principales estándares psicométricos y principios del diseño universal que norman este tipo de evaluaciones, se realizó una amplia revisión de aquellos que han sido propuestos por diversos expertos y organismos especializados nacionales e internacionales.

La revisión de dicha literatura orientó el análisis de requerimientos del sistema, el cual detalla los rasgos operacionales del software; a la vez que encauzó el diseño de la interfaz gráfica. Finalmente, se diseñó un elemento clave de salidea; un modelo gráfico que presenta la estructura y funcionamiento del sistema, en el que se muestran los componentes y relaciones de salidea.

Palabras clave: evaluación en línea, sistema, estándares psicométricos, análisis de requerimientos, interfaz gráfica.

Introducción

Las pruebas que se aplican a gran escala usualmente tienen un impacto importante sobre los estudiantes que responden la prueba y sobre sus familias, profesores y escuelas. Ello ha ocasionado que en los contextos internacional y nacional se norme su construcción mediante estándares para su desarrollo y su administración, así como para el análisis y reporte de sus resultados. En el contexto internacional han tenido una influencia considerable los estándares propuestos por el Joint Commitee on Testing Practices (apa, aera, ncme, 1999; 2004, 2014), además de los formulados por otras organizaciones como el Center for Universal Design (1997), o por autores como Thompson, Johnstone y Thurlow (2002). En el contexto latinoamericano destacan los emitidos por el Consejo Asesor Externo del Ceneval (2000) y por Tristán y Vidal (2006).

A continuación se presenta un diagrama en el que se muestran las fases que se realizaron para la elaboración del diseño de salidea.

Como puede observarse en el diagrama, lo que primero se hizo fue considerar las necesidades de los usuarios del sistema, en este caso representadas por los estándares psicométricos y principios del diseño universal de las evaluaciones. Además se hizo una revisión de diversos sistemas de cómputo para conocer las características de éstos. Se realizó la especificación de los estándares que serían posibles ejecutar en salidea. Enseguida se procedió a especificar los requerimientos necesarios para identificar las funciones del sistema. A partir de los requerimientos funcionales del sistema que fueron identificados, se procedió a elaborar un diseño preliminar del sistema de evaluación que produjo las ventanas de la interfaz, con sus controles y funciones de navegación. Finalmente, se hizo un diseño detallado de estos componentes para cada uno de los usuarios de salidea, mismo que fue representado gráficamente mediante una retícula que muestra los componentes y relaciones entre ellos, que fueron considerados para cada usuario.

A continuación se muestran tres tablas en las que se describen los estándares para el desarrollo de las pruebas (tabla 1), para la administración de pruebas (tabla 2), y para la calificación, interpretación y elaboración de informes de los resultados de las pruebas (tabla 3), mismos que fueron tomados en cuenta para diseñar salidea. Asimismo, se presenta una tabla (tabla 4) en donde se describen las características de máxima legibilidad textual consideradas al diseñar. Cabe señalar que en las tablas sólo aparecen los estándares o características que resultan significativos para la aplicación de las pruebas en línea y los que fue posible implementar en el diseño, por lo que no se consideran otros que sólo hacen sentido para la aplicación a gran escala de pruebas de lápiz y papel.

Tabla 1. Estándares psicométricos relativos al desarrollo de la prueba, que fueron atendidos al diseñar salidea
Organismo	Año	Estándar	salidea	Componente
Joint Commitee on Testing Practices	1999; 2004	Proporciona evidencia de lo que mide el examen.	Presenta sección con los propósitos de la prueba, descripción e importancia de lo que pretende medir. Indica cómo se seleccionaron los contenidos y cómo se evaluará y proporciona ejemplos.Además tiene una sección donde muestra las propiedades psicométricas de los ítems y versiones de la prueba.	Sección de inicio de la pruebaManual del instrumento
Joint Commitee on Testing Practices	1999; 2004	Describe cómo fueron seleccionados los contenidos del examen y cómo fue desarrollado el instrumento.	Una sección del manual de la prueba muestra la estructura, especificaciones de ítems y el proceso para su elaboración y validación.	Manual del instrumento
	1999; 2004	Evita el contenido o lenguaje potencialmente ofensivos cuando se desarrollan los ítems de la prueba y los materiales relacionados.	Los ítems son revisados por el desarrollador del examen y el administrador de Salidea, para evitar penalizar u ofender a determinados estudiantes (mujeres, indígenas, etc.).	Desarrollador del examenAdministrador de salidea
	2000	Presenta el manual de la prueba.	Presenta la documentación del examen y ejemplos de los ítems que forman la prueba (opción múltiple, respuesta breve, etc.).	Manual del instrumento
Consejo Asesor Externo Ceneval	2000	Anticipa y hace explícito el desarrollo de la aplicación.	Presenta sección de instrucciones sobre cómo se llevará a cabo la aplicación del examen (tiempo, forma, condiciones, etc.).	Instructivo para el examinado

Fuente: elaboración propia basada en Joint Commitee on Testing Practices (1999; 2004) y Consejo Asesor Externo del Ceneval (2000).

Cabe señalar que, aunque el diseño de Salidea se enfoca en un sistema para la administración de pruebas, y que por ello no incluye un componente para el desarrollo de exámenes, se considera que debe atender también esta clase de estándares que especifican que la administración debe incluir información a los examinados sobre tales cuestiones. Lo anterior significa que, cuando eventualmente fuera utilizado Salidea por alguna persona o institución para dar de alta y administrar un examen, deberá incorporar la información, correspondiente a lo que se especifica en la columna de la derecha de la tabla anterior, en particular contar con el manual del examen.

Tabla 2. Estándares psicométricos relativos a la administración de las pruebas, que fueron atendidos al diseñar salidea
Organismo	Año	Estándar	salidea
Joint Commitee on Testing Practices	1999; 2004	Proporciona pautas sobre procedimientos razonables para la evaluación de personas con discapacidades que necesitan adaptaciones especiales.	Atiende las necesidades de personas con dificultades visuales mediante el uso de fuente especial APHont. Además se cuenta con botones para aumentar el tamaño de las figuras y el de la letra en los textos, mediante la tecla Ctrl y la rueda del mouse.
Joint Commitee on Testing Practices	1999; 2004	Proporciona información sobre los formatos y procedimientos para responder las preguntas del examen, y sobre el uso de material y equipo necesario.	Presenta una sección donde aparece la prueba y el instructivo para responderla.
Joint Commitee on Testing Practices	1999; 2004	Establece e implementa procedimientos que garantizan la seguridad de los materiales durante el desarrollo, administración, puntuación y elaboración de informes de la prueba.	Cuenta con candados de seguridad para darse de alta y para ingresar al sistema; evita que personas ajenas puedan ver la prueba o los resultados.Sección donde los diferentes destinatarios pueden consultar, previo ingreso protegido, el reporte de resultados del examen que le corresponde a cada uno de ellos.

Fuente: elaboración propia basada en Joint Commitee on Testing Practices (1999; 2004); Consejo Asesor Externo del Ceneval (2000).

El administrador es el responsable de exigir que la prueba cuente con componentes tales como información sobre los formatos y procedimientos para responder las preguntas del examen, y sobre el uso de material y equipo necesario al momento de responder la prueba, además establece procedimientos que garantizan la seguridad de los materiales durante el desarrollo, administración, puntuación y elaboración de informes de la prueba.

Tabla 3. Estándares psicométricos relativos a la calificación de la prueba, la interpretación de sus resultados y la elaboración de informes de resultados de la prueba, que fueron atendidos al diseñar salidea
Organismo	Año	Estándar	salidea
Joint Commitee on Testing Practices	1999; 2004	Proporciona resultados de las pruebas de manera oportuna y de forma que se entiendan por parte del examinado.	Los reportes de salidea presentan la información apropiada para cada usuario, de manera inmediata, simple y significativa; tanto los resultados generales en la prueba, como por área evaluada y su relación con variables de contexto exploradas.
		Protege los resultados de las pruebas de accesos y publicación no autorizados.	salidea tiene un acceso protegido mediante un usuario y una clave de acceso únicos, para cada usuario especificado y proporciona a cada uno de ellos el informe de resultados del examen que le corresponde.
Joint Commitee on Testing Practices	1999; 2004	Desarrolla e implementa procedimientos para asegurar la confidencialidad de los resultados.	Ofrece aviso de privacidad.Ofrece un usuario para registro al sistema.Ofrece una clave de acceso única.
Joint Commitee on Testing Practices	1999;2004	Asesora a los usuarios de pruebas sobre los beneficios y limitaciones de los resultados de la prueba.	Presenta en el manual del instrumento sugerencias sobre los usos y consecuencias válidos de los resultados del examen.

Fuente: elaboración propia basada en Joint Commitee on Testing Practices (1999; 2004); Consejo Asesor Externo del Ceneval (2000).

De este modo, tras responder los examinados la prueba, se prevé que salidea analice su ejecución y gestione reportes de resultados especializados, mismos que pueden ser tan detallados como lo requieran las necesidades informativas de los diferentes usuarios. Además, los informes proporcionados deben ofrecer seguridad, por lo que se suministra a cada usuario una clave de acceso única al sistema. Asimismo, informa a los usuarios sobre los principales usos y consecuencias válidos de los resultados de la prueba, de modo que cuenten con elementos de información apropiados para la toma de decisiones que a cada uno de ellos le corresponde.

Tabla 4. Características de máxima legibilidad textual consideradas al diseñar salidea
Dimensión	Características de legibilidad
Contraste	Letra de color negro en fondo de color pastel o blanco para favorecer la legibilidad y disminuir la fatiga visual.
Tamaño de la letra	Tamaño grande de letra para apoyar a los niños que están aprendiendo a leer, y a los alumnos con dificultades visuales y personas conproblemas de fatiga ocular. En salidea el tamaño legal previsto para el texto es de 14 puntos.
Tipo de letra	Tipo de letra estándar, con mayúsculas y minúsculas, para facilitar la lectura.
Justificación	Texto alineado a la izquierda, para apoyar a lectores con dificultad para leer.
Longitud del renglón	Longitud del renglón de 4 pulgadas (8 a 10 palabras por línea), para evitar la fatiga de lector y la dificultad para localizar el inicio del siguiente renglón.
Gráficas y tablas	Símbolos altamente discriminables en los gráficos, etiquetas colocadas junto a las barras o líneas de las gráficas, para su fácil localización.
Ilustraciones	Ilustraciones ubicadas al lado de la pregunta que las requieran y siempre que incluyan información cuyo dominio se evalúa.
Formatos de respuesta	Opciones de respuesta con burbujas más grandes en los ítems de respuesta seleccionada.

Fuente: elaboración propia basada en Thompson, Johnstone y Thurlow (2002).

Para ilustrar la aplicación de estas características al texto, más adelante se muestra el aspecto que tendrían los textos en un ítem administrado por salidea.

Una vez que se hizo una revisión teórica de los estándares y se analizó la factibilidad de ser atendidos dentro del diseño, se prosiguió a realizar un análisis de requerimientos, el cual detalla los rasgos operacionales del software; es decir, permite dejar claro lo que el software debe hacer y bajo qué circunstancias debe hacerlo (Gómez, 2011). Además, especifica los rasgos operacionales del software y los conecta con la interfaz gráfica del sistema. Para ello se especificó un componente específico de la interfaz para cada requerimiento y se ilustra su diseño.

Funciones del sistema

Se prevé que el software permita la administración de evaluaciones en línea (administrador), que permita la aplicación del examen (examinados) y al término de éste elabore un reporte de resultados de acuerdo con el usuario de la información.

Requisitos de funcionalidad

En total se especificaron 24 requisitos de funcionalidad. A continuación se muestran los que resultaron claves para el diseño de salidea.

 R1. Registrar administrador: La cuenta de administrador debe ser creada por default. Es decir, el sistema debe de tener un primer usuario predeterminado al momento en que alguien desee administrar la prueba.

 R2. Actualizar datos del administrador: Una vez registrado el Administrador, aparecerán unos cuadros de texto, los cuales deben de ser llenados para actualizar la información de dicho usuario.

 R3. Registrar usuarios (examinados, profesores, padres de familia, directivos y autoridades educativas): Para darse de alta en el sistema es necesario hacer clic en el botón Crear cuenta; aparecerá un listado de roles y se podrá seleccionar la opción que corresponde a cada usuario. Enseguida aparecerán cuadros de texto que deben de ser llenados por el usuario correspondiente. Al momento de registrarse un usuario, el Administrador de Salidea recibirá una notificación que dicho usuario desea darse de alta, por lo que el Administrador cotejará en su base de datos si es factible que este usuario pueda darse de alta en el sistema. En caso de que se acepte la solicitud, el Administrador dará clic en el botón Aceptar solicitud. Al hacerlo, se le enviará un correo indicándole que su solicitud ha sido aceptada.

 R7. Pantalla principal: Al iniciar sesión, el usuario podrá ver el menú principal: éste tendrá una configuración particular dependiendo el usuario.

 R12. Datos generales de la prueba: Antes de administrar una prueba en Salidea, es necesario que se registren los datos generales del instrumento. Para ello, el Administrador dará clic en la opción Agregar prueba que se encuentra en el menú principal del Administrador, y enseguida aparecerán unos cuadros de texto que deben de ser llenados por el Administrador. Al dar clic en Guardar, aparecerá una nueva pantalla de captura de información relacionada con el contenido cuyo dominio se evalúa en la prueba. En la parte inferior de la pantalla aparecerán dos botones: Aceptar y Vista previa. El primero guarda la información seleccionada, mientras que el segundo permite visualizar la información cargada para detectar algún error en la captura.

 R13. Documentación de la prueba: Para mostrar los objetivos de la prueba, las evidencias de validez y otros aspectos relevantes del instrumento, el Administrador deberá agregar los documentos del desarrollo y validación del instrumento que fueron preparados por los autores de la prueba, mismos que estarán disponibles para todos los usuarios. Para cargar los documentos, dar clic en el botón Documentos de validación de la prueba. Aparecerán recuadros necesarios para subir dichos documentos. En la parte inferior de cada recuadro aparecerán los botones Buscar y Subir que permitirán localizar e incorporar a la base de datos dicha documentación. Al dar clic en este último control, se dará aviso al Administrador, en caso de éxito  o fracaso . Debajo de este aviso habrá un botón para Aceptar, mismo que llevará al usuario a la pantalla principal de la prueba.

 R15. Configuración de la prueba: Una vez que el examen se encuentra en Salidea, dar clic en Configurar la administración de la prueba. Aparecerá un menú con botones que representan opciones que el administrador puede activar o desactivar según determinados criterios.

 R16. Reporte de resultados: En esta sección es donde se integran las aplicaciones externas parrerc y pagi. Dichos programas de software operan bajo la Licencia Creative Commons Atribución —no comercial— Compartir Igual 4.0 Internacional y 3.0 Unported, respectivamente, y fueron elaborados para analizar los resultados de la prueba y generar reportes dirigidos a diversos tipos de usuarios. Además, con ellos se pueden obtener evidencias sobre la calidad técnica de la prueba mediante el cálculo de la dificultad, discriminación y funcionamiento de distractores de los ítems, así como la correlación de los ítems con el total de la prueba y la confiabilidad del instrumento. Según del tipo de usuario con el que se inició la sesión, será el formato y contenido del reporte.

 R21. Responder prueba: Para que los examinados respondan la prueba, es necesario que inicien sesión y vayan al menú principal y dar clic en el botón Prueba. Aparecerá una pantalla nueva en donde se podrán ver los datos generales de la prueba; además, se verá el botón de Iniciar prueba y al dar clic en él aparecerán las instrucciones generales y el primer ítem. Una vez que el examinado responda el primer ítem, aparecerá un icono en forma de flecha en la esquina inferior derecha y al dar clic en él se pasará al siguiente ítem; asimismo, aparecerá otro icono con una flecha en la esquina inferior izquierda; al dar clic en él se regresará al ítem anterior. La prueba tendrá otros elementos informativos que aparecen a la derecha de esta celda. Si llegara a ocurrir algún problema con la conexión a internet, o el alumno decidiera cerrar sesión sin haber terminado el examen, no se podrán guardar las respuestas que se hayan seleccionado.

 R24. Seguridad: En principio, el Administrador de salidea evita que alguna persona ajena pueda ver la prueba o los resultados, debido a que una persona no puede darse de alta en salidea sin previa aprobación del Administrador.

Con propósitos ilustrativos, en las figuras 2, 3 y 4 que aparecen a continuación, se presentan tres de los 24 diseños de los requerimientos que fueron analizados, en este caso los correspondientes a R1, R12 y R20.

Como se especificó en el requerimiento uno, lo primero que debe hacerse es registrar al Administrador. Enseguida se muestra la pantalla principal del sistema donde aparece por omisión la asignación del Administrador del sistema.

Figura 2. R1 Registrar administrador.

Figura 3. R12. Documentos con evidencias de validez de la prueba.

Figura 4. R20. Responder prueba.

El diseño de la interfaz gráfica del sistema incluyó una retícula para cada uno de los usuarios de la prueba, misma que muestra las pantallas diseñadas para cada usuario con sus correspondientes opciones de navegación. Se elaboraron manuales para los diferentes usuarios del sistema basados en el análisis de requerimientos, las retículas y la estructura general del sistema.

Finalmente, se elaboró una representación gráfica de la estructura del sistema, en la que se muestran todos los componentes y funciones de salidea y la incorporación de las aplicaciones externas pagi y parrerc, así como su funcionalidad dentro del sistema. La figura que se muestra a continuación presenta dicha estructura general de salidea.

En la figura se ilustran los requerimientos del sistema que se mencionaron con anterioridad, desde registrar los usuarios hasta entregarles el correspondiente reporte de resultados. También se muestra la forma en que se integran al sistema los programas analíticos pagi y parrerc. Es decir, se observa cómo al momento en que un estudiante responde la prueba, se creará una base de datos que se dividirá en: datos generales sobre los estudiantes que respondieron la prueba y datos sobre su ejecución en ella (las respuestas de los examinados en la prueba), los cuales a su vez se dividirán en: a) datos para análisis psicométricos; b) datos para analizar la ejecución por dominio y subdominio que fueron evaluados, y finalmente c) datos para analizar variables de contexto y su relación con la ejecución, los cuales serán incorporados por las aplicaciones pagi y parrerc, para analizar los resultados y elaborar los reportes de resultados específicos para cada uno de los usuarios.

Conclusiones

Como se comentó al inicio del presente capítulo, el reto principal del diseño de salidea fue lograr que el análisis de requerimientos del sistema atendiera los principales estándares psicométricos que orientan el desarrollo y aplicación de las pruebas; particularmente los correspondientes a la administración en línea de pruebas referidas a un criterio para evaluar el aprendizaje a gran escala. La idea fue incorporar al diseño del sistema dichas recomendaciones, con el fin de propiciar la obtención de evidencias de validez de la prueba y reducir posibles sesgos cuando los estudiantes la respondan. En cuanto a la manera específica en que se atendieron las recomendaciones de los organismos que norman las evaluaciones, tenemos los siguientes componentes que fueron considerados explícitamente en el diseño de salidea.

Respecto a los estándares psicométricos relativos al desarrollo de la prueba, cabe recordar que el foco de Salidea es la administración, no el desarrollo de pruebas. No obstante, en su diseño se consideró necesario que el sistema aportara información y evidencias de validez relacionadas con el contenido de la prueba. En consecuencia, el diseño de Salidea incluyó un componente para que el usuario Administrador incorpore las versiones del examen que se aplicarán, las secciones del manual técnico de la prueba, la documentación sobre la revisión del sesgo y la ofensa, así como el análisis psicométrico de los ítems y versiones, entre otros documentos que debe aportar la instancia que desarrolló la prueba.

En consecuencia, el diseño de salidea incorpora una sección al inicio de la prueba que proporciona al examinado información sobre los propósitos de la prueba, una descripción sobre la importancia de lo que se pretende medir, sobre cómo se seleccionaron los contenidos cuyo dominio se evalúa; o bien, proporciona instrucciones para responder o ejemplos de ítems que aparecen en la prueba, entre otros elementos. Con ello, una vez que el sistema se desarrolle estará en condiciones de ofrecer al examinado una prueba a responder y también información relacionada con ella que le resulte significativa y propicie su interés para responder el examen con seriedad. Lo mismo sucede con otros usuarios del sistema, como padres, profesores y directivos escolares, a quienes se ofrece información general y técnica sobre el instrumento que puede ser de su interés.

En cuanto a la atención de los estándares psicométricos relativos a la administración de las pruebas, que es el foco principal de este trabajo, el diseño de salidea consideró desde un inicio que el Administrador es el usuario central del sistema, y que el cumplimiento de este tipo de estándares resulta indispensable.

Respecto a la atención de los estándares psicométricos relativos a la calificación, análisis, interpretación y comunicación de resultados de la prueba, en principio dicha normatividad establece que el desarrollador de la prueba debe proporcionar la información necesaria, para orientar los análisis de los datos derivados de la prueba y la elaboración de los reportes de resultados obtenidos por grupos de examinados, así como la interpretación de los mismos; incluida también la información sobre quiénes fueron o no incluidos en los diferentes grupos que se comparan, y la información sobre las variables de contexto exploradas que pudieron influir en los resultados y en su interpretación.

Por otro lado, se consideró que le corresponde al desarrollador del examen especificar los usos apropiados de los resultados de la prueba y advertir a los usuarios sobre malos usos potenciales. Esta información debe ser oportuna, por lo que debe ser proporcionada antes de que se publiquen los resultados de la prueba, y estar escrita de manera simple y clara, para que sea comprendida por el examinado y los demás usuarios de la información. Además, el desarrollador debe proporcionar orientación a los usuarios sobre cómo monitorear el grado en que la prueba está cumpliendo con los fines previstos. En consecuencia, toda esta información deberá ser aportada a fin de que pueda ser incorporada al sistema.

Para ello, en el diseño de salidea se especificó que el Administrador incorpore la información que corresponda a esos aspectos en tres secciones que fueron diseñadas: Documentos con evidencias de validación de la prueba, Resultados y Aviso de privacidad, de modo que todos los usuarios puedan consultarlos en las secciones donde son publicados los resultados.

Respecto a los tipos de análisis y reportes de resultados que se consideraron en el diseño de salidea, en el R15. Análisis y reporte de resultados, se establece que en esta sección es donde se integran las aplicaciones pagi y parrerc que llevan a cabo tres procesos: a) califican el examen; b) calculan los parámetros tanto de los ítems (dificultad, discriminación, correlación punto biserial, funcionamiento de distractores, así como su representación gráfica), como de las versiones de la prueba (confiabilidad, distribución de la dificultad y la discriminación, nivel de ajuste a un modelo tri, etc.) y c) realizan los análisis de la ejecución general en la prueba y en cada una de las áreas de contenido que fueron evaluadas en el instrumento; además de los análisis que relacionan dichas ejecuciones con las variables de contexto que también fueron exploradas.

También se ilustraron varios de los componentes de la interfaz gráfica que fueron diseñados para representar las clases de resultados que el sistema debe presentar a los alumnos, docentes, padres de familia, directivos escolares y autoridades educativas. Además, se mostraron algunas retículas correspondientes a las interfaces gráficas que fueron diseñadas para dichos usuarios, en las cuales aparecen también las clases de datos que les corresponden.

En consecuencia, podemos decir que el diseño de salidea contempla los aspectos básicos considerados en los estándares que norman la calificación, análisis, interpretación y comunicación de resultados de la prueba, restando sólo que el sistema esté funcional y que con ello las aplicaciones pagi y parrerc puedan analizar y reportar los resultados de los ítems y de la prueba.

En cuanto a la atención de los principios y lineamientos del diseño universal de las evaluaciones, es necesario aclarar que algunos de los aspectos normativos que se han comentado a lo largo del presente documento debieron ser considerados previamente por el desarrollador de la prueba.

En cuanto a los aspectos que sí corresponden al sistema y fueron atendidos durante el diseño de salidea, podemos mencionar que se buscó diseñar una navegación simple y consistente, en donde los menús se encuentran organizados de forma lógica, clara y concisa; con enlaces que utilizan texto breve y significativo y a la vez son flexibles y funcionales para personas con habilidades diferentes.

Además, las herramientas y componentes de la interfaz que están disponibles en salidea se diseñaron cuidadosamente con base en dicha normatividad. Por ejemplo, se maximizó el contraste: utilizando un fondo color blanco y en los menús un gris tenue; y letras de color negro para que se puedan leer y ubicar las opciones con facilidad. Se utilizó la fuente aphont, de 14 puntos, recomendada por la Imprenta Americana para Ciegos, entre muchos otros aspectos que fueron considerados.

De esta manera, a partir de lo que se comentó anteriormente, puede concluirse que el diseño de salidea logró atender e incorporar varios de los estándares que se proponen en la literatura especializada para la administración de las pruebas, y que en buena medida se atendieron las recomendaciones que se formulan en el contexto del diseño universal de las evaluaciones. Por lo menos se consideraron las más básicas y las que fueron relativamente fáciles de plasmar en el diseño.

Por otra parte, resultó más difícil incorporar en el diseño las recomendaciones derivadas de los estándares psicométricos para el desarrollo de las pruebas, y los correspondientes a la calificación, análisis, interpretación y reporte de resultados del examen. Sobre tales aspectos, el diseño de Salidea sólo considera los componentes para integrar los documentos que los desarrolladores deben aportar al usuario Administrador, la sección del sistema donde éste debe incorporarlos y las secciones de la interfaz gráfica donde finalmente pueden consultar los demás usuarios. Eso sucede con los componentes para efectuar análisis y reportes de resultados de la prueba, sobre los cuales únicamente se detallan los tipos de análisis básicos que deben realizarse, tanto psicométricos como los que muestran el logro de los examinados en la prueba, referido a los dominios y subdominios que son evaluados. Sin embargo, nada se dice sobre la estructura de la base de datos relacional que se requiere, ni sobre la interfaz gráfica donde se especifiquen los análisis a realizar o los tipos de datos que integrarán los reportes de resultados que se entregarán a los diferentes usuarios.

Desarrollo futuro

Para una segunda versión de salidea, se considera conveniente agregar los siguientes elementos:

 Nuevos usuarios, como los propios desarrolladores de la prueba que incorporen directamente la documentación técnica de la prueba y reciban del sistema realimentación psicométrica y de otros tipos para el rediseño del instrumento.

 Componentes para facilitar los trabajos de jueceo de comités de examen, como los que convaliden en línea las especificaciones de los ítems o quienes califiquen en línea mediante rúbricas las respuestas a ítems de ensayo.

 Componentes que permitan monitorear la aplicación del examen a distancia, mediante cámaras web que hagan posible que el Administrador pueda resolver problemas y dudas inmediatamente.

 Componentes para atender otros lineamientos del diseño universal, como incorporar audio a los ítems a fin de que estudiantes con limitaciones visuales puedan leer y escuchar el ítem las veces que sea necesario.

 Cuando el sistema diseñado esté funcional, se requiere efectuar un pilotaje previo a su operación, que puede incluir una encuesta de salida a los usuarios, para asegurar que los elementos diseñados con base en la normatividad atiendan sus necesidades de información y resulten funcionales y efectivos.

Bibliografía

Consejo Asesor Externo del Centro Nacional de Evaluación para la Educación Superior (2000). Estándares de Calidad para Instrumentos de Evaluación Educativa. México: Ceneval.

gómez, f. (2011). Análisis de requisitos de software. México: Universidad Autónoma Metropolitana.

Joint Committee on Testing Practices (2014). American Educational Research Association (aera), American Psychological Association (apa) y National Council on Measurement in Education (ncme). Standards for educational and psychological testing. Washington: American Educational Research Association.

Joint Committee on Testing Practices (1999). American Educational Research Association (aera), American Psychological Association (apa) y National Council on Measurement in Education (ncme). Standards for educational and psychological testing. Washington: American Educational Research Association.

Joint Committee on Testing Practices (2004). Code of fair testing practices in education. Washington: American Psychological Association.

thompson, S. J., Johnstone, C. J., y Thurlow, M. L. (2002). Universal design applied to large scale assessments (Synthesis Report 44). Mineápolis: University of Minnesota, National Center on Educational Outcomes. Recuperado el 13 de diciembre de 2014 de http://education.umn.edu/nceo/OnlinePubs/Synthesis44.html

tristan, a. y Vidal, R. (2006). Estándares de calidad para pruebas objetivas. Bogotá: Aula Abierta.