Qué es la validación de la evaluación y por qué la necesita

Si trabajas en el sector australiano de educación y formación profesional (VET), tendrás que mantener un cierto estándar a la hora de evaluar las competencias de tus alumnos. No es solo algo que haces para mantener tu reputación, sino que también es un requisito establecido por la Autoridad Australiana de Calidad de las Habilidades (ASQA).

La validación de la evaluación es una parte imprescindible de esta norma. Contiene ciertas pautas en torno a él que debe seguir como organización de formación registrada (RTO) o negocio VET. En esta guía, analizamos todo lo que necesita saber sobre la validación de las evaluaciones.

¿Qué es la validación de la evaluación?

La validación de la evaluación es un proceso en el que se confirma la calidad y la coherencia de las herramientas, los métodos y los procesos de evaluación. El Estándares para RTO, establecidos por la ASQA, exigen que todos los RTO cumplan con los principios de validación de las evaluaciones. De este modo, se garantiza que las evaluaciones sean válidas, fiables, justas y flexibles.

Cláusula 1.8a de la Estándares para RTO establece que los sistemas de evaluación de la RTO deben estar en línea con los requisitos de los cursos o paquetes de capacitación acreditados por la EFP relacionados.

Mientras tanto, la cláusula 1.8b exige que los RTO cumplan con estas reglas.

Fuente: Grupo asesor VET

Reglas de evidencia

Las Reglas de Evidencia son los puntos de referencia utilizados para juzgar si un candidato es competente en una habilidad o área de conocimiento en particular. Se describen en cada paquete de capacitación y la RTO debe seguirlas al desarrollar herramientas y procesos de evaluación. Estas reglas incluyen:

• Validez: La herramienta de evaluación debe medir lo que se pretende medir.
• Suficiencia: La evidencia recopilada debe ser suficiente para demostrar la competencia del candidato.
• Autenticidad: La evidencia debe ser obra del propio candidato.
• Moneda: La evidencia debe demostrar los conocimientos y habilidades actuales de acuerdo con los estándares de la industria.
• Fiabilidad: La herramienta de evaluación debe producir resultados consistentes para los diferentes candidatos.

Principios de evaluación

El Principios de evaluación delinear los principios clave que deben seguirse al diseñar e implementar la evaluación en la EFP. También incluyen la equidad, la flexibilidad, la validez y la confiabilidad. Estos principios también requieren que la evaluación sea parte del proceso de aprendizaje y no solo una evaluación final. Los estudiantes también deben recibir comentarios claros y oportunos sobre su desempeño para mejorar su experiencia de aprendizaje.

¿Qué incluye la validación de la evaluación?

De acuerdo con los estándares de RTO 2015, la validación de la evaluación incluye lo siguiente:

• Revisar una muestra (estadísticamente válida) de los juicios de evaluación emitidos por los evaluadores para cada calificación o producto de capacitación incluido en el alcance
• Recomendar mejoras futuras para la herramienta de evaluación
• Actuar sobre la base de las recomendaciones
• Mejora del proceso de evaluación

Se recomienda utilizar un enfoque de muestreo aleatorio estratificado al seleccionar a los candidatos para la validación de la evaluación. El método consiste en clasificar a los estudiantes en grupos distintos (por ejemplo, los estudiantes que estudian en el campus, los alumnos en prácticas que trabajan y los que están recibiendo el reconocimiento del aprendizaje previo (RPL), y luego seleccionar al azar una muestra representativa de cada categoría para analizarla en profundidad. Con el tiempo, todos los evaluadores, herramientas de evaluación, y los métodos deben incorporarse a la muestra para una validación completa. Al seleccionar una muestra para la validación de la evaluación, puede tener en cuenta los siguientes factores:

• Cifras de matriculación de estudiantes en los diferentes programas de formación
• Alcance de la capacitación impartida dentro de la organización
• Comentarios de las principales partes interesadas, incluidos estudiantes, formadores y clientes
• Denuncias registradas, tanto formales como informales
• Tasas de finalización del curso
• Evaluación de riesgos asociada a un producto de formación específico
• Modos de entrega de evaluaciones, como entornos simulados, evaluaciones basadas en el lugar de trabajo o RPL
• Implementación de nuevas herramientas o actividades de evaluación
• Introducción de nuevos programas de formación
• Participación de nuevos evaluadores

Sin embargo, estos no son los únicos factores a tener en cuenta. También puedes incorporar otros criterios que sean específicos de tu organización o de tus programas de capacitación.

¿Por qué es importante la validación de la evaluación?

Puede pensar en la validación de la evaluación como un control de calidad de todo el proceso de evaluación. Ayuda a garantizar que lo que se evalúa sea justo y coherente y, de hecho, mide lo que se supone que debe evaluar.

Sin la validación, existe un riesgo real de que las evaluaciones sean demasiado fáciles, demasiado difíciles o simplemente no se ajusten a las expectativas de la industria, ninguna de las cuales es ideal para los estudiantes, los empleadores o las organizaciones de formación. Dado que el objetivo de la FP es preparar a los estudiantes para el mercado laboral, la validación de la evaluación mantiene sus habilidades en el mundo real bajo control. Garantiza que las evaluaciones reflejen las tareas reales a las que se enfrentarán estos alumnos en sus respectivos puestos de trabajo. Lo que es más importante, para los RTO, la validación de las evaluaciones es una parte no negociable del cumplimiento de las normas para los RTO. La validación también ayuda a detectar las debilidades en las herramientas o los procesos de evaluación antes de que se conviertan en problemas mayores. Si no realizas validaciones con regularidad, no sabrás si tus evaluaciones son eficaces hasta que sea demasiado tarde y los estudiantes ya se hayan enfrentado a graves consecuencias.

¿Quién lleva a cabo la validación de la evaluación?

La validación de la evaluación debe ser realizada por personas que tengan los conocimientos y la experiencia adecuados para llevar a cabo validaciones eficaces y significativas. Estas personas pueden incluir:

• Miembros del personal que no participaron en el proceso de evaluación original
• Asesores calificados con experiencia relevante en la industria
• Auditores o expertos externos en la materia
• Representantes de la industria

Quienquiera que lleve a cabo la validación debe comprender a fondo los requisitos de la evaluación. También deben estar familiarizados con las prácticas y estándares de la industria. Si hay requisitos reglamentarios específicos para la industria, estos también deben tenerse en cuenta durante el proceso de validación.

¿Cómo llevar a cabo una validación de evaluación eficaz?

Como RTO, esta es una guía paso a paso sobre cómo llevar a cabo una validación eficaz de las evaluaciones.

Paso 1: Crear un cronograma de validación

En primer lugar, debe desarrollar un cronograma de validación que describa cuándo y con qué frecuencia se realizarán las validaciones. Puede basarlo en el calendario de formación y evaluación de su organización. Si hay algún requisito reglamentario, téngalo también en cuenta. El cronograma también debe incluir las evaluaciones o los programas de capacitación específicos que se validarán en cada sesión. ASQA ha reconocido algunos riesgos sistémicos con formación profesional en ciertas áreas, como la construcción, la educación de la primera infancia, el cuidado comunitario y de ancianos, y más. Para reunirse Cláusula 1.10, tendrás que realizar validaciones en estas áreas con más frecuencia.

Paso 2: Crear un plan de validación

En este plan, debes incluir lo siguiente:

• Alcance de la validación: Incluya las evaluaciones o los programas de capacitación específicos que se validarán, junto con el plazo y los requisitos reglamentarios.
• Miembros del equipo involucrados: Mencione a los miembros del equipo que participarán en el proceso de validación y sus funciones respectivas.
• Métodos de validación: Describa los métodos que se utilizarán para la validación, como las observaciones, las entrevistas y la revisión de los documentos de evaluación.
• Recopilación y análisis de datos: Especifique cómo se recopilarán los datos durante la validación.

Paso 3: Seleccione una muestra

Como hemos explicado anteriormente, la muestra debe ser estadísticamente válida. Debe reflejar la diversidad dentro de la cohorte y cubrir todas las unidades de competencia del paquete de capacitación.

Paso 4: Registrar la evidencia de validación de la evaluación

Lleve un registro de la evidencia recopilada durante el proceso de validación, como los formularios de observación, las notas de las entrevistas, los documentos de evaluación y los comentarios escritos de los evaluadores y los alumnos. Asegúrese de que la evidencia se alinee con las reglas de evidencia y los principios de evaluación.

Paso 5: Analizar los resultados

Después de recopilar y registrar la evidencia de validación, analice los resultados. Busque cualquier patrón o tendencia en los datos que pueda indicar áreas de mejora.

Tenga en cuenta los comentarios de los evaluadores y los alumnos para identificar los posibles cambios que podrían ser necesarios en el proceso de evaluación.

Paso 6: Implementar cambios

A continuación, siga las recomendaciones para realizar mejoras. Por ejemplo, puedes hacer lo siguiente:

• Actualizar las herramientas o los procesos de evaluación
• Brindar capacitación o apoyo adicionales a los evaluadores
• Modificar los métodos de evaluación
• Ajustar los criterios de evaluación
• Realizar cambios en los recursos de formación

La forma en que implemente estas recomendaciones dependerá de su naturaleza e impacto. Por ejemplo, si la validación de tu evaluación muestra que tus herramientas de evaluación actuales no se ajustan a los requisitos del paquete de formación, es posible que tengas que desarrollar nuevas herramientas o modificar las existentes. Las mejoras impulsadas por la inteligencia artificial pueden complementar aún más tus esfuerzos en este sentido. Un buen ejemplo proviene de Caja de curso, una plataforma de formación basada en inteligencia artificial con funciones de evaluación de la IA integradas. Su calificador con IA proporciona comentarios a los alumnos en función de los criterios de calificación que hayan seleccionado.

Además, el generador de cuestionarios de IA crea evaluaciones utilizando el mismo banco de preguntas seleccionado, lo que mantiene la coherencia y ahorra a los formadores la molestia de realizar las pruebas manualmente. También puedes añadir contenido interactivo a tus cursos, como pestañas, acordeones, tarjetas didácticas, vídeos, debates sociales y mucho más.

En definitiva, Coursebox mejora la eficiencia de tu proceso de formación y te ayuda a ofrecer evaluaciones más eficaces. Por lo tanto, puede ser justo la mejora necesaria para abordar los comentarios que has recibido de los evaluadores y alumnos.

Del mismo modo, si los resultados de la validación muestran la necesidad de mejorar los criterios de evaluación, puede modificar las rúbricas de calificación o ajustar los métodos de evaluación para alinearlos estrechamente con los resultados del aprendizaje.

Conclusión

Según las directrices establecidas por la ASQA, está claro que la validación de las evaluaciones es imprescindible para los RTO en Australia. El procedimiento gradual que hemos analizado anteriormente puede ayudarte a controlar la frecuencia de validación. De acuerdo con las normas de RTO de 2015, un RTO debe validar sus productos cada cinco años. Sin embargo, estos son los requisitos mínimos que debes cumplir. Siempre puedes validar tus productos con más frecuencia, especialmente si trabajas en un sector dinámico en el que surgen nuevas prácticas e información con regularidad.