O que é validação de avaliação e por que você precisa dela

Se você estiver no setor australiano de Educação e Treinamento Vocacional (VET), precisará manter um determinado padrão na avaliação das competências de seus alunos. Não é apenas algo que você faz para manter sua reputação, mas também é um requisito definido pela Australian Skills Quality Authority (ASQA).

A validação da avaliação é uma parte imperativa desse padrão. Ele tem certas diretrizes que você precisa seguir como organização de treinamento registrada (RTO) ou negócios de VET. Neste guia, discutimos tudo o que você precisa saber sobre a validação da avaliação.

O que é validação de avaliação?

A validação da avaliação é um processo no qual você confirma a qualidade e a consistência de suas ferramentas, métodos e processos de avaliação. O Padrões para RTOs, definidos pela ASQA, exigem que todos os RTOs estejam em conformidade com os princípios de validação da avaliação. Isso garante que suas avaliações sejam válidas, confiáveis, justas e flexíveis.

Cláusula 1.8a do Padrões para RTOs afirma que os sistemas de avaliação do RTO devem estar de acordo com os requisitos dos cursos ou pacotes de treinamento relacionados credenciados pelo VET.

Enquanto isso, a Cláusula 1.8b exige que os RTOs cumpram essas regras.

Fonte: Grupo Consultivo VET

Regras de evidência

As Regras de Evidência são os parâmetros de referência usados para julgar se um candidato é competente em uma determinada habilidade ou área de conhecimento. Eles são descritos em cada pacote de treinamento e devem ser seguidos pelo RTO ao desenvolver ferramentas e processos de avaliação. Essas regras incluem:

• Validade: A ferramenta de avaliação deve medir o que se pretende medir.
• Suficiência: As evidências coletadas devem ser suficientes para comprovar a competência do candidato.
• Autenticidade: A evidência deve ser o trabalho do próprio candidato.
• Moeda: As evidências devem demonstrar conhecimentos e habilidades atuais de acordo com os padrões do setor.
• Confiabilidade: A ferramenta de avaliação deve produzir resultados consistentes para diferentes candidatos.

Princípios de avaliação

O Princípios de avaliação descreva os princípios-chave que devem ser seguidos ao projetar e implementar a avaliação no EFP. Eles também incluem justiça, flexibilidade, validade e confiabilidade. Esses princípios também exigem que a avaliação faça parte do processo de aprendizagem e não apenas uma avaliação final. Os alunos também devem receber feedback claro e oportuno sobre seu desempenho para aprimorar seu experiência de aprendizado.

O que a validação da avaliação inclui?

De acordo com os Padrões para RTOs 2015, a validação da avaliação inclui o seguinte:

• Revisão de uma amostra (estatisticamente válida) dos julgamentos de avaliação feitos pelos avaliadores para cada produto de qualificação ou treinamento no escopo
• Recomendando melhorias futuras para a ferramenta de avaliação
• Agindo de acordo com as recomendações
• Melhorando o processo de avaliação

Recomenda-se usar uma abordagem de amostragem aleatória estratificada ao selecionar candidatos para validação da avaliação. O método envolve categorizar os alunos em grupos distintos — como alunos no campus, estagiários no local de trabalho e aqueles que estão passando pelo Reconhecimento da Aprendizagem Prévia (RPL) — e, em seguida, selecionar aleatoriamente uma amostra representativa de cada categoria para uma análise aprofundada. Com o tempo, todos os avaliadores, ferramentas de avaliação, e os métodos devem ser incorporados à amostra para uma validação abrangente. Ao selecionar uma amostra para validação da avaliação, você pode levar em consideração os seguintes fatores:

• Números de matrículas de estudantes em diferentes programas de treinamento
• Escopo da oferta de treinamento dentro da organização
• Feedback das principais partes interessadas, incluindo estudantes, treinadores e clientes
• Reclamações registradas, formais e informais
• Taxas de conclusão do curso
• Avaliação de risco associada a um produto de treinamento específico
• Modos de entrega de avaliação, como ambientes simulados, avaliações baseadas no local de trabalho ou RPL
• Implementação de novas ferramentas ou atividades de avaliação
• Introdução de novos programas de treinamento
• Engajamento de novos avaliadores

No entanto, esses não são os únicos fatores a serem considerados. Você também pode incorporar outros critérios específicos à sua organização ou aos seus programas de treinamento.

Por que a validação da avaliação é importante?

Você pode pensar na validação da avaliação como uma verificação de qualidade de todo o processo de avaliação. Isso ajuda a garantir que o que está sendo avaliado seja justo e consistente e realmente mede o que deve ser avaliado.

Sem validação, há um risco real de que as avaliações sejam muito fáceis, muito difíceis ou simplesmente não estejam alinhadas com as expectativas do setor, nenhuma das quais é ideal para estudantes, empregadores ou organizações de treinamento. Como o objetivo do VET é preparar os estudantes para a força de trabalho, a validação da avaliação mantém suas habilidades reais sob controle. Isso garante que as avaliações reflitam as tarefas reais que esses alunos enfrentarão em seus respectivos empregos. Mais importante ainda, para RTOs, a validação da avaliação é uma parte inegociável da conformidade com os padrões para RTOs. A validação também ajuda a identificar pontos fracos nas ferramentas ou processos de avaliação antes que se tornem problemas maiores. Se você não realizar validações regulares, não saberá se suas avaliações são eficazes até que seja tarde demais e os alunos já tenham enfrentado consequências terríveis.

Quem conduz a validação da avaliação?

A validação da avaliação deve ser conduzida por pessoas que tenham o conhecimento e a experiência adequados para realizar validações eficazes e significativas. Esses indivíduos podem incluir:

• Membros da equipe que não estavam envolvidos no processo de avaliação original
• Avaliadores qualificados com experiência relevante no setor
• Especialistas ou auditores externos no assunto
• Representantes da indústria

Quem conduz a validação deve compreender completamente os requisitos para a avaliação. Eles também devem estar familiarizados com as práticas e padrões do setor. Se houver algum requisito regulatório específico para o setor, ele também deverá ser levado em consideração durante o processo de validação.

Como realizar uma validação de avaliação eficaz?

Como RTO, aqui está um guia passo a passo sobre como conduzir uma validação de avaliação eficaz.

Etapa 1: criar um cronograma de validação

Primeiro, você deve desenvolver um cronograma de validação que descreva quando e com que frequência as validações serão realizadas. Você pode basear isso no calendário de treinamento e avaliação da sua organização. Se houver algum requisito regulatório, lembre-se também deles. O cronograma também deve incluir as avaliações específicas ou os programas de treinamento que serão validados em cada sessão. A ASQA reconheceu alguns riscos sistêmicos com EFP em determinadas áreas, incluindo construção, educação infantil, cuidados a idosos e comunitários e muito mais. Para conhecer Cláusula 1.10, você precisará realizar a validação nessas áreas com mais frequência.

Etapa 2: criar um plano de validação

Nesse plano, você precisa incluir o seguinte:

• Escopo da validação: Inclua as avaliações específicas ou os programas de treinamento que serão validados, juntamente com o cronograma e quaisquer requisitos regulatórios.
• Membros da equipe envolvidos: Mencione os membros da equipe que estarão envolvidos no processo de validação e suas respectivas funções.
• Métodos de validação: Descreva os métodos que serão usados para validação, como observações, entrevistas e revisão de documentos de avaliação.
• Coleta e análise de dados: Especifique como os dados serão coletados durante a validação.

Etapa 3: selecione uma amostra

Como explicamos acima, a amostra deve ser estatisticamente válida. Deve refletir a diversidade dentro da coorte e abranger todas as unidades de competência do pacote de treinamento.

Etapa 4: Registrar a evidência de validação da avaliação

Acompanhe as evidências coletadas durante o processo de validação, como formulários de observação, notas de entrevistas, documentos de avaliação e feedback por escrito de avaliadores e alunos. Certifique-se de que as evidências estejam alinhadas com as Regras de Evidência e os Princípios de Avaliação.

Etapa 5: Analise os resultados

Depois de coletar e registrar as evidências de validação, analise os resultados. Procure padrões ou tendências nos dados que possam indicar áreas de melhoria.

Considere o feedback dos avaliadores e alunos para identificar possíveis mudanças que possam ser necessárias no processo de avaliação.

Etapa 6: Implementar mudanças

Em seguida, siga as recomendações para fazer melhorias. Por exemplo, você pode:

• Atualize as ferramentas ou processos de avaliação
• Forneça treinamento ou suporte adicional para avaliadores
• Modifique os métodos de avaliação
• Ajuste os critérios de avaliação
• Faça alterações nos recursos de treinamento

A maneira como você implementa essas recomendações dependerá de sua natureza e impacto. Por exemplo, se sua validação de avaliação mostrar que suas ferramentas de avaliação atuais não estão atendendo aos requisitos do pacote de treinamento, talvez seja necessário desenvolver novas ferramentas ou modificar as existentes. As melhorias impulsionadas pela IA podem complementar ainda mais seus esforços nesse sentido. Um bom exemplo vem de Coursebox, uma plataforma de treinamento baseada em IA com recursos integrados de avaliação de IA. Seu avaliador de IA fornece feedback aos alunos com base nos critérios de marcação que você selecionou.

Além disso, o gerador de questionários de IA cria avaliações usando o mesmo banco de perguntas selecionado, mantendo a consistência e poupando aos treinadores o trabalho de fazer testes manualmente. Você também pode adicionar conteúdo interativo em seus cursos, como guias, acordeões, flashcards, vídeos, discussões sociais e muito mais.

Em suma, o Coursebox melhora a eficiência do seu processo de treinamento e ajuda você a oferecer avaliações mais eficazes. Portanto, pode ser apenas a melhoria necessária para lidar com o feedback que você recebeu de avaliadores e alunos.

Da mesma forma, se os resultados da validação mostrarem a necessidade de melhoria nos critérios de avaliação, você poderá ajustar suas rubricas de marcação ou ajustar seus métodos de avaliação para alinhá-los estreitamente aos resultados do aprendizado.

Conclusão

Com base nas diretrizes estabelecidas pela ASQA, fica claro que a validação da avaliação é essencial para RTOs na Austrália. O procedimento passo a passo que discutimos acima pode ajudá-lo a manter o controle de sua frequência de validação. De acordo com os padrões para RTOs 2015, um RTO deve validar seus produtos a cada cinco anos. No entanto, esses são os requisitos mínimos que você deve cumprir. Você sempre pode validar seus produtos com mais frequência, especialmente se você opera em um setor dinâmico em que novas informações e práticas surgem regularmente.