Lees meer over het concept van beoordelingsvalidatie en begrijp het belang ervan voor het verbeteren van de nauwkeurigheid van de evaluatie. Ontdek waarom het een must is voor je RTO.
Als u in de Australische sector voor beroepsonderwijs en -opleiding (VET) werkt, moet u zich aan een bepaalde norm houden bij het beoordelen van de competenties van uw studenten. Het is niet alleen iets dat je doet om je reputatie te behouden, maar het is ook een vereiste van de Australian Skills Quality Authority (ASQA).
De validatie van de beoordeling is een noodzakelijk onderdeel van deze standaard. Er staan bepaalde richtlijnen omheen die je moet volgen als geregistreerde opleidingsorganisatie (RTO) voor bedrijven in beroepsonderwijs en -opleiding. In deze handleiding bespreken we alles wat u moet weten over validatie van beoordelingen.
Evaluatievalidatie is een proces waarbij u de kwaliteit en consistentie van uw beoordelingsinstrumenten, -methoden en -processen bevestigt. De Normen voor RTO's, ingesteld door ASQA, vereisen dat alle RTO's voldoen aan de principes van beoordelingsvalidatie. Dit zorgt ervoor dat uw beoordelingen geldig, betrouwbaar, eerlijk en flexibel zijn.
Clausule 1.8a van de Normen voor RTO's stelt dat de beoordelingssystemen van de RTO in overeenstemming moeten zijn met de vereisten van de gerelateerde door de dierenarts geaccrediteerde cursussen of trainingspakketten.
Ondertussen vereist clausule 1.8b dat de RTO's aan deze regels voldoen.
Bron: Adviesgroep voor het beroepsonderwijs
De bewijsregels zijn de benchmarks die worden gebruikt om te beoordelen of een kandidaat bekwaam is op een bepaald vaardigheids- of kennisgebied. Ze worden beschreven in elk trainingspakket en moeten door de RTO worden gevolgd bij de ontwikkeling van beoordelingsinstrumenten en -processen. Deze regels omvatten:
De Beoordelingsprincipes geef een overzicht van de belangrijkste principes die moeten worden gevolgd bij het ontwerpen en uitvoeren van beoordelingen in het beroepsonderwijs en -opleiding. Ze omvatten ook eerlijkheid, flexibiliteit, validiteit en betrouwbaarheid. Deze principes vereisen ook dat de beoordeling een onderdeel is van het leerproces en niet slechts een eindevaluatie. Studenten moeten ook duidelijke en tijdige feedback krijgen over hun prestaties om hun leerervaring.
Volgens de Standards for RTOS 2015 omvat de validatie van de beoordeling het volgende:
Het wordt aanbevolen om een gestratificeerde willekeurige steekproefbenadering te gebruiken bij het selecteren van kandidaten voor validatie van de beoordeling. De methode omvat het indelen van studenten in verschillende groepen — zoals leerlingen op de campus, stagiaires op het werk en degenen die Recognition of Prior Learning (RPL) volgen — en vervolgens willekeurig een representatieve steekproef uit elke categorie te selecteren voor een diepgaande beoordeling. Na verloop van tijd hebben alle beoordelaars, beoordelingsinstrumentenen methoden moeten in de steekproef worden opgenomen voor uitgebreide validatie. Wanneer u een steekproef selecteert voor validatie van de beoordeling, kunt u rekening houden met de volgende factoren:
Dit zijn echter niet de enige factoren waarmee u rekening moet houden. U kunt ook andere criteria opnemen die specifiek zijn voor uw organisatie of trainingsprogramma's.
Je kunt beoordelingsvalidatie zien als een kwaliteitscontrole voor het hele beoordelingsproces. Het helpt ervoor te zorgen dat wat wordt beoordeeld eerlijk en consistent is en meet ook daadwerkelijk wat het zou moeten zijn.
Zonder validatie bestaat er een reëel risico dat beoordelingen te gemakkelijk of te moeilijk zijn, of gewoon niet in lijn zijn met de verwachtingen van de sector, wat allemaal niet ideaal is voor studenten, werkgevers of opleidingsorganisaties. Aangezien het doel van beroepsonderwijs en -opleiding is om studenten voor te bereiden op het personeelsbestand, houdt validatie van beoordelingen hun vaardigheden in de praktijk onder controle. Het zorgt ervoor dat de beoordelingen een afspiegeling zijn van de werkelijke taken waarmee deze leerlingen in hun respectieve functie te maken zullen krijgen. Het belangrijkste is dat voor RTO's validatie van beoordelingen een niet-onderhandelbaar onderdeel is van de naleving van de normen voor RTO's. Validatie helpt ook om zwakke punten in beoordelingsinstrumenten of -processen op te sporen voordat ze grotere problemen worden. Als je niet regelmatig valideert, weet je pas of je beoordelingen effectief zijn als het te laat is en studenten al ernstige gevolgen hebben ondervonden.
De validatie van de beoordeling moet worden uitgevoerd door mensen die over de juiste kennis en ervaring beschikken om effectieve en zinvolle validaties uit te voeren. Deze personen kunnen onder meer zijn:
Degene die de validatie uitvoert, moet de vereisten voor de beoordeling grondig begrijpen. Ze moeten ook bekend zijn met de praktijken en normen in de sector. Als er specifieke wettelijke vereisten zijn voor de sector, moet daar tijdens het validatieproces ook rekening mee worden gehouden.
Als RTO volgt hier een stapsgewijze handleiding voor het uitvoeren van effectieve validatie van beoordelingen.
Eerst moet u een validatieschema opstellen waarin staat wanneer en hoe vaak validaties zullen worden uitgevoerd. U kunt dit baseren op de trainings- en beoordelingskalender van uw organisatie. Als er wettelijke vereisten zijn, houd daar dan ook rekening mee. Het schema moet ook de specifieke beoordelingen of trainingsprogramma's bevatten die tijdens elke sessie worden gevalideerd. ASQA heeft er enkele herkend systemische risico's met beroepsonderwijs en -opleiding op bepaalde gebieden, waaronder de bouw, voor- en vroegschoolse educatie, ouderenzorg en gemeenschapszorg, en meer. Om elkaar te ontmoeten Clausule 1.10, zult u op deze gebieden vaker validatie moeten uitvoeren.
In dit plan moet u het volgende opnemen:
Zoals we hierboven hebben uitgelegd, moet de steekproef statistisch geldig zijn. Het moet de diversiteit binnen het cohort weerspiegelen en alle competentie-eenheden binnen het trainingspakket omvatten.
Houd het bewijsmateriaal bij dat tijdens het validatieproces is verzameld, zoals observatieformulieren, interviewnotities, beoordelingsdocumenten en schriftelijke feedback van beoordelaars en leerlingen. Zorg ervoor dat het bewijs in overeenstemming is met de bewijsregels en de beoordelingsprincipes.
Na het verzamelen en vastleggen van het validatiebewijs, analyseer de resultaten. Zoek naar patronen of trends in de gegevens die kunnen wijzen op verbeterpunten.
Houd rekening met de feedback van beoordelaars en leerlingen om mogelijke veranderingen te identificeren die mogelijk nodig zijn in het beoordelingsproces.
Volg vervolgens de aanbevelingen om verbeteringen aan te brengen. U kunt bijvoorbeeld:
De manier waarop u deze aanbevelingen implementeert, hangt af van de aard en de impact ervan. Als uit de validatie van uw beoordeling bijvoorbeeld blijkt dat uw huidige beoordelingsinstrumenten niet voldoen aan de vereisten van het trainingspakket, moet u mogelijk nieuwe tools ontwikkelen of bestaande tools aanpassen. AI-gestuurde verbeteringen kunnen uw inspanningen op dit gebied verder aanvullen. Een goed voorbeeld komt van Coursebox, een door AI aangedreven trainingsplatform met ingebouwde AI-beoordelingsfuncties. De AI-beoordelaar geeft feedback aan leerlingen op basis van de beoordelingscriteria die je hebt geselecteerd.
Bovendien maakt de AI-quizgenerator beoordelingen met behulp van dezelfde samengestelde vragenbank, waardoor de consistentie behouden blijft en trainers het gedoe van handmatig uitvoeren van tests worden bespaard. Je kunt ook interactieve inhoud toevoegen aan je cursussen, zoals tabbladen, accordeons, flashcards, video's, sociale discussies en meer.
Al met al verbetert Coursebox de efficiëntie van je trainingsproces en helpt het je om effectieve beoordelingen te geven. Het kan dus net de verbeteringen zijn die nodig zijn om tegemoet te komen aan de feedback die je hebt gekregen van beoordelaars en leerlingen.
Op dezelfde manier kunt u, als uit de validatieresultaten blijkt dat de beoordelingscriteria verbeterd moeten worden, uw markeringsrubrieken aanpassen of uw beoordelingsmethoden aanpassen om ze nauw af te stemmen op de leerresultaten.
Op basis van de richtlijnen van ASQA is het duidelijk dat validatie van beoordelingen een must is voor RTO's in Australië. De stapsgewijze procedure die we hierboven hebben besproken, kan u helpen uw validatiefrequentie onder controle te houden. Volgens de normen voor RTOS 2015 moet een RTO zijn producten elke vijf jaar valideren. Dit zijn echter de minimumvereisten waaraan u moet voldoen. U kunt uw producten altijd vaker valideren, vooral als u actief bent in een dynamische sector waar regelmatig nieuwe informatie en praktijken naar voren komen.
