評価検証とは何か、なぜ必要なのか

オーストラリアの職業教育訓練（VET）部門に所属している場合、学生の能力を評価する際には一定の基準を守る必要があります。これは単に評判を維持するためだけではなく、オーストラリア技能品質局 (ASQA) が定める要件でもあります。

評価検証はこの規格の必須部分です。この規格には、従う必要のある特定のガイドラインがあります。 登録研修機関 (RTO) またはVETビジネス。このガイドでは、評価検証について知っておくべきことをすべて説明します。

評価検証とは

評価検証は、評価ツール、方法、およびプロセスの品質と一貫性を確認するプロセスです。は RTO のスタンダードは ASQA が定めたもので、すべての RTO が評価検証の原則に準拠することを義務付けています。そうすることで、評価の有効性、信頼性、公平性、柔軟性が保証されます。

の第1.8a項 RTO のスタンダード RTOの評価システムは、関連するVET認定コースまたはトレーニングパッケージの要件に沿ったものでなければならないと述べています。

一方、第1.8b条では、RTOがこれらの規則を満たすことが義務付けられています。

ソース: VET諮問グループ

証拠規則

エビデンスルールは、候補者が特定のスキルまたは知識分野で有能かどうかを判断するために使用されるベンチマークです。これらは各トレーニングパッケージで概説されており、評価ツールやプロセスを開発する際にはRTOに従う必要があります。これらの規則には以下が含まれます。

• 有効性: 評価ツールは、測定対象を測定する必要があります。
• 十分: 収集された証拠は、候補者の能力を証明するのに十分でなければなりません。
• 真正性: 証拠は候補者自身の作品でなければなりません。
• 通貨: エビデンスは、業界標準に沿った現在の知識とスキルを実証するものでなければなりません。
• 信頼性: 評価ツールは、さまざまな候補者に対して一貫した結果を生成する必要があります。

評価の原則

ザの 評価の原則 VETで評価を設計および実施する際に従うべき主な原則を概説します。また、公平性、柔軟性、妥当性、信頼性も含まれています。これらの原則では、評価は単なる最終評価ではなく、学習プロセスの一部であることが求められています。また、生徒は自分のパフォーマンスについて明確でタイムリーなフィードバックを受け取り、成績を向上させる必要があります。 学習体験。

評価検証には何が含まれますか？

2015 年の RTO 標準によると、評価検証には以下が含まれます。

• 対象となる資格またはトレーニング製品ごとに評価者が下した評価判断のサンプル（統計的に有効）のレビュー
• 評価ツールの今後の改善点の提案
• 推奨事項に基づいて行動する
• 評価プロセスの改善

評価検証の候補を選択するときは、層別ランダムサンプリングアプローチを使用することが推奨されます。この方法では、学生をキャンパス内の学習者、職場での研修生、事前学習の認定（RPL）を受けている学生など、個別のグループに分類し、各カテゴリから代表的なサンプルをランダムに選択して詳細なレビューを行います。時間が経つにつれて、すべての評価者は、 評価ツール、包括的な検証を行うには、メソッドをサンプルに組み込む必要があります。評価検証用のサンプルを選択する際には、以下の要素を考慮に入れることができます。

• さまざまな研修プログラムにおける学生登録数
• 組織内での研修実施範囲
• 学生、トレーナー、クライアントなどの主要な利害関係者からのフィードバック
• 公式および非公式の両方の記録された苦情
• コース修了率
• 特定のトレーニング製品に関連するリスク評価
• 評価提供モード (シミュレートされた環境、職場ベースの評価、RPL など)
• 新しい評価ツールまたはアクティビティの実装
• 新しい研修プログラムの導入
• 新しい評価者の関与

ただし、考慮すべき要素はこれらだけではありません。また、組織や研修プログラムに固有の他の基準を組み込むこともできます。

評価検証が重要な理由

評価検証は、評価プロセス全体の品質チェックと考えることができます。これにより、評価対象が公正かつ一貫していることを確認し、実際に評価すべき内容を測定できます。

検証がなければ、評価が簡単すぎたり、難しすぎたり、業界の期待に沿わなかったりするリスクがあり、いずれも学生、雇用主、または研修機関にとって理想的ではありません。VETの目標は学生が労働力に備えることであるため、評価検証は学生の実際のスキルをチェックします。これにより、学習者がそれぞれの仕事で直面する実際の課題が評価に反映されるようになります。RTOにとって最も重要なことは、評価の検証はRTOS基準の遵守において譲ることのできない部分であるということです。検証は、評価ツールやプロセスの弱点を大きな問題になる前に発見するのにも役立ちます。定期的に検証を行わなければ、手遅れになり、学生はすでに悲惨な結果に直面することになるまで、アセスメントが効果的かどうかはわかりません。

評価検証は誰が実施しますか？

評価検証は、効果的かつ有意義な検証を実施するための適切な知識と経験を持つ担当者が実施する必要があります。これらの個人には以下が含まれる場合があります。

• 当初の評価プロセスに関与していなかったスタッフ
• 関連する業界経験を持つ資格のある評価者
• 外部の対象分野の専門家または監査人
• 業界の代表者

検証を実施する人は誰でも、評価の要件を十分に理解している必要があります。また、業界の慣行や標準にも精通している必要があります。業界に特有の規制要件がある場合は、検証プロセスでそれらも考慮に入れる必要があります。

効果的な評価検証を行うには？

RTO として、効果的な評価検証を実施する方法をステップバイステップでご紹介します。

ステップ 1: 検証スケジュールを作成する

まず、検証をいつ、どのくらいの頻度で実施するかを概説した検証スケジュールを作成する必要があります。これは、組織のトレーニングおよび評価カレンダーに基づいて作成することができます。規制要件がある場合は、それらも念頭に置いてください。スケジュールには、各セッションで検証される特定の評価またはトレーニングプログラムも含める必要があります。ASQAではいくつかの点を認識しています。 システミックリスク 建設、幼児教育、高齢者および地域ケアなど、特定の分野でVETを行っています。会うこと 第 1.10 項、これらの領域ではより頻繁に検証を行う必要があります。

ステップ 2: 検証計画を作成する

この計画には、以下を含める必要があります。

• 検証の範囲: 検証対象となる特定の評価またはトレーニングプログラムを、時間枠や規制要件とともに含めてください。
• 関与するチームメンバー: 検証プロセスに関与するチームメンバーとそれぞれの役割について述べてください。
• 検証方法: 観察、インタビュー、評価文書のレビューなど、検証に使用される方法を概説します。
• データ収集と分析: 検証中にデータを収集する方法を指定します。

ステップ 3: サンプルを選択する

上で説明したように、サンプルは統計的に有効でなければなりません。コホート内の多様性を反映し、トレーニングパッケージに含まれるコンピテンシーのすべてのユニットを網羅している必要があります。

ステップ 4: 評価検証証拠を記録する

観察フォーム、インタビューメモ、評価文書、評価者と学習者からの書面によるフィードバックなど、検証プロセス中に収集された証拠を追跡します。エビデンスがエビデンス規則と評価原則に沿っていることを確認してください。

ステップ 5: 結果を分析する

検証証拠を収集して記録したら、結果を分析します。改善の余地がある領域を示す可能性のあるパターンや傾向がデータにないかを調べます。

評価者と学習者からのフィードバックを検討して、評価プロセスで必要になる可能性のある変更を特定します。

ステップ 6: 変更を実装する

次に、推奨事項に従って改善を行います。たとえば、次のことが可能になります。

• 評価ツールまたはプロセスの更新
• 評価者に追加のトレーニングまたはサポートを提供する
• 評価方法の変更
• 評価基準の調整
• トレーニングリソースに変更を加える

これらの推奨事項をどのように実装するかは、その性質と影響によって異なります。たとえば、評価検証の結果、現在の評価ツールがトレーニングパッケージの要件に適合していないことが判明した場合は、新しいツールを開発するか、既存のツールを変更する必要があります。この点に関する取り組みは、人工知能主導の改善によってさらに補完されます。良い例は次のようなものです。 コースボックスは、AI 評価機能が組み込まれた AI を活用したトレーニングプラットフォームです。AI グレーダーは、選択した採点基準に基づいて学習者にフィードバックを提供します。

さらに、AIクイズジェネレーターは、厳選された同じ質問バンクを使用して評価を作成するため、一貫性が保たれ、トレーナーが手動でテストを行う手間が省けます。タブ、アコーディオン、フラッシュカード、ビデオ、ソーシャルディスカッションなどのインタラクティブなコンテンツをコースに追加することもできます。

全体として、Courseboxはトレーニングプロセスの効率を高め、より効果的な評価を行うのに役立ちます。つまり、評価者や学習者から受け取ったフィードバックに応えるために必要な改善だけかもしれません。

同様に、検証結果から評価基準の改善の必要性が示された場合は、採点ルーブリックを微調整したり、学習成果と密接に一致するように評価方法を調整したりできます。

結論

ASQAが設定したガイドラインに基づくと、オーストラリアのRTOには評価の検証が必須であることは明らかです。上で説明した段階的な手順は、検証頻度を常に把握するのに役立ちます。RTOS 2015 基準によると、RTO は 5 年ごとに製品を検証する必要があります。ただし、これらはお客様が満たすべき最低要件です。特に、新しい情報や慣行が定期的に出現するダイナミックな業界で事業を行っている場合は、常に製品の検証を頻繁に行うことができます。