定錨評量:制定一套評分標準或評分量尺,予評審參考依據,以減少評審主觀評分。
提升信度的一項作法是進行評分者之間的互評和校核:
互評:安排評分者之間進行互評,即互相評估同一份作文,以確認他們對作文的評分一致性。這可以透過分組討論、集體評估或交換評分結果的方式進行。通過互評,評分者可以相互了解彼此的評分標準和觀點,並提出疑問或解釋,以達到更高的一致性和可靠性。
校核:進行校核是指將部分作文從評分者手中隨機選取,由其他評分者進行再評分,以驗證原始評分的準確性。校核的結果將與原始評分進行比對和分析,以確定評分的一致性和準確性。如果發現評分者之間存在明顯的差異或偏差,可以進一步進行解釋或重新培訓。
理由:
一致性和可靠性:進行評分者之間的互評和校核可以提高評分的一致性和可靠性。通過互評,評分者可以相互了解彼此的評分標準和觀點,確保評分標準的一致性。校核可以驗證評分的準確性,確保評分者在評估作文時能夠達到一致的結果,減少主觀偏差的可能性。
提升信任度:透過互評和校核,可以提高評分的信任度。參賽者和其他利益相關者對於評分的公正性和可信度更有信心,因為評分結果經過多個評分者的審核和驗證。這有助於建立公正、透明和可接受的評分制度。