教甄◆教育專業科目-國小題庫下載題庫

評分者信度Scorer Reliability

有些測驗的評分會受到評分者主觀判斷的影響，如創造思考測驗、論文式測驗、投射測驗等。因此有必要提供評分者間的評分者信度，以做為使用者的參考。評分者信度的計算方法，是從測驗卷中抽取一些樣本，由兩位或兩位以上評分者對每一分試卷評分，然後根據所評的分數求相關，求得的相關係數就是評分者信度。如果評分者是以等級評分，則可以求斯皮曼等級相關(Spearman Rank Correlation)係數；如果評分者是以連續性分數評分，或以等級評分但同等級太多，則可以求皮爾遜積差相關係數。如果評分者超過兩位，則以肯德爾和諧係數(Kendall coefficient of Concordance)求評分者信度。 　　

評分者信度誤差的主要來源是評分者主觀判斷所造成的誤差，因此應盡量提高評分標準和步驟的客觀性。一般來說，評分者信度低的測驗，其另外各種信度必然也低，因此評分者信度可做為其他各種信度的上限。

Pearson積差相關                兩人   等距資料(分數)

Spearman等級相關             兩人   等級資料(名次)

Kendall和諧係數           兩人以上  等級資料(名次)

Hoyt法(變異數分析)      兩人以上 等距資料(分數)