阿摩線上測驗
登入
阿摩線上測驗
登入
學習重點 信度是測量結果的穩定性與一致性；提高信度的重點，是減少隨機測量誤差。 增加同質且品質良好的試題，通常可提高信度。不能只看題數增加，還要看新增題目是否測量相近的能力。 難易適中的試題較能呈現受試者的程度差異，使分數變異量增加，有利於提高測驗信度。一味把題目變簡單，並不是可靠方法。 評分越客觀、一致，越能減少評分誤差。比較選擇題與填充題時，還須留意猜測作答的影響。 分清楚試題同質性與受試者同質性。前者通常有利於內部一致性；後者可能因分數差異縮小而使信度降低。 核心觀念 一、信度：測量結果是否穩定、一致 信度關注測驗結果的可靠程度。例如，在受試者能力沒有明顯改變、測量條件相近的情況下，測得的結果是否大致一致。作答時可抓住兩項判斷原則：減少誤差、增加一致性。 依古典測驗理論，觀察分數由真實分數與誤差分數構成。信度可理解為真實分數變異占觀察分數變異的比例。因此，其他條件相近時有兩個方向： 隨機誤差越小，信度通常越高。 受試者真正的程度差異越能被呈現（真實分數變異越大），也越有利於信度。 信度與效度須分開理解：信度問「測得穩不穩」，效度問「分數的解釋與使用是否適切」。結果一致，不代表一定測到預定的學習能力，所以不能把提高信度直接等同於提高效度。 二、測驗長度：增加同質好題，比單純增加題數重要 在考試範圍、題目品質及其他條件相近時，題數較多的測驗通常信度較高。原因是較多試題能提供更多測量資訊，降低以下偶然因素對總分的影響： 單一題目猜對 作答粗心 個別題目內容特殊 測驗加長後信度的預估，可用斯布公式（Spearman-Brown 公式）推算。加長同質試題，信度會提高；但提升幅度會隨題數增加而逐漸趨緩，並不是無限制等比例上升。 增加題數有條件：新增題目應與原測驗性質相近、測量相同或相近的能力，而且品質良好。「增加同質的複本試題」指的是增加測量目標與品質相近的題目，不是把同一道題原封不動重複出現。 例如，原有三十道試題，再加入十道性質相似的新編好題。在其他條件相近的情況下，整份測驗的信度最可能提高，因為新增的同質試題能降低測驗誤差。考題問的是一般測驗理論下的預期方向，不必因為沒有提供實際信度係數，就認為無法判斷。 若新增題目與原本測量目標無關、題意含糊或品質不佳，就不能套用「題數越多，信度越高」。完整原則應記成：增加同質且優良的題目，通常可提高信度。在常見選項中，「增加同質的複本試題數量」通常是最足以提高信度的做法。 三、試題難度：適中較有利，不是越簡單越好 試題難度通常以答對率表示：答對率越高，題目越容易；答對率越低，題目越困難。判讀時要特別留意，難度指標數值大，通常代表題目容易。 題目太簡單時多數人都答對，太困難時多數人都答錯，兩種情況都難以呈現受試者的程度差異，分數會過度集中。難易適中的題目（答對率約在中間程度）較能讓不同程度者表現出差異，增加受試者分數的變異量，使測驗結果更穩定一致，因此有利於提高信度。 所以，「降低試題難度」不能直接視為提高信度的方法。原本過難的題目，調整至適中可能有幫助；但原本已適中的題目若再降低難度而變得過易，反而會減少分數差異。判斷關鍵是難度是否適中、是否適合受試者程度，而不是單向追求容易。 四、題型與評分：客觀評分及猜測影響都要看 評分標準明確、不同評分者能給出一致分數，就能減少評分誤差。相反地，若評分過度依賴個人印象，或同一答案可能因評分者不同而得到不同分數，就不利於信度。因此，採主觀的測驗題型並不能提高信度。 選擇題與答案明確的填充題，都可以客觀評分。兩者的差別在於猜測： 填充題需要自行寫出答案，若答案範圍明確，較不易單靠猜測答對。 選擇題可從選項中猜測，較容易受猜測作答影響而增加誤差。 在考試範圍、題目品質相同的比較情境中，可依序結合兩項條件判斷： 題數較多者，信度較高。 題數相同時，評分客觀且猜測影響較小的填充題較有利。 兩項條件都占優勢的「題數較多的填充題測驗」，信度最高。但不能把這項比較擴張成「所有填充題必定優於所有選擇題」，前提仍是答案明確、評分一致、題目品質相當。 五、同質的是題目，還是受試者？ 比較項目意義與信度判斷 增加同質試題增加測量相同或相近能力的好題，通常可提升信度。 增加異質試題加入與原測量目標不同或無關的題目，不能保證提高信度，也可能降低內部一致性。 選擇程度相當（同質）的受試者分數範圍受限、個別差異縮小，信度係數可能降低，不是提高信度的方法。 受試者程度差異較大（異質）在測量誤差相近時，較容易呈現個別差異，信度係數也可能較高。 增加受試者人數有助於信度估計的精確性，但不等於測驗本身的信度必然提高。 看到「同質」兩字，務必先確認修飾的是試題還是受試者：試題同質有利於信度，受試者同質則不利於信度。 六、提高信度的方法整理 有利於提高信度不能作為提高信度的通則 增加同質、品質良好的試題（加長測驗）增加異質、無關或品質不佳的試題 選擇難易適中的題目一味降低試題難度 採客觀計分、評分規準明確採主觀的測驗題型 減少猜測作答的機會只延長施測時間 受試者程度具有適當差異刻意找程度相當（同質）的受試者 常考陷阱 「題數增加，信度一定提高」：漏掉同質性與品質條件。增加無關、含糊或劣質的題目，不能保證提高信度。 「增加異質性題數，可以提高信度」：測量不同能力的題目不能當成同質複本試題。題數增加與內部一致性提高不是同一件事。 「降低難度就能提高信度」：應選難易適中、能拉開分數差異的題目；過易與過難都會使分數過度集中。 「找程度相當的人施測，結果更一致，所以信度更高」：這是把受試者分數接近誤認為測量可靠。受試者同質會使分數變異縮小，信度反而可能降低。 「採主觀題型可以提高信度」：主觀判斷會增加評分誤差。提高信度應重視評分客觀、規準明確與評分一致。 「填充題必然比選擇題可靠」：須先確認答案明確、評分一致，再考慮猜測影響，也不能忽略題數。題數多寡是首要判斷，題型是題數相同時的進一步比較。 「延長施測時間最能提高信度」：原本時間不足時，適度延長可能減少時間壓力造成的誤差；但時間已足夠時，延長未必有效。與增加同質優良試題相比，它不是一般情況下最直接的答案。 「沒有實測資料，就不能判斷加題後的方向」：題目已說明新增題目與原測驗性質相近時，便可依理論判斷信度通常提高。要知道精確增加多少，才需要更多資料。 「加題後信度會減少或不變」：同質新題能降低誤差，信度預期上升，不會因為題數變多而下降。 記憶口訣 「同質好題加，難度取適中；評分要客觀，信度往上升。」 「題目同質有幫助，人員同質別誤讀。」看到「同質」，先辨認對象，再判斷對信度的影響。 「先比題數，再比猜測。」比較不同題型與題數的測驗時，題數多者優先；題數相同時，猜測影響小、評分客觀者較佳。