阿摩線上測驗
登入
阿摩線上測驗
登入
學習重點 信度指測驗結果的一致性、穩定性與可靠性；效度指分數的解釋與使用是否適切。 掌握真分數理論、各種信度估計方法及斯布公式，分清重測穩定性、內部一致性與評分一致性。 提高信度的主要方向：增加同質優良試題、難度適中、評分客觀化；團體異質性也會影響信度係數。 信度是效度的必要條件，但不是充分條件；選擇測驗時首重效度。 能判斷「結果一致但試題超綱」與「趣味測驗獲得好評」等情境，避免把一致性、受歡迎程度當成效度。 核心觀念 一、信度、效度與評量的意義 信度關心測量結果是否一致、穩定，隨機誤差是否夠小；效度關心能否依測驗分數，對預定特質或學習成果作出適切推論。結果反覆一致，不代表測到了原本想測的內容。 效度針對特定目的、對象及情境下的分數解釋與使用，不是測驗工具固定不變的標籤。同一份測驗適合某種用途，不代表適合所有用途。 評量包含蒐集、解釋資料及作出判斷，可使用量化與質性資料，目的包括診斷、回饋與改進教學，不只是量化，也不只為了評鑑。標準化測驗仍須經過信度與效度的考驗，不能只因施測程序一致，就認定品質良好。 二、真分數理論：信度看的是變異比例 古典測驗理論以觀察分數 X＝真分數 T＋誤差分數 E表示測量結果。在真分數與誤差不相關的假設下，觀察分數變異＝真分數變異＋誤差變異。 信度＝真分數變異／觀察分數變異＝1－誤差變異／觀察分數變異。它是團體分數的變異比例，不是某位學生的真分數除以實得分數，也不是「真分數中共同因素所占的比例」。 真分數所反映的穩定差異，可能包含與測量目的無關的成分，因此信度高仍可能效度低。也不要把效度係數直接當成共同變異比例；在相關分析中，相關係數的平方才表示相應的共享變異比例。 三、信度的估計方法 方法做法與判斷重點 重測信度同一群人接受同一測驗兩次，計算兩次分數的相關，又稱穩定係數。 複本信度同一群人接受兩份等值測驗，考察兩份分數的一致性；若間隔施測，兼含穩定與等值的意義。 折半信度一次施測後分成兩半，求兩半分數相關，再用斯布公式估計全份測驗信度。 庫李信度KR-20、KR-21屬內部一致性估計，適用對錯等二元計分資料；KR-21的假設較嚴格。 Cronbach α以各題及總分的變異數估計內部一致性，可用於多點計分資料。 評分者信度考察不同評分者對相同作答的評分一致程度，問答、作文與實作評量尤其需要注意。 並非所有信度估計都直接計算兩組分數的相關。重測、複本常用相關；庫李與α則依試題及總分變異數等資料計算。效度證據也不全以相關係數表示，例如內容證據可來自課程對照、雙向細目表與專家審查。 折半結果會隨分半方式改變，因此折半信度不一定低於α，不能認定兩者有固定大小關係。 四、斯布公式與測驗長度 斯布公式用於估計測驗長度改變後的信度。若原信度為 r，題數變為原來的 n 倍，則新信度＝nr／［1＋（n－1）r］。 折半校正時，若兩半相關為 r，則全份信度＝2r／（1＋r）。例如兩半相關為 .60，校正後為 .75。 使用前提是新增試題品質與原測驗相當，且測量相同目標。「使用相關係數的校正公式」可使全份信度得到適當估計，但公式校正不等於實際改善試題品質。 五、影響信度的因素與改善方法 因素一般判斷原則 題數在內容同質、品質相當且不致過度疲勞的條件下，增加題數通常提高信度。「測驗加長」指題數增加，不是題幹寫得更長。 團體異質性其他條件相近時，能力差異及分數變異愈大，信度通常愈高；團體過度同質、分數範圍受限，信度容易降低。 試題難度一般常模參照測驗以難度適中較有利。太難或太易容易使分數集中，降低區辨與信度；不能只說愈難或愈容易愈好。 試題品質改善題意不清、答案有爭議或鑑別不良的試題；刪除不良題可能提高信度，但不是任意刪題都有效。 評分客觀性明確答案與評分規準、評分者訓練及標準化程序，可減少評分誤差。 題型建構反應題通常題數較少，又可能有評分主觀性，因此信度通常低於選擇、是非等客觀題，但並非必然。 重測間隔間隔拉長，學習、成熟及狀態改變可能降低相關；間隔過短又可能受記憶、練習影響，不能認為愈長愈好。 增加預試人數可使試題分析及信度估計較穩定，卻不直接提高測驗本身的信度；人數多與團體異質性大是兩件事。 教師欲提高一般學習評量信度，優先掌握增加同質優良題數。增加合格評分者並採適當合成方式，可能改善主觀評分的可靠性，但單純增加人數並非所有測驗通用的改善方法。 六、信度與效度的關係 信度是效度的必要條件，而非充分條件。依本單元的基本判斷：效度高，信度須高；信度低，效度受到限制；信度高，效度仍可能低。 組合是否可能成立 高效度、高信度可能。 低效度、高信度可能，測量一致但偏離目的。 低效度、低信度可能。 高效度、低信度不成立。 在古典測驗理論及相關誤差假設下，測驗與效標之相關的絕對值，不超過兩者信度乘積的平方根，因此也不超過測驗信度的平方根。這是效標關聯效度係數的限制，不宜直接套用到所有效度證據。 選擇測驗應首重效度：先確認分數能否支持預定用途，再考量信度與實用性。 七、情境判讀與證據界線 結果排序大致一致，可支持一定的一致性；但若題目超出課綱與教學範圍，就難以適切反映預定學習成果，內容效度有疑慮。各班平均接近本身不足以證明高信度，更不能證明高內容效度；普遍低分也不能直接推論評分不客觀。 趣味心理測驗引用名著，不代表已有專家審查或效度證據；尚未受檢驗，也不能直接斷言效度很低。好評率、滿意度與一般用戶回饋，不能單獨建立信效度。仍須蒐集符合目的的內容審查、重測、內部一致性或效標關聯等證據。 常考陷阱 定義對調：可靠、一致屬信度；推論適切、用途合理屬效度。 把必要當充分：「信度高，效度一定高」及「效度低，信度一定低」都錯。 把增加題數寫成無條件法則：關鍵是增加同質優良題目，不能加入大量劣題或無關內容。 混淆人數與變異：增加預試人數不直接提高信度；團體變異縮小通常不利信度。 看到低分就判低信度：先看難度、分數變異與一致性；低分也不代表評分不客觀。 誤認係數都有固定形式：並非所有信效度指標都是相關係數，折半與α也無必然高低關係。 把受歡迎當作科學證據：有出處、有好評、能排序，都不足以單獨證明測驗有效。 記憶口訣 「有效必可信，可信未必效。」 「題優量足、人有差異、難易適中、評分一致。」 「重測看穩定，複本看等值，折半用斯布。」