阿摩線上測驗
登入
阿摩線上測驗
登入
學習重點 掌握評分者信度的意義：相同的作答或作品，是否能因評分標準一致而得到相近分數。 比較選擇題、簡答題、論文式題目、專題報告與評定分數法的評分特性，理解主觀判斷、題數與內容取樣如何影響信度。 辨識實作評量的評分者誤差：月暈效應、邏輯偏誤、刻板印象偏見、寬大偏誤，以及「以單次表現代表整體成就」。並能區分評分者誤差與評量設計本身的限制。 能以明確規準、示例作品、評分者訓練及多人獨立評分，規劃提升作文或實作評量信度的作法，並說明理由。 核心觀念 一、評分者信度：同一份表現，評分能否一致 評分者信度關注評分結果的一致性。不同評分者依相同規準評閱同一份作答，若分數相近，表示評分者間的一致性較高。同一評分者在不同時間評閱相同作品，能否維持一致，也是評分穩定性的重要面向。 選擇題有標準答案與固定計分規則，評分者不需要自行判斷答案品質，因此較不受個人好惡、寬嚴標準或當下印象影響。在選擇題、論文式題目、簡答題與評定分數法之中，選擇題的評分者信度最高。論文式題目與評定分數法最依賴評分者的主觀判斷。 但評分一致不等於測量有效。即使每位教師都給出相同分數，若試題未能測到原定學習目標，效度仍可能不足。所有評分者若共同受某種偏見影響，也不能只憑分數一致就認定評量公平、有效。 二、題型、內容取樣與信度的關係 評量方式評分特性判斷重點 選擇題依標準答案與固定規則計分，主觀判斷最少。評分者信度最高；同一時間內能施測較多題目，內容取樣較廣、較具代表性。 簡答題若可接受的答案與配分清楚，評分可有較高一致性。仍可能因同義表達、答案完整度及部分給分而出現差異。 論文式題目由學生組織、申論與表達，評分者須判斷作答品質。評分主觀性高、題數少，信度通常較低；適合評量統整、論證等較高層次能力。 專題報告、實作與評定分數法依作品或表現判斷等級與分數，常涉及多個評分面向。規準若不清楚，較容易出現評分不一致；較能評量批判思考、問題解決與統整應用。 論文式題目若只出少數幾題，且每題只評予單一總分，評分者對內容、組織、論證及表達的重視程度可能不同。再加上題數少、內容取樣有限，相較於題數多且計分客觀的選擇題，其信度通常較低。 其他常見比較： 認知層次：論文式題目及專題報告常用來評量分析、評鑑、統整、批判思考等高層次能力，不能說其認知層次較低。選擇題較擅長評量記憶、理解等層次，若設計得當也能測量部分高層次認知。 命題難易：優良的選擇題需要精心設計題幹與具誘答力的選項，命製較費工。論文式題目題數少，命題相對容易，但評分費時且較主觀。 適用對象：題型本身不能決定較適合高程度或低程度學生，應依評量目標、難度與支持條件來選擇。 三、實作評量常見的評分者誤差 實作評量依賴評分者判斷，若評分受到與評量目標無關的因素影響，就是評分者誤差，會同時降低信度與效度。 類型意義與辨識線索例子 月暈效應以對學生的一般印象或某項突出特徵，影響其他面向的評分。根據平日觀察形成的整體好印象，評閱本次作品時也給高分。 邏輯偏誤評分者主觀認定兩種特質密切相關，便由其中一種特質推定另一種表現。認為學習態度與表現密切相關，因而給態度佳的學生較高分。 刻板印象偏見因學生的群體身分或背景，形成先入為主的判斷。受母語、性別、族群、社經背景或先前經驗影響而給分。 寬大偏誤評分尺度過於寬鬆，普遍給予偏高分數。認為高分有助提高學習動機，對所有學生都給較高分。 以單次表現代表整體成就評分者為求方便，只用一次評量結果推論整體能力。只依一次實作的成績，判定學生整學期的學習成就。 月暈效應與邏輯偏誤的差別在於判斷依據不同。月暈效應是「整體印象擴散」到各面向。邏輯偏誤是「認定兩種特質相關而互相推論」。題目若明確寫出教師認為態度與表現有密切關係，因而給態度佳者高分，應判為邏輯偏誤。 只以一次評量結果代表整體學習成就，也屬於評分者造成的誤差來源。單次表現可能受到任務難度、情境、身心狀態或偶然因素影響，不足以代表學生跨任務、跨時間的整體能力，因此應蒐集多次、多種情境下的表現證據。 「教師無法評量學生在真實情境下應用知識與技能的能力」不是評分者誤差。它描述的是評量方式或任務設計的限制，與評分者的印象、偏見或評分習慣無關。實作評量的特色本來就是在真實或擬真情境中觀察知識與技能的應用。 四、提升信度：規準、訓練、獨立評分與校準 事先訂定明確評分規準：界定評量面向、各面向配分、表現等級及具體描述，使評分者有共同依據，減少各自解讀標準的差異。作文可採分析式規準，例如分項評立意取材、結構組織、遣詞造句、錯別字與標點。 提供各等級的示例作品：以代表性作品呈現各等級的品質差異，把抽象規準轉化為可觀察的依據。 辦理評分者訓練與校準：正式評分前，先共同理解規準，再各自試評相同作品，比對分數、討論差異並釐清標準。必要時在評分過程中再次校準。 安排多位評分者獨立評分：每份作品由兩位以上評分者各自評分，再比對結果，取平均或加總。分數差距過大的作品，交由第三位評分者複閱或依規準討論，可降低單一評分者寬嚴不一與個人偏好的影響。 減少無關資訊干擾：作文比賽可採彌封或遮蔽姓名、學校等資料，避免月暈效應與刻板印象偏見。 申論題要求提出一項提升信度的作法時，應寫出「具體措施＋降低何種誤差＋為何能提高一致性」。 參考寫法：「安排兩位以上評審，依共同的分析式評分規準各自獨立評分，分數差距超過預定標準的作品再由第三位評審複閱。理由：結合多位評分者的判斷，可抵銷單一評分者寬嚴不一或個人偏好造成的誤差，使分數更穩定一致，提高評分者信度。」 也可寫：「正式評分前辦理評分者訓練，以示例作文試評、比對並討論差異。理由：使評分者對各表現等級形成一致理解，降低標準不一造成的評分誤差。」 常考陷阱 「論文式題目、評定分數法的評分者信度最高」：錯誤。主觀判斷越少，評分者信度越高，應選選擇題。 「論文式題目檢測的認知層次較低」：錯誤。論文式題目較能評量統整、論證等高層次能力。 「論文式題目內容取樣較具代表性」：錯誤。題數少，涵蓋範圍有限，取樣代表性反而較低。 「論文式題目比較難準備優良試題」：錯誤。選擇題要設計好的誘答選項，命製較難。 「選擇題較能評估批判思考力」：錯誤。批判思考較適合用專題報告、論文式題目評量。 「專題報告較適合低程度學生，選擇題較適合高程度學生」：錯誤。題型不能直接決定適用程度。專題報告的正確描述是「較容易出現評分不一致」。 「選擇題評分者信度高，所以效度一定最高」：錯誤。這混淆了一致性與適切性，效度要看是否測到預定目標。 邏輯偏誤與相似選項的區分： 依平日認識給分，是月暈效應。 依族群、社經背景給分，是刻板印象偏見。 為提高動機而普遍給高分，是寬大偏誤。 認定態度與表現相關而給高分，才是邏輯偏誤。 「無法評量真實情境的應用能力」屬於評分者誤差：錯誤。這是評量設計的限制，不是評分者造成的誤差。「只用一次結果代表整體成就」則屬於評分者誤差來源。 「評分前大家先商量好分數，就是多人評分」：錯誤。應先獨立評分，再依規準比較與校準，避免相互附和。 「只要增加評分者人數就一定提高信度」：不完整。仍須配合共同規準、評分者訓練與獨立評分。 記憶口訣 「選擇最客觀，申論最主觀；題少取樣窄，信度跟著降。」用來判斷各題型的評分者信度高低。 「規準明、示例清；先獨評、再校準。」記住提升主觀評分信度的主要程序。 「印象擴散是月暈，特質相推是邏輯；背景先判是偏見，普遍高分是寬大；一次定終身也是誤差。」先找出評分依據，再辨識偏誤類型。