阿摩線上測驗
登入
阿摩線上測驗
登入
學習重點 掌握內容效度的判斷標準：試題是否充分涵蓋教學目標所界定的主要內容與範圍，並具有代表性；若測驗未能對應所有教學目標，內容效度就不足。 理解雙向細目表的功能：以「教學內容」與「認知目標」交叉規劃試題，避免命題偏重少數單元或單一能力。命題前事先規劃雙向細目表，是提高段考效度最直接的作法。 認識專家審題的作用：由同領域學科教師檢查試題與教學目標的一致性，也是檢核內容效度的方法。 區分效度與信度：符合教學目標、內容取樣適切，屬於效度；分數穩定、題目反應一致、評分一致，屬於信度。 辨別命題改善措施：提高難度、增加選擇題、刪除簡單題、調整題目編排，都不能直接保證內容效度提高。 核心觀念 一、內容效度：考的內容是否符合應考的目標 內容效度關心的是：測驗試題是否充分且適切地代表預定評量的教學內容與目標。教師編製段考試卷，應先界定考試範圍與教學目標，再檢查試題是否涵蓋主要內容，以及是否評量原先預期的學習表現。 判斷時要兼顧「涵蓋性」與「代表性」。涵蓋性是重要目標有沒有受到評量；代表性則是各部分的試題配置是否反映其重要程度。若教了多個重要單元，試卷卻集中在少數容易出題的內容，或漏掉重要教學目標，即有內容效度不足的問題。 涵蓋目標不等於每個目標都必須配置相同題數，也不等於把教材細節全部考完。測驗是對學習內容進行取樣，重點在於取樣是否合理，能否支持教師依據成績判斷學生對預定內容的學習情形。 內容效度主要透過邏輯分析與專業判斷來建立與檢核，例如對照教學目標規劃試題、請學科專家審查，而不是靠計算兩次分數或題目之間的相關係數。看到「求相關係數」的作法，通常是在考信度或效標關聯效度，而非內容效度。 二、雙向細目表：把內容與目標交叉規劃 雙向細目表通常以教學內容或教材單元為一向，以教學目標或認知歷程層次為另一向，交叉規劃各部分的題數或配分。認知目標可包括記憶、理解、應用等，實際分類應依教學與評量需求決定。 規劃面向檢查重點可避免的問題 教學內容主要單元是否涵蓋，配置是否適切只考少數章節，遺漏重要內容 認知目標試題要求是否符合預定能力目標要求理解或應用，試題卻只考背誦 交叉配置各單元與目標的題數、配分是否合理整份試卷取樣失衡，缺乏代表性 因此，依雙向細目表命題，主要在確認或提高內容效度。教師自編測驗依表編題，可確保題目內容具有代表性；在「下列何者最能提高段考效度」這類題目中，「事先規劃試卷的雙向細目表」是最直接的命題前措施。不過，表格規劃完成後，仍須確認實際寫出的試題確實符合表中的內容與目標。 三、學科專家審題：檢查試題與目標是否一致 另一項重要做法，是列出考試範圍內的所有教學目標，邀請熟悉該領域的教師檢查試題。審查重點包括：試題是否對應預定目標、重要內容是否遺漏、各部分是否配置適切，以及題目實際要求的能力是否符合教學目標。若題目問「哪一措施最有助於證明此測驗具有良好效度」，答案就是這類「找教師檢查試題與目標一致性」的作法。 雙向細目表與學科教師審題，都是支持內容效度的作法。前者提供命題架構，後者檢核實際試題。因此，「依雙向細目表命題，再請同領域教師審題」兩項作為所關心的，都是內容效度。不能因為審題者有好幾位，就把專家審題判成評分者信度；也不能因為「審題」聽起來像在檢查試題品質，就判成內部一致性信度。關鍵在於他們檢查的是「試題與目標的關係」，還是「學生作答分數的一致性」。 四、效度與信度：看措施實際檢查什麼 效度著重測驗結果能否支持預定的解釋與用途；信度著重測量結果的一致性與穩定性。題目若以教師自編段考為情境，並強調命題範圍、教學目標或內容代表性，通常是在考內容效度。 概念典型作法或線索判斷關鍵 內容效度雙向細目表、學科教師審題、檢查試題與目標的一致性考的內容是否適切且有代表性 表面效度從外觀或直覺認為試卷像是在測某種能力看起來適合，不等於已系統檢查內容 效標關聯效度檢查測驗分數與外在效標的關係須有外在效標作比較 預測效度以目前分數預測未來表現重點是與未來效標的關係 重測信度同一批學生接受同一測驗兩次，計算兩次分數的相關跨時間的穩定性 內部一致性信度分析測驗內各題反應的相關或一致程度試題之間的一致性 評分者信度比較不同評分者對相同作答的評分評分結果的一致性 常考陷阱 「依雙向細目表命題，是確認表面效度。」錯在把系統性的內容規劃當成外觀判斷。雙向細目表交叉檢查內容與目標，主要對應內容效度。 「依雙向細目表命題，是確認關聯效度或預測效度。」這兩者都需要外在效標或未來表現作比較；雙向細目表沒有拿分數與效標相比，屬於內容效度。 「請同領域教師審題，就是評分者信度或內部一致性信度。」要看工作內容。檢查試題與目標是否一致，是內容效度；比較多人對同一份作答的評分，才是評分者信度；分析各題作答反應的一致程度，才是內部一致性信度。 「施測兩次，兩次成績相關高，就證明測驗效度良好。」這主要是重測信度的證據。測驗即使結果穩定，仍可能漏考重要目標。 「各題之間的相關越高，就代表效度越好。」題目間相關主要涉及內部一致性信度。若整份試卷反覆考相近內容，仍可能缺乏足夠的內容涵蓋。 「把同單元試題放在一起，就能證明效度。」這主要是編排方式，可能方便作答，但不能證明試題已涵蓋教學目標。 「刪除所有人都答對的題目，可以提高效度。」答對率高不代表題目沒有評量價值；若該題對應重要的基礎目標，直接刪除反而可能造成內容遺漏。應依測驗目的與目標判斷。 「增加選擇題、提高評分客觀性，就是提高效度。」評分客觀性主要有助於減少評分者造成的差異，偏向信度；試題是否代表教學內容，仍須另外檢查。 「用複雜句子提高難度，能提高效度。」難度不等於效度。若複雜語句超出目標所需，可能使成績受到額外閱讀負擔影響，反而降低評量的適切性。 「依雙向細目表編題，可確保題目有代表性」是對的。是非題遇到這類敘述，應判為正確，不要因為「確保」二字就懷疑。 記憶口訣 「內容對目標，雙向加審查；兩次看穩定，題間看一致。」 看到「範圍、目標、代表性、雙向細目表、專家審題」，優先判斷內容效度；看到「兩次分數相關」想到重測信度；看到「題目間相關」想到內部一致性信度；看到「不同評分者」想到評分者信度；看到「外在效標、未來表現」才想到效標關聯效度或預測效度。