學習重點 試題難度看整體答對率:以 P 表示,範圍為 0~1;P 越接近 1,題目越容易,越接近 0,題目越困難。 試題鑑別度看高低分組差異:以 D 表示,範圍為 -1~+1;D 為正值代表高分組表現較佳,負值代表鑑別方向反轉,題目可能有問題。 難度與鑑別度的關係:古典測驗理論中,難度 P 接近 0.5 時,鑑別度才有可能達到最大;理想試題需要難度適中,而且鑑別度高。 雙向細目分析表是編製測驗的藍圖:以「教材內容」與「教學目標」兩個向度規劃試題分布,用來確保測驗的內容效度。 核心觀念 一、試題難度指數 P 試題難度指數是受試者答對該題的比例。常見的計算方式有兩種: 全體答對率:P=答對人數 ÷ 總人數 高低分組法:P=(PH+PL)÷ 2,即(高分組答對率+低分組答對率)÷ 2 當高低分組人數相同、且全體剛好分成兩組時,兩種算法的結果相同。P 的判讀不是看「題目看起來難不難」,而是看實際答對率: P 值 實際意義 難易判斷 接近 1 多數人都能答對 題目偏容易 接近 0.5 約一半人答對 難度適中,較能區分不同程度學生 接近 0 很少人答對 題目偏困難 例如全班 40 人依得分分成高、低兩組各 20 人,某題高分組 15 人答對、低分組 8 人答對: 全體答對率:(15+8)÷ 40=23 ÷ 40=0.575 高低分組法:高分組答對率 15 ÷ 20=0.75,低分組答對率 8 ÷ 20=0.40,P=(0.75+0.40)÷ 2=0.575 P=0.575 表示答對率為 57.5%,略高於 0.5,題目屬於難度適中、稍偏容易。計算 P 時要納入兩組的答對情形,不能只算其中一組,也不能誤用鑑別度公式(兩組相減)。 二、鑑別度 D 的計算與判讀 鑑別度表示題目區分高、低程度學生的能力,常用公式為: D=高分組答對率-低分組答對率=PH-PL 以上例來說,D=0.75-0.40=0.35,表示高分組比低分組多答對 35 個百分點,具有正向鑑別功能。 D 值 判讀 較大的正值(一般 0.40 以上視為非常優良) 高分組明顯優於低分組,鑑別效果佳。 接近 0 高低分組表現差異不大,區分能力有限。 負值 高分組答對率低於低分組,鑑別方向與預期相反,應修改或刪除。 例如 D=-0.2,代表低分組的答對率反而比高分組高。合理的解釋是:高分組可能對題目有所誤解(例如想得太深、題意模糊、選項有爭議),也可能是答案設定錯誤。此時不能說題目品質良好,也不能說能準確測出學習目標,更不能解釋成「高分組表現優於低分組」。 三、難度與鑑別度的關係 在古典測驗理論中,鑑別度最大時,難度接近 0.5。原因是:若 D=1,代表高分組全對、低分組全錯,此時 P=(1+0)÷ 2=0.5。反之,P 接近 0 或 1 時,幾乎全部答錯或全部答對,高低分組沒有拉開差距的空間,D 必然偏低。 因此,難度適中是鑑別度高的前提條件,但不保證一定鑑別度高;即使 P 接近 0.5,若高低分組差異不大,D 仍可能偏低,甚至為負值。 判斷試題分析結果是否理想,要同時看 P 與 D: 試題分析結果 判讀 P=0.10、D=0.15 題目太難,鑑別度也低。 P=0.46、D=-0.15 難度雖適中,但鑑別度為負,需修改或刪除。 P=0.51、D=0.75 最理想:難度接近 0.5,鑑別度高。 P=0.85、D=0.30 題目偏容易,雖有正向鑑別,但不如上一項理想。 四、雙向細目分析表 雙向細目分析表是編製測驗的藍圖,以兩個向度安排試題: 教材內容:例如數與量、空間與形狀、資料與不確定性等單元主題。 教學目標:例如記憶、理解、應用、分析、評鑑、創造等認知層次。 通常把教材內容與教學目標分別放在列與欄,於交叉處標示題號、題數或配分。重點在於「內容與目標相互對應」,不必死記表格方向。 雙向細目分析表的功能: 確認各單元教材都有適當題目涵蓋,避免漏考或過度集中。 確認每一題都對應明確的教學目標,避免只考記憶而忽略較高層次能力。 依教學目標與教材份量的重要程度分配題數與配分。 使試題能代表教學內容,確保測驗的內容效度。 雙向細目分析表應在命題前先規劃,命題完成後再對照檢核,確認實際試題與藍圖一致。 常考陷阱 P 與 D 公式混用:難度是兩組答對率「相加除以 2」(或全體答對率),鑑別度是兩組答對率「相減」。計算難度時算成 0.35 或只用單一組的 0.75,都是錯的。 P 數值大小與難易方向弄反:P 越大題目越容易,P=0.85 是容易題,不是困難題。 直接用兩組答對人數相減:應計算兩組的「答對率」再相減;人數直接相減只有在除以組別人數後才是 D。 D 為負值的錯誤解釋:選項若寫「題目品質良好」「能準確測出學習目標」「高分組表現優於低分組」都錯;正確解釋是低分組答對率較高,高分組可能誤解題意。 鑑別度最大時的難度:答案是 0.5,不是 0、1 或 0.25。 只看單一指標選理想試題:P 接近 0.5 但 D 為負值仍不理想;D 為正但 P 太高或太低也不是最佳。要選「P 接近 0.5 且 D 最高」的組合。 誤以為 D 大代表題目難:D 是鑑別度,不是難度,兩者是不同指標。 雙向細目表的第二向度選錯:兩個向度是「教材內容」與「教學目標」;起點行為、評量方式、教學方法都不是答案。 雙向細目表對應的效度:主要確保的是內容效度,不是預測效度或效標關聯效度。 記憶口訣 難度相加除以二,鑑別高低兩相減;P 大題易、D 負有誤,零點五時鑑別最大。 雙向細目是藍圖:教材內容配教學目標,確保內容效度。