28. 王老師自編一份50題的測驗,以評量學生的學習成就。經過試題分析後,下列哪一項作法,最可能提高此測驗的信度?
(A)刪除難度值為0的題目
(B)刪除難度值為1的題目
(C)刪除與總分負相關的全部題目
(D)刪除與總分正相關較低的題目
統計: A(828), B(436), C(3164), D(791), E(0) #1199439
詳解 (共 9 筆)
最可能提高此測驗的信度-刪除與總分負相關的全部題目,會讓剩下題目都 成現正相關,使得信度提高;
其他選項會稍微提高信度。by高明
回應7樓的解釋
(A)、(B)選項的作法是可以提升信度的唷!
倘若某一題目難度值為極端的0或是1,表示該題答題者全錯(對),這樣對於整份測驗的信度是最為不利的(沒有鑑別度),
予以刪除能夠提升信度。
同樣地,(D)選項的作法亦可以提升信度!
若刪除與總分正相關較低的題目,留下來的題目會是與總分正相關較高的題目,相對的信度也可能提高。
本題答案選(C),最大的原因為以上三種作法都能提高信度,但提升的幅度都不比刪除全部負相關的題目,
亦即刪去鑑別度 -1的題目。
信度(reliability)測量工具本身的準確程度─是否有區別能力?測量的結果是否穩定一致?穩定一致的程度如何?譬如一把捲尺昨天量一個人的身高是一百七十公分,今天再量卻變成一百六十五公分,一個人斷不可能一天矮了五公分,顯然這把尺可能受熱脹冷縮的影響很厲害,也就是「信度」不高。
效度(validity)測量工具是否可以測出研究者想要了解的某種特質?(在行為科學界尤指抽象的特質,亦即「構念」)能夠測出的程度為何?舉一個較具體的例子來說譬如我們一把刻度很精確、不會熱脹冷縮也就是「信度」很高的尺,但如果用這把尺來量一群人,以判斷誰輕誰重,就可能不大準確,不很「有效」。因為尺並不擅於測量「體重」這個特質。尺對「體重」這個特質而言,就是一個「效度」不佳的測量工具。
提高信度的方法:
1. 刪除鑑別度為負的題目
2. 刪除與總分負相關的題目
3. 增加題目數量
4. 增加測驗的同質性題數
5. 選擇難易適中的試題
6. 採客觀的測驗題型
7. 增加異質性的受試者
難易度=(高分組答對率+低分組答對率)÷2 (0≦難易度≦1)
鑑別度=高分組答對率-低分組答對率 (-1≦鑑別度≦1,鑑別度0.4以上才是優質的試題)
註:高、低分組方式à整個測驗中得高分的前27%的人數、得低分的後27%的人數。為何取27%高、低分組為標準呢?這是因為當受試者總測驗分數的分配是常態時,取上下各27%的受試者會產生最好的P估計值。通常我們可取上下各10%到33%之間的受試者來計算P值。
(A)刪除難度值為0的題目 (該題全錯!)
(B)刪除難度值為1的題目 (該題全對!)
最可能提高此測驗的效度
更正!應該是鑑別度D(範圍:-1~1)為負的題目
(A)(B)
題目難易度的分佈情形會影響信度高低,若整份考卷的題目偏難,那只刪掉難易度為0的題目,對信度的影響可能不大,因為難易度可能仍算均勻,反之對簡單的考卷也是如此。
(C)(D)
信度的計算主要看相關係數,相關係數越高表示越穩定。舉例:若今天考卷主要評量的概念有A、B、C,
如果其中有題目不是用到A、B、C的概念,那就與整份考卷目標不相關,那這種不相關的題目越多,只會讓學生考越差,就是呈現負相關的情況,因此會考慮刪除此種題目,以大幅提升信度。段考裡有超出範圍的題目送分,大概就是這個意思~
以上看法,再請多指教!