阿摩線上測驗
登入
阿摩線上測驗
登入
學習重點 信度的核心是測量結果的一致性。重測法看跨時間的穩定性，複本法看不同試卷的等值性，內部一致性看題目之間的同質性。 能依「同一份或不同份測驗」「一次或多次施測」辨認信度估計方式，並理解重測間隔長短會影響重測信度。 區分常模參照與效標參照測驗。前者關心相對位置，後者關心是否達到預定標準，信度考量也要配合用途。 釐清信度、效度與鑑別度的差異，並判斷群體異質性對信度係數的影響方向。 核心觀念 一、信度：測量結果能否保持一致 信度指測量結果的一致性或可靠程度。測驗分數會受到抽題、施測時間、情境及評分等因素影響，因此要依想控制的誤差來源，選擇合適的估計方法。信度是特定受試群體在特定施測條件下的分數特性，一份測驗不會永遠有固定的信度。 信度回答的是「測得是否一致、穩定」。「是否測到想測的東西」屬於效度（有效性、正確性），兩者不可混淆。 估計方式基本作法反映的性質 重測信度（再測信度）同一群人在不同時間接受同一份測驗，計算兩次分數的相關跨時間的穩定性，所得為穩定係數 複本信度（平行形式信度）同一群人接受兩份平行測驗，計算兩份分數的相關不同試卷的等值性，所得為等值係數 內部一致性信度利用一次施測的作答資料，分析各題測量的一致程度題目之間的同質性，常用 KR-20、KR-21、Cronbach α 分半信度（折半信度）把一次施測的題目分成兩半（如奇偶題），計算兩半分數的相關，再校正為全卷信度兩半題目的一致性，屬於內部一致性的一種 兩半分數的相關只反映半份測驗之間的關係。估計全卷信度時，通常要以 Spearman-Brown 公式等方式校正，不能直接把未校正的兩半相關當成全卷信度。 二、重測信度：看跨次施測的穩定性 重測法的辨識條件是同一群人、同一份測驗、不同時間。如果受試者的能力或特質相對穩定，兩次分數應該相當一致。因此重測法主要回答「測量結果是否穩定」，所以以重測法估計信度，是為了了解測量結果的穩定性。 施測間隔會影響重測信度的高低。 間隔過短：受試者可能記得題目、答案或解法，產生記憶與練習效應，使相關偏高。 間隔過長：學習、成熟或生活經驗可能讓受試者的能力真的改變，使相關降低。這時的分數差異不能全歸因於測量誤差。 沒有適用所有測驗的固定最佳間隔，要依測量的特質及用途決定。報告重測信度時，應同時註明間隔時間。 三、複本信度：看兩份測驗是否等值 複本法使用兩份性質、內容、題型、題數及難度相近的測驗，對同一群受試者施測，再計算兩份分數的相關係數。重點是檢驗不同試卷能否提供一致的測量結果，因此反映等值性。 例如，依相同命題藍圖編製甲、乙兩卷，讓同一群學生作答，再分析兩卷分數的相關，就屬於複本法。兩卷只是題數相同或題目表面相似，不足以保證平行，還要看測量內容與難度等條件。 兩份複本若連續施測，所得為等值係數。若間隔一段時間施測，結果同時涉及試卷等值性與時間穩定性，稱為「穩定及等值係數」。 四、常模參照與效標參照：比較對象不同 比較面向常模參照測驗效標參照測驗 意義把個人表現和參照群體（常模）比較，判斷相對位置把個人表現和預定的學習目標或精熟標準比較，判斷是否達標 核心問題在群體中排第幾？比別人好還是差？學會了沒有？哪些內容還沒學會？ 常見使用時機入學甄選、競爭性選才、排序、編班或依相對程度分組、標準化成就與性向測驗精熟學習、形成性評量、學習診斷、學習扶助篩選、證照或能力達標判定 試題特性重視分數變異與鑑別度，題目難度多在中等重視題目與學習目標的對應，不刻意拉開分數 信度重點分數或相對排序是否一致「通過／未通過」等達標判定是否一致 常模參照測驗的信度考量，可舉重測信度、複本信度，或內部一致性信度（如分半信度、KR-20、Cronbach α）。這些方法都以分數的相關係數表示，適合分數變異大的情況。 效標參照測驗的信度考量著重決策（分類）一致性，可舉兩種： 重測決策一致性：同一份測驗在不同時間施測，看對同一批學生的「精熟／未精熟」判定是否一致。 複本決策一致性：兩份等值試卷各施測一次，看分類判定是否一致。 評估指標可用百分比一致性（兩次判定相同的人數比例），或排除偶然一致的 κ 係數。 效標參照測驗的學生分數常集中在高分區、變異小，傳統相關係數容易偏低，因此不宜只用一般相關係數。即使兩次分數高度相關，門檻附近的學生仍可能一次通過、一次未通過。申論作答時，要同時寫出「估計方法」和「檢驗什麼一致」，不要只列名詞。 五、信度、效度、鑑別度與群體差異 信度看一致，效度看分數的解釋與使用是否適切。測量結果很穩定，仍可能沒有測到預定能力，所以高信度不保證高效度。 內容效度著重題目是否適切涵蓋想測的內容領域，最適用於依課程目標與教材編製的學業成就測驗。人格測驗測的是抽象心理特質，通常更重視建構效度。 鑑別度指試題區分不同能力受試者的程度，常模參照測驗才特別重視。學習扶助屬於效標參照的用途，重點是能否找出未達基本標準的學生及其學習困難，不是強調高鑑別度、拉開學生程度。 群體異質性與信度：在其他條件相近時，受試者能力越異質，分數變異越大，信度係數通常越高；群體越同質，分數全距越小，信度係數越低。所以「異質性高的班級信度較低」是錯的。 其他影響信度的常見因素如下： 題數越多，信度通常越高。 試題難度適中，信度較高。 評分越客觀，信度越高。 施測間隔越長，重測信度通常越低。 常考陷阱 重測法配錯性質：重測對應「穩定性」，複本對應「等值性」。「有效性、正確性」屬於效度，不是信度估計的目的。 只看題幹描述就選錯：題幹出現「性質、內容、題型、題數、難度相似的兩份測驗＋同一群人＋相關係數」，答案是複本信度。「雙倍信度」不是常用的信度名稱，屬於干擾選項。 看到兩次施測就選重測：先確認是不是同一份試卷。兩份平行卷是複本信度。 把分半當成兩份測驗：分半（折半）是同一份測驗、一次施測、拆成兩半；複本是另外編製兩份平行測驗。 忽略間隔時間：重測信度的高低會受間隔長短影響。間隔短有記憶與練習效應，間隔長會混入學習與成熟造成的改變。 異質性方向顛倒：學生異質性越高，分數變異越大，信度越高，不是越低。 內容效度配人格測驗：內容效度最適合學業成就測驗，人格測驗重視建構效度。 學習扶助強調高鑑別度：學習扶助屬於效標參照用途，重點是找出未達標者，不是把學生程度拉開。 效標參照只用相關係數：效標參照涉及達標決策，應看分類一致性（百分比一致性、κ 係數）。 記憶口訣 「同卷隔時看穩定，平行兩卷看等值；一卷題內看一致，達標分類看決策。」 「間隔短，記得答案；間隔長，人已成長。」 「越異質越可信，越同質越難信。」 「常模比別人，效標比標準；信度問一致，效度問適切。」