學習重點 信度指測量結果的可靠性、一致性與穩定性;效度指測驗的有效性、正確性與確實性,也就是能否測到所欲測量的特質,並提供適切資料以供決定。 信度是效度的必要而非充分條件:有效度必有信度,效度高則信度一定高;有信度不一定有效度;沒有信度就一定沒有效度。 再測信度是對同一群受試者間隔一段時間,施以相同測驗,以兩次分數的相關程度評估測量結果的時間穩定性。 效標參照測驗重視精熟與否的分類一致性,常以百分比一致性或 Kappa 係數估計信度;穩定、等值、內部一致性係數則屬常模參照測驗常用的信度係數。 受測團體異質性越大、分數變異越大,求得的信度係數越高;團體越同質,信度係數越低。 核心觀念 一、信度與效度的基本差別 信度(reliability)是測量結果的一致性、可靠性與穩定性。同一受測者在不同時間接受相同測驗,或以不同版本、不同題目組合作答時,分數是否一致,都屬於信度問題。例如,再測信度考驗時間穩定性;複本信度考驗兩個平行版本的一致性;折半信度與內部一致性信度則看測驗內部題目之間的一致程度。 效度(validity)是測驗能提供適切資料以供決定的程度,指測驗的有效性、正確性和確實性,重點在於「是否測到所欲測量的特質」以及「能否作出正確推論」。從變異數的角度看,效度也可描述為:某測驗與其他測量同一特質之測驗所共同分享的變異數,占該測驗總變異數的比率。 因此,「可靠性、一致性、穩定性」是信度的描述,若拿來定義效度就是錯誤敘述。另外要注意:題目若問「能穩定地測量所欲測量之特質」,判斷關鍵在「所欲測量之特質」,也就是測得準不準、對不對,答案是效度。 比較項目信度效度 核心問題測驗分數是否一致、穩定?是否測到所欲測量的特質,並能支持正確判斷? 關鍵字可靠性、一致性、穩定性有效性、正確性、確實性、適切性 常見類型再測信度、複本信度、折半信度、內部一致性信度內容效度、構念效度、效標關聯效度等 實務意義提供可重複、可信賴的測量結果確保測量結果可用於預定的解釋、診斷或決策 二、信度與效度的關係 基本關係:信度是效度的必要條件,但不是充分條件(不是「必要充分條件」)。測驗要具有效度之前,必須先具有信度;效度可以保證某種程度的信度。 舉例來說,用一把準確的體重計去「測量智力」,每次量出的數字都很穩定(信度高),但測到的根本不是智力(沒有效度)。反過來,若一個測驗每次測出的分數都忽高忽低(信度低),連測量本身都不可靠,自然無法正確測到目標特質,效度必定低。 敘述正誤理由 有效度一定有信度/效度高,信度一定高正確效度以信度為前提 有信度不一定有效度正確一致不等於測對目標 信度高的測驗,效度一定高錯誤信度不是效度的充分條件 沒有信度不一定沒有效度錯誤沒有信度就一定沒有效度 信度低的測驗,效度可能高也可能低錯誤信度低,效度必然低 信度是效度的必要充分條件錯誤只是必要條件,非充分條件 效度是信度的必要條件錯誤主客顛倒,應為信度是效度的必要條件 效度是可靠性,信度是正確性錯誤定義對調,信度才是可靠性,效度才是正確性 三、再測信度 再測信度的實施方式是:對同一群受試者,間隔一段時間(如一週後),施以相同的測驗,再計算兩次分數的相關係數。相關越高,表示測量結果越穩定,因此再測信度所得的係數又稱穩定係數,反映的是時間穩定性。 與其他信度的區分: 再測信度:同一份測驗,隔一段時間重測一次。 複本信度:使用兩份內容、難度相當的平行版本(複本)施測,所得為等值係數。 折半信度:只施測一次,將測驗分成兩半(如奇偶題)求兩半分數的相關。 內部一致性信度:只施測一次,分析各題目之間的一致性(如 KR-20、Cronbach α 係數)。 判斷關鍵:題幹出現「施測完畢、間隔一段時間、又進行相同內容的重新測驗」,就是再測信度。 四、效標參照測驗的信度 效標(標準)參照測驗的目的,是判斷受測者是否達到某項標準,例如是否精熟、是否通過。因此其信度重點在精熟與否的分類一致性,而不是分數在團體中的相對位置。 測驗類型主要用途常用信度指標 效標參照測驗判斷是否達到特定標準(精熟/未精熟)百分比一致性、Kappa 係數 常模參照測驗將個人分數與常模比較,了解相對表現穩定係數、等值係數、內部一致性係數 百分比一致性直接呈現兩次分類結果相同的比例;Kappa 係數則進一步排除偶然(機率)造成的一致。題目問「何種信度分析適用於標準(效標)參照測驗」,選 Kappa 係數。 五、影響信度的因素:團體異質性 信度係數是以相關的方式估計,而相關的大小受分數變異量影響。受測團體的能力差異越大(越異質),分數分布越分散、變異越大,求得的信度係數就越高;團體越同質,分數集中、變異小,信度係數就越低。 因此,「受測團體變異性越大,求出的信度會怎樣」答案是「越高」,不是「不一定」或「視情況而定」。 六、心理測驗的實務判斷 良好效度的心理測驗,較能做出正確的推論。 良好信度只代表測量結果一致,不能證明量表涵蓋了重要內容。例如憂鬱量表信度良好,並不表示它能涵蓋重要的憂鬱症狀;是否涵蓋重要症狀屬於內容效度的問題。 常模具有時效性:常模距今過久(如超過十年),當時的樣本與現今受試者狀況可能已有差異,解釋結果時可能錯估受試者的表現。 題目敘述應簡潔、直接,避免雙重否定:「我會為了交朋友而參加團體」優於「若不是為了交朋友,我不會參加團體」,因為後者語意繞圈、容易誤解,會造成作答誤差,降低測量品質。 常考陷阱 看到「穩定」就選信度。題幹若強調「測量所欲測量之特質」,關鍵在測得對不對,答案是效度。 把可靠性、一致性、穩定性當成效度定義。這是信度的內涵;效度是有效性、正確性、確實性。若選項寫「效度是可靠性,信度是正確性」,就是定義對調。 「信度高,效度一定高」是錯的;「效度高,信度一定高」是對的。兩句只差前後順序,判斷方向要看清楚。 「沒有信度不一定沒有效度」「信度低的測驗,效度可能高」都是錯的。沒有信度就沒有效度。 「必要條件」與「必要充分條件」、「信度是效度的必要條件」與「效度是信度的必要條件」,都是常見的偷換寫法。 混淆再測與複本信度。同一測驗隔一段時間重測是再測信度;兩個平行版本才是複本信度;只施測一次的是折半或內部一致性信度。 效標參照測驗選了穩定、等值或內部一致性係數。效標參照看分類一致性,用百分比一致性或 Kappa 係數。 以為團體越同質信度越高。方向相反:越異質、變異越大,信度係數越高。 由信度推論內容完整。「量表信度好,表示涵蓋重要症狀」是錯誤敘述,那是內容效度的問題。 以為雙重否定的題目比較好。題目敘述應直接明確,避免否定句與雙重否定。 記憶口訣 信度求穩、效度求準;準的一定穩,穩的不一定準。 無信必無效,有效必有信。 同一群、隔一段、考同一份:再測信度看穩定。 達標分類用 Kappa;群體越雜,信度越大。