阿摩線上測驗
登入
阿摩線上測驗
登入
學習重點 分清信度與效度：信度關心測量結果是否一致、可靠；效度關心測驗分數能否支持預定的解釋與用途。測驗與外在成績的相關，屬於效標關聯效度，不是信度。 掌握內部一致性：同一測驗的各題若共同測量同一構念（如自我肯定），可由題目間的一致程度評估信度，也就是「題目內容一致性」。 辨認信度工具：KR20適用於二元計分題目，用來估計內部一致性信度；因素分析、雙向細目表及聚斂相關則屬於構念結構或效度方面的工具。 運用試題分析提升信度：刪除與總分呈負相關的題目，最能改善內部一致性並提高信度。 掌握自編成就測驗：段考依教學目標命題，以內部一致性作為主要信度考量，而不是重視跨時間的穩定性；結果可用於教學與學習決策。 核心觀念 一、內部一致性：檢查同一份測驗的題目是否協調 內部一致性信度是依同一測驗各題間的一致程度，判斷測量結果是否可靠。當一份測驗旨在測量單一構念，例如自我肯定，便應檢查各題是否共同反映該構念：受試者在某些題目呈現較高的自我肯定，在其他同向題目上也應有相應的表現。 「題目內容一致性」在信度情境下，是指各題共同測量相同構念的一致程度，不是要求各題文字相同，也不是反覆詢問完全相同的內容。實際估計仍須依受試者作答資料計算，不能只看題目文字相似就認定信度高。 測驗編製的動機可能是預測未來學習態度、學業成績、教師甄試或資格考結果，但題目若問的是「信度證據」，就應先看題目間是否一致，不能被使用目的帶往「與外在成績的相關」。 常見的內部一致性估計方式： 折半信度：將測驗分成兩半，求兩半分數的相關，再加以校正。 KR20：適用於二元計分（對/錯、0/1）的題目。 Cronbach α係數：可用於多點計分的題目，例如李克特式態度或人格量表；在二元計分時，α與KR20的結果相同。 二、信度與效度：相關的對象不同，意義就不同 概念主要關心判斷線索 內部一致性信度同一份測驗各題是否一致題目間的關係、折半、KR20、α係數、題總相關 再測信度（穩定係數）不同時間施測的結果是否穩定同一群人前後兩次施測分數的相關 評分者信度不同評分者的評分是否一致多人評閱作文、實作或觀察紀錄 效標關聯效度測驗分數與外在效標是否有關與學業成績、期中期末考、後續考試或甄選結果的相關 內容效度試題是否適切涵蓋欲測內容依教學目標、教材範圍與雙向細目表檢視 「有相關」不一定就是信度。各題與同一份測驗總分的關係，可用於內部一致性的試題分析；測驗與外在學業成績的關係，則屬於效標關聯效度。評分者信度也是信度的一種，但只有在評分涉及人為主觀判斷（如作文、實作評量）時，才是優先需要考量的面向；自陳式量表採固定計分，評分者之間幾乎不會有差異，因此不是優先考量。 三、KR20：二元計分測驗的內部一致性指標 KR20（庫李二十號公式）用於二元計分題目的內部一致性信度估計。例如每題答對得1分、答錯得0分的成就測驗，即可使用。判斷關鍵是「計分方式」；若題目採多個得分等級，應改用Cronbach α係數。 KR20利用題數、各題答對與答錯比例，以及測驗總分的變異來估計信度。係數越高，表示在該次施測資料中各題越一致；但高內部一致性不等於測驗已具效度，也不能單憑係數就斷定只測量單一構念。 方法主要用途作答判斷 KR20估計二元計分測驗的內部一致性直接對應信度估計 因素分析分析題目背後的潛在結構用於檢驗建構效度，不是信度係數 雙向細目表規劃教材內容與認知層次的命題分配用於確保內容效度 聚斂相關分析檢查測量相同或相近構念的工具結果是否相關屬於建構效度證據 四、題總相關：提升信度要先處理方向相反的題目 題總相關是單題得分與測驗總分之間的相關。正相關表示總分較高者通常也在該題得分較高；負相關則表示總分較高者反而傾向答錯該題，代表此題與整份測驗的測量方向相反，會直接拉低內部一致性。 負相關可能來自答案誤植、題意模糊、反向題未轉換計分，或題目測量的是不同內容。實務上應先檢查答案、計分與內容；在選項比較時，「刪除與總分負相關的全部題目」是最能提高信度的做法，優先於刪除低正相關的題目。 低正相關的題目仍與總分同方向，對信度仍有些許貢獻；而信度也會隨題數減少而下降，因此刪除正相關題目反而可能使信度降低，不能認為刪得越多信度就越高。 五、難度與試題刪修 以答對率表示難度值（P值）時，數值越大，題目越容易。P＝0代表全體答錯，P＝1代表全體答對；這兩類題目在該群受試者中沒有得分變異，無法區分高低表現，與其他題目也無共變，刪除它們對信度幫助有限，不是提高信度的主要方法。P＝0.5表示約一半答對，鑑別潛力最大，更不是應刪除的理由。 六、教師自編段考成就測驗的特性 信度：重視內部一致性，檢核各題是否共同測量相同的學習目標；學習表現會隨教學進展而改變，因此不以跨時間的穩定性量數（再測信度）作為主要信度指標。 效度：以教學目標衡量，屬於內容效度，常以雙向細目表檢視。 試題分析：能協助教師發現難度、鑑別度或誘答選項的問題，改進命題技術。 結果運用：可作為成績評定、補救教學及調整教學等決策的依據。 常考陷阱 把外在成績相關當成信度：「與學業成績的相關」「與期中、期末考成績的相關」「與教師資格考試成績的相關」都是效標關聯效度；即使測驗目的是預測，也不改變信度的意義。 看到「一致」就選評分人員一致性：要分辨比較的是題目、時間，還是評分者。自我肯定這類自陳量表採固定計分，信度證據應優先考量題目內容一致性。 認為因素分析、雙向細目表、聚斂相關能檢驗信度：三者皆屬效度方面的工具；要估計信度，選KR20。 認為段考信度重視穩定性量數：這是錯誤敘述。穩定性對應再測信度，段考主要關注內部一致性。 先刪低正相關的題目：正相關題目仍有貢獻，刪除反而可能降低信度；應刪的是與總分負相關的題目。 只憑難度決定刪題：刪除難度值為0或1的題目、刪除答對率0.5的題目，都不是提高信度的最佳做法。 記憶口訣 「題內一致看信度，外在成績看效度；二元計分KR20，多點計分用α。」 「負相關的全刪掉，信度才會往上跑；段考信度看內部，效度就對教學目標。」