阿摩線上測驗
登入
阿摩線上測驗
登入
學習重點 效度關心測驗結果的正確性，以及分數解釋與使用是否符合目的，是選用測驗時最重要的考量。 分清內容效度、效標關聯效度、構念效度與表面效度；同時效度與預測效度都屬於效標關聯效度。 掌握適用情境：成就測驗重內容，性向與甄選重預測，心理特質與理論驗證重構念。 能判讀聚斂、區別效度，並認識因素分析及多項特質多項方法矩陣的用途。 核心觀念 一、效度與信度 效度是測驗能否測到所欲測量的內容或特質、達成預定用途的程度。考試常以「測驗結果的正確性」或「測量內容的正確性」表達。更精確地說，效度針對特定對象與用途下的分數解釋，不能只因某測驗在一種用途有效，就認定所有用途都有效。 信度關心可靠性、一致性與穩定性；效度關心是否測得正確。信度是效度的必要條件，但不是充分條件：測量穩定，仍可能穩定地測錯東西。因此選用語文能力測驗等工具時，應優先確認效度，再考量信度、常模與實用性。 效度與相關係數有關：測驗分數與外在效標分數的相關，可作為效標關聯效度係數；但不是所有效度證據都用一個相關係數表示。 在古典測驗理論的通常假設下，測驗與效標相關的絕對值，上限不超過測驗信度係數的平方根；若效標本身也有測量誤差，上限還受效標信度限制。不能說效度上限是信度係數的「平方」。 其他條件相近時，樣本越同質，分數範圍越受限制，觀察到的相關通常越低；不能認定「樣本同質性越高，效度越高」。這是在說相關係數受到樣本影響，不是所有效度證據都必然下降。 二、內容效度：是否充分代表教學範圍 內容效度關心試題是否適切且充分地代表預定測量的教材內容與教學目標，不能只考少數單元，也不能遺漏重要能力。 先依課程綱要與學習重點界定範圍，再用雙向細目表安排內容與認知層次，兼顧各單元的重要性。 邀請學者專家或領域教師審題，檢查題目與目標是否相符、內容是否具代表性，是建立內容效度的典型方式。 內容效度主要依靠內容分析與專業判斷，不必以測驗和另一份測驗的相關來建立。 成就測驗最應重視內容效度，包括數學成就測驗、期中考、定期評量，以及用來確認學生目前學科學習成果的測驗。 三、效標關聯效度：是否符合外在表現 效標關聯效度又稱效標效度，以測驗分數與外在效標的關係，判斷測驗是否有效。例如自編數學測驗與縣市學力檢測、英語測驗與會考英語成績、定期評量與全校共同評量的相關，都是此類證據。 類型判斷關鍵用途與例子 同時效度效標與測驗在大約同一時期取得估計目前狀態，如新測驗與同期既有測驗的結果比較。 預測效度先取得測驗分數，再取得未來效標預測日後表現，如入學成績預測大學學業表現、教師甄選預測任教表現。 性向測驗與甄選工具最需重視預測效度。藝術或音樂資優班招生、教師性向量表甄選專業潛力，都著重未來表現。用智力測驗推估未來學習成就，也應看預測效度。高一成績與日後學測成績的關係，同樣屬於預測效度。 效標應貼近測驗真正想判斷的行為。因此教師甄選測驗的理想效標，是錄取後在學校的實際服務表現；其他地區的甄選分數或過去修課成績，較不能直接代表任教成效。效標不一定是另一份測驗，也可以是學業、工作或實際行為表現。 若只交代測驗與外部成績求相關，未明確說明時間關係，應先判定為效標關聯效度，不要自行假設為同時效度。若明確描述預測未來，但選項只有「效標效度」，則選其上位類別。 四、構念效度：是否符合理論上的特質 構念效度又稱建構效度，是測驗能否反映理論構念，以及測驗結果符合編製理論的程度。智力、自我概念等不能直接觀察的特質，需要透過多種證據支持。 因素分析：檢查題目形成的因素結構，是否符合理論預期，是探討構念效度的重要方法。 發展變化：若理論預期某能力隨年齡成長，測驗結果也呈現相應變化，可支持構念效度。例如新智力測驗樣本的得分隨年齡提高。 理論預期的差異與關係：不同團體的分數差異、介入後的改變，或與其他特質的關係若符合預期，都可提供證據。 沒有現成有效測驗可供參照時，可從所測特質的理論定義出發，建立構念效度；但仍須蒐集證據，不能僅憑理論宣稱有效。 五、聚斂、區別效度與多項特質多項方法矩陣 概念比較方式支持效度的結果 聚斂效度，又稱輻合效度用不同方法測量相同特質結果應有較高相關，顯示不同方法指向同一構念。 區別效度，又稱區辨效度比較不同特質的測量，方法可相同或不同相關應較低，或低於同一特質的相關，顯示構念可被區分。 以學生自陳與教師評定兩種方法測量同一個生涯探索概念，再比較分數，著重的是聚斂效度。若改為不同方法測量不同特質，則是在蒐集區別效度證據。關鍵先看「特質是否相同」，不能只看到方法不同就選區別效度。 多項特質多項方法矩陣（MTMM）由坎培爾（Campbell）與費斯克（Fiske）提出，結合多種特質與多種測量方法，比較相關模式，同時檢驗聚斂與區別效度，屬於構念效度的考驗方式。 六、表面效度與整體判讀 表面效度指一般人或受試者覺得測驗「看起來像是在測」預定內容，可能影響接受度與作答意願，但不能單憑外觀證明測量有效。專家系統性檢視題目是否符合內容範圍，應判為內容效度。 同一份測驗可以同時蒐集多類效度證據：依雙向細目表命題並審題，是內容效度；與同期類似測驗比較，是同時效度；與之後的期末成績比較，是預測效度。若未比較不同特質，也未檢驗特質間可區分的關係，就缺少區別效度證據。 常考陷阱 「穩定、可靠、一致」指信度；「正確、符合用途」指效度。不能把兩者互換，也不能說效度是信度的必要條件。 成就測驗重內容，是問優先重視何種效度。若情境明確描述與會考成績求相關，則應依實際蒐證方式判為效標關聯效度，不能只見「成就測驗」就一律選內容效度。 「目前」不必然等於同時效度。確認目前學科成就而重視教材代表性，仍是內容效度；必須有同期外在效標的比較，才是同時效度的典型情境。 年齡差異不等於預測未來。不同年齡樣本的分數符合理論發展趨勢，支持構念效度；先測驗、再追蹤日後表現，才是預測效度。 高相關要看比較對象。與外在效標相關可支持效標關聯效度；同特質跨方法的高相關支持聚斂效度；不同特質相關過高，反而可能不利區別效度。 未來表現預測得準，直接支持效度。不能因此直接斷定信度高、鑑別度佳或題目容易。 記憶口訣 成就看內容，性向看預測，理論看構念。 內容看代表，效標看表現；同期是同時，日後是預測。 同特質要聚，異特質要分；因素驗構念，外觀看表面。 穩定一致是信度，正確有效是效度。