阿摩線上測驗
登入
阿摩線上測驗
登入
學習重點 掌握效度的判斷核心：評量結果能否支持教師對學生目標能力的解釋與使用。 辨認構念無關因素：作答方式陌生、背景知識干擾，以及與目標無關的語文扣分，都可能使分數偏離欲測能力，降低效度。 區分「熟悉作答程序」與「熟悉測驗內容」：前者可排除操作障礙，提升效度；後者可能讓學生靠既有知識作答，反而干擾效度。 判斷試題修改是否恰當：指導語、提示、題型及評分規準都應直接對應評量目標，不可加入無關輔助而掩蓋欲測能力。 核心觀念 一、先找出欲測構念，再判斷分數受到什麼影響 構念是評量想測量的能力或特質，例如閱讀理解、聽力理解、自然科高層次推理，或理解字詞相反意義的能力。作答時需要運用的能力很多，但不一定全部都是評量目標。 構念無關變異是指分數差異受到欲測能力以外的因素影響。例如，學生聽得懂內容，卻因不熟悉聽力測驗的填答程序而失分；或能提出合理的科學推論，卻因標點錯誤而被扣分。這些因素使分數混入無關能力，降低評量結果的效度。反過來說，排除構念無關因素，就是提升效度的主要途徑。 判斷時可依序問：要測什麼？學生為何得分或失分？這個原因是否屬於評量目標？同一因素是否無關，須依目標判定。例如，標點運用若是語文表達的評量目標，就可以納入評分；若只評量自然科推理，便不宜加入標點扣分。 二、熟悉作答方式，可以排除非目標能力的干擾 正式測驗前，協助學生熟悉聽力測驗的指示、作答流程與填答方式，能減少「會聽卻不會操作」造成的失分。這類練習讓學生知道如何呈現答案，使分數更能反映聽力理解能力，因此最可能提高效度。 程序練習不等於內容提示。適當作法是用示例說明操作，而非預先提供正式測驗的答案或關鍵內容。若練習直接教會受測題目的答案，分數反映的就是記憶或練習效果，而非原本要測的能力。 作法可能影響判斷關鍵 正式測驗前熟悉聽力測驗的作答方式減少程序陌生造成的失分排除與聽力理解無關的障礙，效度提高 以學生熟悉的歷史故事測閱讀理解學生可能依背景知識回答，未必真的讀懂文本答對是否確實來自閱讀理解；背景知識是干擾來源 全校段考以選擇題取代開放題評分較客觀方便，但改變學生呈現能力的方式題型是否適合評量目標，不能一概認定效度較高 要求資優班申請者提出在校成績增加一項參考資料在校成績不等於資優特質，資料須切合選才目標才有助效度 熟悉的題材不一定不能命題，但熟悉本身不保證提高效度。若學生不必理解本次文本，就能靠記得的故事內容作答，便難以確定分數反映多少閱讀理解能力。閱讀理解測驗通常宜選用學生未讀過的文本，以免背景知識混入分數。 三、評分規準必須對準評量目標 自然科實作若以高層次推理能力為目標，應依學生的推理歷程、證據運用及解釋是否合理評分。若另因錯別字、文法、標點而扣分，便將語文形式混入自然科推理分數，推理能力相近的學生可能因文字表現不同而得到不同分數，受影響最大的是效度。 即使教師出於提醒學生重視表達的善意，或只在零至六分中扣一分，仍須檢查該扣分是否符合評量目標。扣分少，不代表不影響效度；教學用意良好，也不代表評分依據適當。若要提醒語文錯誤，可給予文字回饋而不列入分數。 概念主要關注本單元的判讀方式 效度分數是否測到欲測能力、解釋與使用是否適切目標外的語文扣分，使分數偏離推理能力 信度評量結果是否穩定、一致扣分即使一致，仍可能扣錯能力；一致不等於有效 客觀性評分是否不受評分者主觀影響「斟酌」雖帶主觀色彩，但核心問題是把非目標能力計入分數 常模提供比較個人相對位置的參照團體與評分內容是否切合目標無關 四、修改題目：消除誤解，保留欲測能力 學生答錯時，應先確認錯誤來自目標能力不足，還是題意表達不清。例如，題目想測字詞的相反意義，學生卻把「相反字」誤解成別的意思（如誤以為要把字形左右顛倒書寫），問題就出在指導語，應把作答要求改得更明確，而不是另外加上與誤解無關的提示。 改為「寫出意思相反的字」：直接點明是「意義」上的相反，消除指導語歧義，恰當。 改為克漏字詞彙填空（如「上面－（ ）面」）：以詞彙脈絡呈現意義關係，作答要求更具體，學生仍須理解相反意義才能作答，恰當。 改為配合題（候選字多於題數）：由多個候選字中配對意思相反的字，作答要求清楚；候選字多於題數可降低靠刪去法猜答，恰當。 在作答空格旁加註該字的注音：較不恰當。注音只提供讀音，並未澄清「相反」的語意要求；若標的是答案字的讀音，等於直接提示答案，學生只要依音寫字即可，測到的變成注音認字能力，掩蓋了欲測的相反意義理解。 提示不是愈多愈好。好的修改，是移除無關障礙，同時保留學生必須展現的能力。加入的提示若與評量目標無關，會增加無關負荷，或替學生完成本該由他們展現的能力，兩者都會降低效度。 常考陷阱 「選擇題容易評分，所以效度一定較高」：評分客觀、一致，不等於能測到目標能力；須看目標是否需要自行組織、表達或實作。 「學生熟悉的故事更能測閱讀理解」：熟悉內容會讓背景知識代替文本理解，屬於干擾效度的因素。要區分熟悉「作答方式」與熟悉「答案內容」。 「增加在校成績等資料，就能提高效度」：資料多寡不是關鍵，資料與選才目標的關聯才是關鍵。 「自然科也要重視語文，所以錯字一律扣分」：跨領域的教學期待，不能直接成為本次評量的扣分依據，應先確認語文是否屬於評量目標。 「看到斟酌扣分，就選客觀性或信度」：情境重點若是把非目標能力計入分數，首要影響是效度；若強調不同評分者標準不一，才聚焦客觀性或評分者信度。 「加注音一定能幫助學生理解題意」：讀音協助與語意澄清功能不同。誤解的是意義關係時，應改寫指令；加註答案讀音反而洩題、改變所測能力。 「題目改得更容易，就是更有效」：容易與有效不能畫上等號；必須確認答對仍代表學生具備欲測能力。 記憶口訣 「目標先定，無關排淨；指令說清，提示對準。」 遇到效度情境，先圈出欲測能力，再找出多加的要求、扣分或提示：凡讓分數偏離目標能力的（陌生作答方式、背景知識、目標外扣分、洩題提示），都會降低效度；能排除這些干擾的作法，才是提升效度的答案。