阿摩線上測驗
登入
阿摩線上測驗
登入
學習重點 政策評估的實驗設計重在辨識政策造成的淨效果，不能把政策實施後的全部變化都歸功於政策。 掌握反事實因果推論：以條件相近、未接受政策處理的群體，估計接受政策者若未接受政策時可能出現的結果。此法屬於實驗或準實驗的評估設計。 分清隨機指派、隨機抽樣與配對指派。真正實驗設計的關鍵是隨機指派；配對指派可用來排除干擾變數。 比較真正實驗、準實驗與前實驗設計的控制能力。真正實驗設計的內部效度最高。 熟記 E、C、O、X（×）、R 的意義，能直接讀懂設計圖示。 核心觀念 一、政策效果與反事實因果推論 政策實施後觀察到的結果，可能同時受到多種因素影響，例如政策本身、景氣變動、社會事件、參與者原有差異。因此，「政策實施後出現改善」不等於「改善全由政策造成」。政策評估必須盡可能排除其他解釋，才能判斷政策的真正效益。 反事實是指：同一個接受政策處理的對象，如果當時沒有接受政策，結果會如何？同一對象無法在同一時間既接受又不接受政策，因此必須建立適當的比較基準。 反事實因果推論模式為國際政策評估所重視，其特點如下： 研究設計：屬於實驗或準實驗的評估研究設計，以施測組（實驗組）與控制組進行比較。 評估目的：可評估政策方案施行後的真正效益（淨效果）。 前提條件：施測組與控制組的條件必須旗鼓相當，兩組差異才可歸因於政策。 非其優點：它不是以「小樣本即可完成、最便捷」見長。要建立可信的比較組並排除干擾，通常需要足夠的樣本與資料，執行上並不簡便。 政策淨效果的基本概念是：接受政策時的結果，減去若未接受政策時的結果。例如評估職業訓練對就業的影響，不能只看受訓者後來有多少人就業，還要比較未受訓但條件相近者的就業情形。 二、如何建立實驗組與控制組 方法意義判斷關鍵 隨機指派以隨機方式將研究對象分配至實驗組與控制組。安排實驗組與對照組觀察對象時應遵守的原則，可提高兩組起始條件的可比較性，是辨識真正實驗設計的關鍵。 配對指派依年齡、教育程度、原有能力等相關特徵，把條件相近者配成對，再分到不同組別。可降低已納入配對的特徵差異，是盡可能排除其他干擾變數影響的方法。 隨機抽樣從母體中以隨機方式抽取研究樣本。重點在樣本代表性，以及結果能否推論至母體；嚴格來說不等同於隨機指派。 隨機指派不保證每項特徵完全相同，而是透過隨機機制，降低分組時的系統性差異。配對指派則針對選定的特徵提高相似性，但不能因此宣稱所有未觀察到的差異都已排除。 配對與隨機指派可以合併使用： 配對後再於各對內隨機分派，仍具有真正實驗的性質。 只依既有資料配對、沒有隨機指派，通常屬於準實驗的安排。 「有配對」與「有隨機指派」是兩個不同的判斷面向。 三、主要實驗設計與內部效度 內部效度是指：研究能否合理認定，觀察到的結果確實由政策處理造成，而不是其他因素所致。在考試常列的設計中，具備隨機分組與控制組的真正實驗設計（真實驗設計），內部效度最高。 設計類型基本安排控制能力與限制 真正實驗設計隨機分派實驗組與控制組，由實驗組接受政策處理，再比較結果。能有效降低選擇偏差，因果推論能力最強，內部效度最高。執行上仍須注意成員退出、組間污染等問題。 準實驗設計未完全採用隨機指派，改以比較組、配對或多次觀察建立比較基準。適用於無法隨機分組的情境，但必須另外處理原有組間差異與其他干擾。 時間序列設計在政策介入前後，對同一群體進行一連串多次觀察。屬於準實驗設計，可辨認既有趨勢與介入後的變化，但仍可能受同期其他事件影響。 靜態比較設計（處理組與比較組）只比較接受政策組與未接受政策組的後測結果；未採隨機指派，也沒有前測。屬於前實驗設計。組間差異可能原本就存在，不能直接視為政策效果。 單一個案研究（one-shot case study）X O：接受政策後，只進行一次結果觀察。屬於前實驗設計，缺少前測與比較組，最難排除其他原因。 內部效度大致由高到低為：真正實驗 ＞ 準實驗（如時間序列）＞ 前實驗（如靜態比較、單一個案研究）。時間序列觀察次數多，資訊比單次觀察豐富，但仍不能因此認定其內部效度高於真正實驗。 四、實驗設計符號與讀圖方式 符號意義辨識提示 E實驗組（也稱處理組、施測組）接受所評估的政策或方案處理。 C控制組（也稱對照組；未隨機分派時常稱比較組）提供比較基準。C 不是「評估的政策」，也不是「衡量的效果」。 O觀察、測量位於 X 前為前測，位於 X 後為後測。 X 或 ×實驗處理，即政府的計畫（政策）介入代表政策或計畫的施行，不是隨機抽樣、控制組或評估誤差。 R隨機指派表示以隨機方式分配研究對象至各組。 典型的前後測控制組設計，可表示為： （R）E O₁ X O₂（R）C O₃ O₄ 圖示由左至右代表時間順序： O₁、O₃ 是兩組的前測，O₂、O₄ 是兩組的後測。 比較實驗組的前後變化（O₂－O₁）與控制組的前後變化（O₄－O₃），即可估計政策效果。 O 的下標只用來區分不同次觀察，並不表示效果大小。 有些考題圖示在 C 列也印有 ×，此時仍應依符號本身作答：開頭的 E 代表實驗組，C 代表控制組；× 代表政策介入，O 代表觀察測量。 常考陷阱 「有兩組就是真正實驗」：錯。靜態比較設計也有處理組與比較組，但沒有隨機分組，屬於前實驗設計。判斷真正實驗看的是隨機，不是組數。 「時間序列觀察次數多，內部效度最高」：錯。時間序列屬於準實驗，內部效度最高的是真正實驗設計。 題幹寫「成員隨機抽樣的真實驗設計」：考題有時用「隨機抽樣」描述真實驗設計的隨機分組。應抓住「真實驗」與「隨機」兩個關鍵，判定為內部效度最高。 「安排實驗組與對照組應遵守前測原則、後測原則或彼得原則」：錯。前測、後測只是測量時點；彼得原則是組織管理概念，指人員會晉升到不能勝任的職位。正確答案是隨機指派。 「排除干擾變數可用類推法、層級分析法、非介入性指派」：錯。類推法屬於預測方法，層級分析法屬於決策評比方法，「非介入性指派」並非分組控制方法。正確答案是配對指派（或隨機指派）。 「反事實評估最便捷之處在於小樣本即可完成」：錯。其核心在建立條件旗鼓相當的比較組，以評估真正效益；小樣本、便捷並非其特點。 「反事實模式不屬於實驗設計」或「不需要兩組條件相當」：錯。它屬於實驗或準實驗設計，而且要求施測組與控制組條件相當。 「配對可排除所有干擾」：過度推論。配對只能改善已納入特徵的平衡。 符號混淆：× 不是隨機抽樣、操作的控制組或評估誤差，而是政府的計畫介入；C 不是實驗組、評估的政策或衡量的效果，而是控制組；衡量結果用的是 O。 記憶口訣 「E 實驗、C 控制、O 觀察、X 介入、R 隨機分派。」 「分組靠隨機，排擾用配對；兩組要相當，淨效看反事實。」 「真實驗第一，準實驗居中，靜態、單一個案墊底。」