學習重點 掌握自編測驗流程:擬定計畫→撰寫試題→審查試題→試題分析→編輯試題,並區分雙向細目表與行為內容矩陣。 熟悉一般命題原則、選擇題誘答設計,以及各題型的優點與限制。 區分常模參照與標準參照,理解題庫管理及電腦化適性測驗。 辨認測驗偏差、語意差別法與 S-P 表的粗心大意型。 核心觀念 一、測驗編製流程與規劃工具 自編試題的流程為擬定計畫、撰寫試題、審查試題、試題分析、編輯試題。先確定目的、範圍與目標,再命題、審查;透過試作或預試分析試題品質,修訂後編輯成正式試卷。正式施測後,也可再分析、修訂試題。 雙向細目表以學習內容與學習目標或認知層次為兩軸,規劃各部分的題數與比重,使內容取樣具代表性,是確保內容效度的重要工具。均勻取材不表示每個單元題數相同,而是依重要性與教學比重配置。 行為內容矩陣以圖解呈現某個概念或技能在不同認知層次中,如何教學與評量。作業分析著重拆解任務及先備技能;反向計畫則從預期成果出發,規劃評量證據與教學活動。 二、一般命題與試卷編輯原則 取材應有代表性,測量重要概念,避免偏重零碎知識。 文字清楚簡潔,避免答案暗示及與測量目標無關的閱讀負擔。 各題應彼此獨立,不能互相提示答案,也不宜讓前題答對成為後題作答的必要條件。涵蓋同一單元不等於各題必須互相依賴。 試題宜由易至難排列;同類題型可集中,並提供明確作答說明。 三、選擇題與誘答選項 一題宜聚焦一個主要測量目標。題幹應完整、簡潔,優先使用肯定敘述,避免「何者有誤」等否定問法;必要時應清楚標示否定字。取材以教學目標為依據,不能只因學生感興趣就優先採用。 選項應同質,語法、長度與表達方式盡量一致,正確選項不應因特別長或特別精確而露出線索。單選題應有明確的唯一正確或最佳答案。 誘答力來自學生常見的錯誤觀念與錯誤解法。好的誘答項看似合理,能吸引尚未掌握知識者,但掌握知識者能排除。分析各誘答項被選的比例,可以修正試題,也能提供教學診斷訊息。不能靠複雜措詞、文字陷阱或刻意混淆來增加誘答力。 四、題型特性比較 題型主要優點限制與命題重點 選擇題計分客觀迅速、內容取樣廣;誘答有診斷價值;可評量不同認知層次。優良試題不容易編製,尤其誘答項;不易直接評量自行組織與表達答案的能力。 是非題作答迅速,可涵蓋較多內容。隨機猜對機率為二分之一,較易受反應心向影響;增加題數可減低猜測對總分的影響。 配合題短時間內測量大量相關聯的事實資料。題目與選項應同質;選項宜多於題目,減少刪去法提供的線索。 填空、簡答題由學生自行提供答案,降低猜測。答案應明確;同題多個空格的長度、大小應一致,避免暗示答案。簡答題相較申論題,較不易評量高層次能力。 論文、申論題適合評量組織、統整、論證及創造能力。作答與評閱耗時,內容取樣通常較少,評分較易受主觀因素影響。 在其他條件相近時,選擇題通常比是非題有較佳的信度,也較少受固定答「是」或「否」等反應心向干擾。增加是非題題數,不會改變每題的猜對機率。 五、論文題的命題與評分 宜用多題短答取代少題長答,擴大內容取樣;仍須依目標保留適當的論述要求。 不宜提供多題讓學生自由選答,以免評量內容不同,降低分數可比較性。 評閱前訂定參考答案與評分規準。 以題為單位評閱,先改完所有人的同一題,再改下一題;同一題宜集中於同一時段評閱,減少標準漂移。 採匿名或彌封方式,避免對學生的既有印象影響評分。 六、參照方式、題庫與適性測驗 項目常模參照標準參照 目的比較個人在團體中的相對位置。判斷特定知識、技能的掌握程度。 選題重點偏重難度中等、鑑別度高,以區分個別差異。依目標與精熟要求選題,不必一律追求中等難度。 分數解釋原始分數須對照適當常模,才能解釋相對表現。對照預先訂定的標準,判斷是否達標。 校內供共同檢測程度的正式題庫應管理曝光,不宜直接全部開放自由練習,以免記憶答案干擾評量;練習用途可另設練習題庫。題庫仍宜適度納入非選擇題,配合評分規準滿足評量目的,也不應因擔心競爭而否定建立題庫。 以常模比較程度時,原始分數應對照常模;但不能推論所有測驗都必須使用常模,標準參照測驗是對照達標要求。 電腦化適性測驗依受試者作答反應更新能力估計,再選取適合其能力的試題,最符合因應個體狀態的「客製化」評量。認知診斷著重知識、技能屬性的掌握情形;動態評量著重協助後的學習潛能;實作評量著重實際操作表現。 七、測驗偏差與相關名詞 測驗偏差或試題偏差是指性別、種族、居住地區或文化背景等與測量目標無關的因素,系統性地影響作答,使特定族群處於不利位置。例如生活情境只為某些地區的學生熟悉,其他學生因不了解情境而無法表現原有能力。 單憑族群答對率不同,不能直接證明偏差;判斷關鍵是差異是否來自與欲測能力無關的因素。 測驗誤差:測得分數與真實表現間的偏離,不能直接等同族群文化偏差。 評分者偏差:評分者的寬嚴、印象或月暈效應造成評分偏誤。 抽樣偏差:樣本選取不具代表性,影響推論或常模適用性。 八、語意差別法與 S-P 表 語意差別法,又稱語意區分技術,由奧斯古德提出。以好—壞、有趣—無聊等兩極化形容詞,讓受試者在量尺上評定某個事物或概念,了解其知覺與情感反應。 人物配對:李克特是總加量表,瑟斯通是等距量表,葛特曼是累積量表。Q 技術著重敘述排序;強迫選擇法要求在選項中作取捨;投射測驗則以模糊刺激引出反應。 S-P 表用於分析學生與試題的作答組型。注意係數高表示作答組型較不尋常,不是表示專心程度高。當答對百分比在75% 以上,且注意係數在0.5 以上,判為粗心大意型:整體成績高,卻出現簡單題答錯等不一致反應。 常考陷阱 「先編輯試題,最後才分析」:編製流程應先審查、分析,再編輯;正式施測後仍可持續分析。 「一題混測多項概念」「題幹增加無關資訊」:應聚焦測量目標,避免額外負擔。 「選項盡量不同」「正解字數較多」「文字越複雜越有誘答力」:應同質且無線索,誘答取自常見錯誤。 「選擇題容易命題」「申論題取樣更有代表性」:優良選擇題難編製,但內容取樣通常較廣。 「是非題較不受反應心向影響」:方向相反;增加題數也不會降低單題猜對機率。 「標準參照重中等難度」「常模參照檢驗精熟」:兩者目的與選題重點被對調。 「空格等長是為排版」「各題必須有關連」:等長為避免線索;各題應能獨立作答。 「知道學生身分有助公平評閱」:應匿名、逐題評閱,減少既有印象干擾。 「注意係數越高越專心」:高係數代表組型異常;高分加高係數才是粗心大意型。 記憶口訣 編製:「計、寫、審、析、編」。 選擇:「目標聚焦、題幹簡潔、選項同質、誘答迷思」。 常模看位置,標準看精熟。 奧斯古德兩極詞;高分高係數,粗心要留意。