主題:信度


想要觀看完整全文,請先登入

信度 穩定性 (時間) 施 測 兩 次   再測信度     穩定係數(時間誤差) 相關分析 智力、性向測驗 複本信度 (平行測驗) 最好的信度 間隔實施 穩定等值係數(時間、內容誤差) 成就測驗 同時實施 等值係數(內容誤差)     一致性 (測驗 內容) 會低估 施 測 一 次   分 兩 半 折半信度   斯布公式 盧隆公式 福樂蘭根 內容取樣誤差     人格測驗 興趣量表 態度量表 整 體 分 析   庫李信度 (20號公式) 二分       α係數 所有信度的最低限 多重計分   內容取樣       霍易特信度   變異數 分析 內容異質性   }信度:指測量結果的一致性(可靠性/穩定性);測量結果是否正確,重複測量能否得到相同結果;題目內容一樣或是適切性佳,測量題數愈多,信度愈高,舉例來說,若以以磅秤測量體重,第一次測得50公斤、第二次卻是60公斤、第三次又變成40公斤,該磅秤的「信度」便很差。在考試測驗,信度高,即代表該份試題能如實反應考生的能力。ex一個學生連續兩天去考同一個測驗,可是所得的結果卻非常不同。如果其他的同學也有相同的情況,我們可說這個測驗沒有信度。 (B)甲乙二項測驗皆為四選一之選擇題,甲測驗共5題,乙測驗共50題。下列敘述何者最可能是正確的?(A)甲測驗的信度高於乙測驗(B)乙測驗的信度高於甲測驗(C)乙測驗的信度將為甲測驗的十倍(D)二項測驗的題數多寡與信度高低無關。 }前提必須是題目內容一樣或是適切性的前提下,題目越多信度越高 一般估計測驗信度的方法可分為四種: 1.重(再)測信度(穩定係數):相同的測驗在不同時間,重複測量同一群受試者兩次,再根據此兩次的測驗分數求其相關係數,此相關係稱為「穩定性量數」,是估計信度最直接的方法(只需一套測驗題目,而時間與情境因素容許施測兩次)。 2.複本信度(等值係數):採用兩個等值的測驗(複本),在相同時間對同一群受試者連續施測,再求得受試者在兩個測驗上得分的相關係數,此種相關係數即為「等質性量數」。複本信度法要求兩個複本除表述模式不同外,在內容、格式、難度和對應題項的提問方向等方面要完全一致,而在實際調查中,很難使調查問卷達到這種要求,因此採用這種方法者較少;是最好的信度考驗方法(適用於前後側)(因不受練習與時間記憶影響)。 3.內部一致性信度:只根據一次的測驗結果就可以估計信度的方法,此種方法有折半信度與庫李信度、Hoyt 信度係數、α信度系數。 (1)折半信度(內部一致性信度):此種方法是將測驗試題分為相等的兩半,一般是以奇、偶數題目來劃分,並分別計算每位受試者在兩半測驗的總得分,再求兩半測驗得分之相關係數(一致性)(只測一次,不受練習影響),最後再採用斯布公式來校正,以估計整個測驗的信度。這種方法一般不適用於事實式問卷(如年齡與性別無法相比),常用於態度、意見式問卷的信度分析。 (2)庫李信度:僅需要實施一次測驗,且不必將測驗分為兩半,此方法根據受試者對所有題目的反應(以受試者對所有題目反應的一致性為根據),分析題目間的一致性,以確定測驗題目是否測量相同的特質。  (3)α信度系數法: Cronbach α信度系數是目前最常用的信度系數,α系數評價的是量表中各題項得分間的一致性,屬于內在一致性系數。這種方法適用于態度、意見式問卷(量表)的信度分析;僅適用於「對或錯」二分化記分測驗ex人格測驗。。 4.評分者信度:是有多位評分者,其評分結果的一致性。缺乏客觀評分標準時使用,例如觀察法、判斷法、人格投射測驗、情境測驗、作文批閱等主觀判斷與意見 }信度:指測量結果的一致性(可靠性/穩定性);測量結果是否正確,重複測量能否得到相同結果;題目內容一樣或是適切性佳,測量題數愈多,信度愈高,舉例來說,若以以磅秤測量體重,第一次測得50公斤、第二次卻是60公斤、第三次又變成40公斤,該磅秤的「信度」便很差。在考試測驗,信度高,即代表該份試題能如實反應考生的能力。ex一個學生連續兩天去考同一個測驗,可是所得的結果卻非常不同。如果其他的同學也有相同的情況,我們可說這個測驗沒有信度。 一般估計測驗信度的方法可分為四種: 1.重(再)測信度(穩定係數):相同的測驗在不同時間,重複測量同一群受試者兩次,再根據此兩次的測驗分數求其相關係數,此相關係稱為「穩定性量數」,是估計信度最直接的方法(只需一套測驗題目,而時間與情境因素容許施測兩次)。 2.複本信度(等值係數):採用兩個等值的測驗(複本),在相同時間對同一群受試者連續施測,再求得受試者在兩個測驗上得分的相關係數,此種相關係數即為「等質性量數」。複本信度法要求兩個複本除表述模式不同外,在內容、格式、難度和對應題項的提問方向等方面要完全一致,而在實際調查中,很難使調查問卷達到這種要求,因此採用這種方法者較少;是最好的信度考驗方法(因不受練習與記憶影響)。 3.內部一致性信度:只根據一次的測驗結果就可以估計信度的方法,此種方法有折半 •符合度:評分者所給的絕對分數是否相同,可以顯現評分者的嚴苛程度的一致性。如-大學推薦甄選 •相關係數:評分者對受測者間的排序是否相同,即兩者對受測者的排序相似,評分者的相關就高。 •評分者間信度:不同評分者間作比較-評分者內信度:同一評分者給分的比較或同一被評者得分的比較 ---------------------------------------------------------- 不推相關係數:評分者對受評量者間的排序是否相同。   受測者的排序相似,評分者的相關就高。例如:A評分者傾向給高分,而B評分者傾向給低分。但是A與B兩個評分者的評分排序十分相似。那麼,這兩位評分者的評分就會呈現高相關,評分者給分的嚴苛程度不會影響相關大小。 符合度:所給的絕對分數是否相同,可以顯現評分者的嚴苛程度的一致性。   在評分時有些評分者傾向嚴格給分,有些評分者則給分較鬆,同樣是第一名,A老師給80分而B老師給90分。在這樣的情況下,相關大小並無法反應此種絕對分數的差異。因此,如果根據評量結果所做的決策是絕對分數的高低,(例如:大考的作文評分、60分及格)此時評分者間的符合度比評分者間的相關來的重要。    有可能出現相關度高而符合度低,或者,相關度低但符合度高的情況。    改寫自:google的電子書《教育測驗與評量: 教室學習觀點》 作者:王文中 信度指測驗分數的一致性或穩定性 信度:在不同時間,測量同一群受試者兩次,所得結果的一致性 (用同樣的測驗) 信度意指即使不同評分者、不同情境測試,結果都穩定。 信度底下有: 重測信度─【穩定係數】 ,若希望用測驗分數做長時間的預測,就用重測信度。 複本信度─【等值係數、等值與穩定係數】,若測驗目的只想推論個人在某一學科領域中所具有的知識程度, 就用複本信度。複本信度是兩個複本測驗實施於一群相同的受試者,依據所測得的分數求相關。 內部一致性信度─【折半方法(內部一致性係數)、庫李方法、α係數】 信度一 1.指測驗的可靠性(穩定性與一致性) 2.數的值域0〜1 3.一份優良的教育測驗至少具有.80以上的信度值,才有使用的價值。 4.受測者的分數包含 a.誤差變異量 b.無關變異量 c.有關變異量 關於A選項,信度與效度都是指測驗結果。 「對於效度的意義,測驗學界的傳統看法主張效度是指測驗測量到它所宣稱欲測量的特質之程度。近年來測驗學者對於效度的看法,較傾向將效度界定為對測驗結果的詮釋與使用之適切程度。」 涂金堂 《教育測驗與評量》 至於「正確性或可靠性」我覺得是用詞解釋問題,當時我是這麼解讀的:「測驗所量到的結果能否正確地反應要量的特質」。當然,我也同意這題用詞不佳,因為信度與效度都可以用這兩個詞形容.......。 至於B選項,他的意思是,你不能單純用「有效」、「無效」的二分法來幫測驗結果分類,比較好的描述法是「高效度」...... <- 「而是程度上的差別」的意思在此。(當然,直接把給數值就更好了,只是需要對此有概念才能理解數值的意義, 所以一般還是會給一些敘述性的描述。) 既然效度是針對測量結果,「拿體重計量身高」連「結果」都沒有,自然沒辦法討論「效度」。至於「拿體重計量到的體重,來解釋身高」就只能說「效度不佳」而不是「無效」 以上是一點個人想法,有錯請用力鞭,謝謝 1.  Pearson積差相關 特性:數值穩定、標準誤小。 例:工作時數與收入的關係。 2.  Spearman等級相關 特性:適用於二個評分者評N件作品,或同一位評分者,先後二次評N件作品。 例:兩位評審對N件學生作品之評定。 3.  Kendall等級相關 特性:相當簡便 例:兩位評審對N件學生作品之評定。 4.  Kendall和諧係數\ 特性:特別適用於評分者間信度(interjudge reliability);考驗多位評審者對N件作品評定等第之一致性。 例:多位評審對N件學生作品之評定。   各類相關細述之適用變數整理 X Y 名義變項 次序變項 等距以上變項 名義變項 列聯相關 相關 Kappa一致性係數 四分相關   點二系列相關 二系列相關 多系列相關 次序變項   Spearman等級相關 Kendall等級相關 Kendall和諧係數 等距以上變項 點二系列相關 二系列相關 多系列相關 Pearson積差相關 淨相關 相關比 23.某教師自編數學科測驗20題,信度係數.50,如果該學科測驗再增加40題,信度係數變成多少?(A)0.55(B)0.65(C)0.75(D)0.85     有60題,為原來的三倍,所以n=3。 3*0.5/(1+(3-1)*0.5)=3/4=0.75 一、信度分析 信度(Reliability)即可靠性,它是指采用同樣的方法對同一對象重複測量時所得結果的一致性程度。信度指標多以相關係數表示,大致可分為三類︰穩定系數(跨時間的一致性),等值系數(跨形式的一致性)和內在一致性系數(跨項目的一致性)。信度分析的方法主要有以下四種︰  1、重測信度法 這一方法是用同樣的問卷對同一組被調查者間隔一定時間重複施測,計算兩次施測結果的相關系數。顯然,重測信度屬于穩定系數。重測信度法特別適用于事實式問卷,如性別、出生年月等在兩次施測中不應有任何差異,大多數被調查者的興趣、愛好、習慣等在短時間內也不會有十分明顯的變化。如果沒有突發事件導致被調查者的態度、意見突變,這種方法也適用于態度、意見式問卷。由於重測信度法需要對同一樣本試測兩次,被調查者容易受到各種事件、活動和他人的影響,而且間隔時間長短也有一定限制,因此在實施中有一定困難。   2、複本信度法 複本信度法是讓同一組被調查者一次填答兩份問卷複本,計算兩個複本的相關系數。複本信度屬于等值系數。複本信度法要求兩個複本除表述模式不同外,在內容、格式、難度和對應題項的提問方向等方面要完全一致,而在實際調查中,很難使調查問卷達到這種要求,因此採用這種方法者較少。   3、折半信度法 折半信度法是將調查項目分為兩半,計算兩半得分的相關系數,進而估計整個量表的信度。折半信度屬于內在一致性系數,測量的是兩半題項得分間的一致性。這種方法一般不適用于事實式問卷(如年齡與性別無法相比),常用于態度、意見式問卷的信度分析。在問卷調查中,態度測量最常見的形式是5級李克特(Likert)量表。進行折半信度分析時,如果量表中含有反意題項,應先將反意題項的得分作逆向處理,以保證各題項得分方向的一致性,然後將全部題項按奇偶或前后分為儘可能相等的兩半,計算二者的相關係數(rhh,即半個量表的信度系數),最後用斯皮爾曼-布朗(Spearman-Brown)公式︰ 求出整個量表的信度系數(ru)。   4、α信度系數法 Cronbach α信度系數是目前最常用的信度系數,α系數評價的是量表中各題項得分間的一致性,屬于內在一致性系數。這種方法適用于態度、意見式問卷(量表)的信度分析。 資料來源:http://tw.myblog.yahoo.com/jw!92LDo22WESgxsO1gnU8j1yA-/article?mid=105  信度類型: •  再測信度(test-retest reliability) –  係指以同一種測量工具,對同一群受試者,前後測驗兩次的相關係數。又稱穩定係數。 •  複本信度(a1ternate-form reliability) –  同一群受試者接受兩種複本測驗的得分之相關係數。 等值穩定係數",也就是複本信度,誤差來源是時間誤差+內容取樣誤差 •  折半信度(split-half reliability) –  測驗題目依題目的單雙數或其他方法分成兩半,計算受測者在兩半測驗上的分數的相關係數。 •  內部一致性係數(coefficient of internal consistency) –  反映測量工具內部同質性、一致性或穩定度。同質性越高,代表量表試題是在測量相同的特質。KR20適用於二分變數的測量,Cronbach’s α適用於多元尺度變數的測量 •  評分者間信度(inter-rater reliability) –  不同的評量者間分數的相關係數。   1.  柯能畢曲α係數(Cronbach α):1951年Cronbach提出α係數,克服部分折半法的缺點,為目前社會科學研究最常使用的信度。 量測一組同義或平行測驗總和的信度,如果尺度中的所有項目都在反映相同的特質,則各項目之間應具有真實的相關存在。若某一項目和尺度中其他項目之間並無相關存在,就表示該項目不屬於該尺度,而應將之剔除。   可信度高低與Cronbach α係數之對照表 可信度 Cronbach α係數 不可信 Cronbach α係數<0.3 勉強可信 0.3≦Cronbach α係數<0.4 可信 0.4≦Cronbach α係數<0.5 很可信(最常見) 0.5≦Cronbach α係數<0.7 很可信(次常見) 0.7≦Cronbach α係數<0.9 十分可信 0.9≦Cronbach α係數

想要觀看完整全文,請先登入


關鍵字:信度複本信度折半信度內部一致性信度再測信度一致性評分者信度重測信度穩定係數