(1)考察測驗(yàn)的內(nèi)容效度,因?yàn)橛行y驗(yàn)對所測內(nèi)容或行為范圍的定義或解釋類似于理論構(gòu)想的解釋,所以內(nèi)容效度高實(shí)質(zhì)上也說明結(jié)構(gòu)效度高。
(2)計(jì)算測驗(yàn)的同質(zhì)性信度的方法來檢測結(jié)構(gòu)效度。若有證據(jù)表明測驗(yàn)不同質(zhì),則可以斷定該測驗(yàn)結(jié)構(gòu)效度不高。
(3)利用相容效度法,考察新編制的測驗(yàn)與某個(gè)已知的能有效測量相同特質(zhì)的測驗(yàn)之間的相關(guān)。若兩者相關(guān)較高,則說明新測驗(yàn)有較高的效度。
(4)利用區(qū)分效度法,考察新編測驗(yàn)與某個(gè)已知的能有效測量不同的特質(zhì)的舊測驗(yàn)間的相關(guān)。若兩者相關(guān)較高,表明測到了其他心理特質(zhì),則新測驗(yàn)效度不高。
(5)對一組測驗(yàn)進(jìn)行因素分析,找出影響測驗(yàn)的共同因素,每個(gè)測驗(yàn)在共同因素上的負(fù)荷量(即測驗(yàn)與各因素的相關(guān))就是測驗(yàn)的因素效度,測驗(yàn)分?jǐn)?shù)總變異中來自有關(guān)因素的比例就是該測驗(yàn)結(jié)構(gòu)效度的指標(biāo)。
(6)綜合應(yīng)用相容效度法和區(qū)分效度法,若用多種極不相同的方法測量同一種特質(zhì)相關(guān)很高,或用極為相似的方法測量不同特質(zhì)相關(guān)很低,則說明測量效度很高。若有多種特質(zhì)都接受了多種方法的測量,就可以分別計(jì)算出任意兩種方法測量同一種特質(zhì)的相關(guān)和測量不同特質(zhì)的相關(guān),以及任意兩種特質(zhì)接受同一方法和不同方法的相關(guān)。 (1)分析被試答題的過程。若有證據(jù)表明某一題的作答除了反映所要測的特質(zhì)外,還反映其他因素的影響,則說明該題沒有較好地體現(xiàn)理論構(gòu)想,該題的存在會降低結(jié)構(gòu)效度。
(2)根據(jù)所要預(yù)測的效標(biāo)的性質(zhì)和種類來推斷結(jié)構(gòu)效度,有兩種做法:其一,根據(jù)效標(biāo)把人分為兩類,考察其得分的差異。若兩組人得分差異顯著,則說明該測驗(yàn)有效,具有較高的結(jié)構(gòu)效度。其二,根據(jù)測驗(yàn)得分把人分成高分組和低分組,考察這兩組人在所測特質(zhì)方面是否有差異。若兩組人在所測特質(zhì)方面差異顯著,則說明該測驗(yàn)有效,具有較高的結(jié)構(gòu)效度。總結(jié)
效度分析有多種方法,其測量結(jié)果反映效度的不同方面。常用于調(diào)查問卷效度分析的方法主要有以下幾種。
單項(xiàng)與總和相關(guān)效度分析
表面效度(Face Validity)。也稱為內(nèi)容效度或邏輯效度,指的是測量的內(nèi)容與測量目標(biāo)之間是否適合,也可以說是指測量所選擇的項(xiàng)目是否“看起來”符合測量的目的和要求。主要依據(jù)調(diào)查設(shè)計(jì)人員的主觀判斷。
這種方法用于測量量表的內(nèi)容效度。內(nèi)容效度又稱表面效度或邏輯效度,它是指所設(shè)計(jì)的題項(xiàng)能否代表所要測量的內(nèi)容或主題。對內(nèi)容效度常采用邏輯分析與統(tǒng)計(jì)分析相結(jié)合的方法進(jìn)行評價(jià)。邏輯分析一般由研究者或?qū)<以u判所選題項(xiàng)是否“看上去”符合測量的目的和要求。統(tǒng)計(jì)分析主要采用單項(xiàng)與總和相關(guān)分析法獲得評價(jià)結(jié)果,即計(jì)算每個(gè)題項(xiàng)得分與題項(xiàng)總分的相關(guān)系數(shù),根據(jù)相關(guān)是否顯著判斷是否有效。若量表中有反意題項(xiàng),應(yīng)將其逆向處理后再計(jì)算總分。
準(zhǔn)則效度分析
準(zhǔn)則效度(Criterion Validity)。又稱為效標(biāo)效度或預(yù)測效度。準(zhǔn)則效度是指量表所得到的數(shù)據(jù)和其他被選擇的變量(準(zhǔn)則變量)的值相比是否有意義。根據(jù)時(shí)間跨度的不同,準(zhǔn)則效度可分為同時(shí)效度和預(yù)測效度。準(zhǔn)則效度分析是根據(jù)已經(jīng)得到確定的某種理論,選擇一種指標(biāo)或測量工具作為準(zhǔn)則(效標(biāo)),分析問卷題項(xiàng)與準(zhǔn)則的聯(lián)系,若二者相關(guān)顯著,或者問卷題項(xiàng)對準(zhǔn)則的不同取值、特性表現(xiàn)出顯著差異,則為有效的題項(xiàng)。評價(jià)準(zhǔn)則效度的方法是相關(guān)分析或差異顯著性檢驗(yàn)。在調(diào)查問卷的效度分析中,選擇一個(gè)合適的準(zhǔn)則往往十分困難,使這種方法的應(yīng)用受到一定限制。
結(jié)構(gòu)效度分析
結(jié)構(gòu)效度(Construct Validity)。是指測量結(jié)果體現(xiàn)出來的某種結(jié)構(gòu)與測值之間的對應(yīng)程度。結(jié)構(gòu)效度分析所采用的方法是因子分析。最關(guān)心的問題是:量表實(shí)際測量的是哪些特征?在評價(jià)建構(gòu)效度時(shí),調(diào)研人員要試圖解釋“量表為什么有效”這一理論問題以及考慮從這一理論問題中能得出什么推論。結(jié)構(gòu)效度包括同質(zhì)效度、異質(zhì)效度和語意邏輯效度。有的學(xué)者認(rèn)為,效度分析最理想的方法是利用因子分析測量量表或整個(gè)問卷的結(jié)構(gòu)效度。因子分析的主要功能是從量表全部變量(題項(xiàng))中提取一些公因子,各公因子分別與某一群特定變量高度關(guān)聯(lián),這些公因子即代表了量表的基本結(jié)構(gòu)。通過因子分析可以考察問卷是否能夠測量出研究者設(shè)計(jì)問卷時(shí)假設(shè)的某種結(jié)構(gòu)。在因子分析的結(jié)果中,用于評價(jià)結(jié)構(gòu)效度的主要指標(biāo)有累積貢獻(xiàn)率、共同度和因子負(fù)荷。累積貢獻(xiàn)率反映公因子對量表或問卷的累積有效程度,共同度反映由公因子解釋原變量的有效程度,因子負(fù)荷反映原變量與某個(gè)公因子的相關(guān)程度。
信度分析也稱為可靠性分析,用于測量樣本回答結(jié)果是否可靠,即樣本有沒有真實(shí)作答量表類題項(xiàng)。
比如說,在對同一對象進(jìn)行測量,多次測量結(jié)果都很接近,就會認(rèn)為這個(gè)結(jié)果是可信的,真實(shí)的,也就是信度高。如果每次測量的結(jié)果都有很大的差異,則說明信度較低。
衡量信度的方法有很多種,常用的信度系數(shù)包括:克隆巴赫α系數(shù)、折半系數(shù)、重測信度,可在spssau中進(jìn)行分析。
效度分析,簡單來說就是問卷設(shè)計(jì)的有效性、準(zhǔn)確程度,用于測量題項(xiàng)設(shè)計(jì)是否合理。
效度又可分為內(nèi)容效度、結(jié)構(gòu)效度和效標(biāo)效度。
內(nèi)容效度,通常是以文字來說明問卷的有效性。如通過參考文獻(xiàn),或者權(quán)威來源說明問卷的權(quán)威性和有效性。還有就是通過對問卷前測并結(jié)合結(jié)果進(jìn)行題項(xiàng)的修正等工作來充分說明問卷的有效性。
結(jié)構(gòu)效度,指測量題項(xiàng)與測量維度之間的對應(yīng)關(guān)系。測量方法有兩種,一種是探索性因子分析,另外一種是驗(yàn)證性因子分析。其中,探索性因子分析是當(dāng)前使用最為廣泛的結(jié)構(gòu)效度測量方法,SPSSAU提供此兩種分析方法。
效標(biāo)效度,如果以前有一份權(quán)威且標(biāo)準(zhǔn)的量表數(shù)據(jù),現(xiàn)在依舊使用該量表進(jìn)行研究,并且收集回來一份數(shù)據(jù)。以前權(quán)威標(biāo)準(zhǔn)數(shù)據(jù)作為標(biāo)準(zhǔn),當(dāng)前數(shù)據(jù)與前一份數(shù)據(jù)之間進(jìn)行相關(guān)分析,如果說相關(guān)系數(shù)值較高,則說明效標(biāo)效度良好。但在實(shí)際分析中,效標(biāo)效度很少使用。
相信你也知道,效度是指,測量工具能確切測得其所欲測量的特質(zhì)之程度,它的測定大體可以分為內(nèi)容效度(表面效度)、準(zhǔn)則效度(效標(biāo)效度)和建構(gòu)效度三種。
例如,你除了手頭上的量表,還同時(shí)用了其他的測量方法(methods)測量量表中的特質(zhì)(traits),那麼,你可藉建構(gòu)多重方法多重特質(zhì)矩陣(Multitrait-multimethod matrix)以檢測其效度,其中所用的統(tǒng)計(jì)技術(shù)只需相關(guān)系數(shù)(Relation Coefficient)就可以了。
又例如:你手頭上的量表有一定的邏輯結(jié)構(gòu),你想從量表大堆題目(items)中抽出有用的因子或元素,或者要驗(yàn)證量表題目的歸類是否與量表本身的結(jié)構(gòu)相符,以檢測其建構(gòu)效度,那麼,可透過因子分析(Factor Analysis)技術(shù)來進(jìn)行。
就以這個(gè)因子分析的統(tǒng)計(jì)過程來論,它看似簡單,把題目送進(jìn)SPSS執(zhí)行,再轉(zhuǎn)軸,之后系統(tǒng)自然會跑出一些因子負(fù)荷出來;但其間選用哪一種抽取因子方法、因子數(shù)目的判斷、轉(zhuǎn)軸與否及轉(zhuǎn)軸方法的選用、因素的解釋與命名等等,須視乎你量表本身的邏輯以及背后的理論基礎(chǔ)。
這不是三言兩語能說清的,建議你到圖書館找本書來看看。至於SPSS的實(shí)務(wù)操作,應(yīng)該不太難,網(wǎng)上也有一大堆教程,下面這個(gè)是最常見,你不妨看看。
最后,建議你先做信度分析,信度是效度的必要條件,在信度低的情況下,效度不可能高。
測評信效度主要還是看常模。
解決方法:1、測評與選拔的可靠性分析 在人員測評與選拔中,結(jié)果的可靠性是由測評信度來鑒定,所謂信度是指人員測評與選拔結(jié)果的準(zhǔn)確性或一致性程度。按照衡量測評信度程度的方法不同,信度可分為再測信度、復(fù)本信度、內(nèi)在一致性信度和評分者信度。
(1)再測信度。指以同樣的測評與選拔工具,按照同樣的方法,對于相同的對象再次進(jìn)行測評與選拔,所得先后結(jié)果的一致性程度。
再測信度的兩次測評使用的是同一個(gè)測評工具,同一種測評方式,但較難把握的是兩次測評間隔的時(shí)間長短。時(shí)間間隔過長,被測者特征將隨時(shí)間的增加而發(fā)展變化,由此計(jì)算的穩(wěn)定系數(shù)將失去意義;若時(shí)間間隔過短,又可能產(chǎn)生記憶與練習(xí)效應(yīng),這也將影響穩(wěn)定系數(shù)。
一般來說,時(shí)間間隔不應(yīng)是固定不變的,不同性質(zhì)的人時(shí)間間隔應(yīng)有區(qū)別,通常為1至3個(gè)月之間。在進(jìn)行測評結(jié)果報(bào)告時(shí),應(yīng)報(bào)告兩次測評的間隔時(shí)間,以及在此期間內(nèi)被測者的相關(guān)經(jīng)歷。
(2)復(fù)本信度。指測評與選拔結(jié)果與另一個(gè)等值測評與選拔結(jié)果的一致性程度。
所謂等值,是指在測評內(nèi)容、效度、要求、形式上都與原測評一樣,其中一個(gè)測評可以看作是另一個(gè)測評的近似復(fù)寫,即復(fù)本。如果兩個(gè)復(fù)本測評相距一段時(shí)間分兩次實(shí)施,則在鑒定復(fù)本信度的同時(shí)還可鑒定再測信度,可見它應(yīng)用范圍的廣泛。
鑒定復(fù)本信度,首先要編制等值的復(fù)本。編制嚴(yán)格平行的復(fù)本難度較大,這也是制約復(fù)本信度的主要因素。
此外,復(fù)本信度雖能較好地克服再測信度的練習(xí)、記憶效應(yīng),但原測評中的一些技能技巧也會產(chǎn)生遷移效應(yīng)。(3)內(nèi)在一致性信度。
指所測素質(zhì)相同的各測評項(xiàng)目分?jǐn)?shù)間的一致性程度。若被測的第一個(gè)項(xiàng)目的分?jǐn)?shù)高于他人,在第二個(gè)項(xiàng)目的分?jǐn)?shù)還高于其他人,在第三個(gè)項(xiàng)目的分?jǐn)?shù)仍高于他人……且這些測評項(xiàng)目所測評的是同一素質(zhì),那么有理由認(rèn)為測評與選拔結(jié)果較可靠。
再測信度與復(fù)本信度都需要組織兩次測評,而內(nèi)在一致性信度只需要進(jìn)行一次測評,增加了人員測評的可操作性,同時(shí)也為實(shí)際工作帶來了極大的方便。 (4)評分者信度。
指多個(gè)測評者給同一組被測樣組進(jìn)行評分的一致性程度。測評與選拔結(jié)果的差異程度來自兩方面:一是被測評者自身,二是被測評者及其測評。
信度主要是對后者的度量,測評者及其測評的無關(guān)差異越小,測評與選拔結(jié)果就越可靠。測評者的評分是引起主觀性測評結(jié)果差異的主要原因。
客觀性測評是利用計(jì)算機(jī)評分,不受主觀因素影響,不存在評分誤差。 2、測評與選拔的有效性分析 上面我們對測評信度進(jìn)行了簡要描述,目的是提高測評的可信度。
測評的有效性也即測評效度是人才測評與選拔質(zhì)量檢驗(yàn)的重要內(nèi)容,尤其是對測評選拔反饋有重要的指導(dǎo)和參考修正價(jià)值。效度的具體內(nèi)容主要包含以下幾個(gè)方面: (1)內(nèi)容效度。
是指實(shí)際測評到的內(nèi)容與期望測評的內(nèi)容的一致性程度。內(nèi)容效度在實(shí)際操作中的鑒定主要采用定性分析的方法,有藍(lán)圖對照分析法與專家比較判斷法。
所謂的藍(lán)圖對照法實(shí)際上就是將測評內(nèi)容與設(shè)計(jì)藍(lán)圖對照,做出分析判斷。專家比較判斷法是由一組獨(dú)立的專家組成專家評定組,對測評量表內(nèi)容取樣的充分性、必要性、適合性進(jìn)行評定,對實(shí)際測評到的內(nèi)容與所要測素質(zhì)特征的符合程度做出判斷。
(2)結(jié)構(gòu)效度。又稱作構(gòu)想效度、構(gòu)思效度、構(gòu)建效度等。
在測評實(shí)踐中,有些指標(biāo)我們是不能直接測評得到答案的,例如智力、動機(jī)、態(tài)度、品德、善良、誠實(shí)等抽象概念,這時(shí)候我們只能借助于具體的行為測評來推斷。把抽象素質(zhì)構(gòu)建成具體行為特征,是否抓住了該素質(zhì)的本質(zhì)特征進(jìn)行構(gòu)建是最關(guān)鍵的,這就是結(jié)構(gòu)效度問題。
它表明了在多大程度上,實(shí)際的測評結(jié)果能夠被看作是所要測評的素質(zhì)在結(jié)構(gòu)上的替代物。 不難看出,結(jié)構(gòu)效度的判斷是一個(gè)難點(diǎn)。
在實(shí)際操作中,這里也是最復(fù)雜的一個(gè)環(huán)節(jié)之一。構(gòu)建一個(gè)素質(zhì)結(jié)構(gòu)模型是非常必要的,包括項(xiàng)目、指標(biāo)、權(quán)重、標(biāo)度等。
然后,根據(jù)事實(shí)材料評判結(jié)構(gòu)效度。就是根據(jù)實(shí)際的測評結(jié)果,結(jié)合專家小組的意見和邏輯分析等方法,評判結(jié)構(gòu)效度。
這一點(diǎn)對于測評結(jié)果的反饋修正具有重要價(jià)值。 (3)關(guān)聯(lián)效度。
是指測評結(jié)果與效標(biāo)的一致性程度。效標(biāo)是一種用來衡量測評有效性的外在參照標(biāo)準(zhǔn),它可以是一種測評的結(jié)果,也可以是標(biāo)準(zhǔn)測評分?jǐn)?shù)。
根據(jù)效標(biāo)是否可以同時(shí)獲得,可將關(guān)聯(lián)效度分為同時(shí)效度與預(yù)測效度。作為效標(biāo)的結(jié)果與預(yù)測結(jié)果同時(shí)獲得,這種效度稱之為同時(shí)效度。
當(dāng)作為效標(biāo)的結(jié)果是后來測評中獲得,這種效度稱為預(yù)測效度。它反映了現(xiàn)在的測評結(jié)果對未來素質(zhì)發(fā)展的預(yù)測程度。
不同的測評目的,對于效度的要求也不盡相同。例如,通過測評來選拔人才,則希望測評有較高的預(yù)測效度;通過測評來開發(fā)培訓(xùn)人才,則希望測評兼?zhèn)漭^高的同時(shí)效度和預(yù)測效度。
四、總結(jié) 當(dāng)然,影響信度的因素有很多,主要是系統(tǒng)誤差和隨機(jī)誤差。包括測評者的專業(yè)性和素質(zhì)、被測評者本人心理、測評工具的穩(wěn)定性、環(huán)境穩(wěn)定性等都會影響測評的可信度。
在實(shí)際測評過程中要把握各相關(guān)方面,不僅要有專業(yè)的測評人員,同時(shí)也要在穩(wěn)定的環(huán)境中為被測評者提供一個(gè)放松真實(shí)的氛。
問題描述:因子分析里面Descriotives里面KMO和巴特利檢驗(yàn)就可以了
答案1:: 首先必須要做KMO和Bartlett球形檢驗(yàn),這個(gè)你應(yīng)該會了吧,
如果這兩個(gè)檢驗(yàn)合格的話說明數(shù)據(jù)是適合做因子分析的。
然后提取因子后,看主因子解釋總變異的百分比和個(gè)因子的因子載
荷,主因子解釋總變異一般若大于60%的和因子載荷大于0.6的話說明
結(jié)構(gòu)效度很好。
pS: ,如果題目沒有規(guī)定就是選特征值大于1的,如果題目事先要提取幾
個(gè)因子,那么在操作的時(shí)候,用SPSS那個(gè)因子分析的選項(xiàng)里面有一個(gè)地
方可以著名,因子載荷在輸出的結(jié)果直接可以看到(rotated
compoment matrpx),一定要是旋轉(zhuǎn)后的因子載荷
:::::::::::::::::::請參考以下相關(guān)問題::::::::::::::::::::
用SPSS做問卷的結(jié)構(gòu)效度分析,因子分析的范圍
:::::::::::::::::::請參考以下相關(guān)問題::::::::::::::::::::
:::::::::::::::::::請參考以下相關(guān)問題::::::::::::::::::::
spss分析問卷效度
:::::::::::::::::::請參考以下相關(guān)問題::::::::::::::::::::
:::::::::::::::::::請參考以下相關(guān)問題::::::::::::::::::::
根據(jù)定義,可以得知結(jié)構(gòu)效度具有如下一些特點(diǎn):
(1)結(jié)構(gòu)效度的大小首先取決于事先假定的心理特質(zhì)理論(戴海崎, 張鋒和陳雪楓,2007)。要使得關(guān)于某一特質(zhì)測驗(yàn)的結(jié)構(gòu)效度的研究結(jié)果可以進(jìn)行比較,則對于該特質(zhì)的假設(shè)和定義就應(yīng)該相同。否則,不能進(jìn)行比較。
(2)由于有可能出現(xiàn)理論假設(shè)不成立,或該試驗(yàn)設(shè)計(jì)不能對該假設(shè)作出適當(dāng)?shù)臋z驗(yàn)等情況,因此當(dāng)實(shí)際測量的資料無法證實(shí)我們的理論假設(shè)時(shí),并不一定就表明該測驗(yàn)結(jié)構(gòu)效度不高。
(3)結(jié)構(gòu)效度是通過測量什么和不測量什么的證據(jù)累加起來給以確定的,因而不可能有單一的數(shù)量指標(biāo)來描述結(jié)構(gòu)效度。
效度的驗(yàn)證通常包含以下幾方面內(nèi)容:
1、表面效度
這是說這個(gè)研究工具看起來是不是測到了要測量的內(nèi)容,本質(zhì)上來說他不算效度,他只是表現(xiàn)出了測量的友好性,但實(shí)際研究中有時(shí)也需要保證一定的表面效度。如果一道數(shù)學(xué)題看起來很像一個(gè)語文問題,那可能很多人就不會想到用數(shù)學(xué)的語言去回答問題,這道題也就測不出數(shù)學(xué)能力。表面效度通常不需要特別分析,因?yàn)樗褪潜硎具@個(gè)問卷看起來像不像那么回事
2、內(nèi)容效度
內(nèi)容效度是指測驗(yàn)是否測到了所要測的內(nèi)容。對于內(nèi)容效度的驗(yàn)證,通常需要有經(jīng)驗(yàn)的專家來評定。當(dāng)然有時(shí)也可以從研究對象群體當(dāng)中抽取一些人來做評定,評定的方式可以采用李克特量表的形式。
3、結(jié)構(gòu)效度
即問卷的結(jié)構(gòu)或者說維度劃分是否正確。通常采用探索性因子分析和驗(yàn)證性因子分析來研究結(jié)構(gòu)效度。如果分析的結(jié)果和研究者的預(yù)想一致,則結(jié)構(gòu)效度較好
4、效標(biāo)關(guān)聯(lián)效度
這是最常見的效度研究指標(biāo)。其邏輯思路是如果一份測量工具測量到了所要測的內(nèi)容,那么假如另一個(gè)成熟的研究工具也是測這方面內(nèi)容,或與這方面內(nèi)容高度相關(guān)的東西,則這兩種測量工具的分?jǐn)?shù)應(yīng)當(dāng)有較高的相關(guān)。通常采用相關(guān)分析法來研究。
聲明:本網(wǎng)站尊重并保護(hù)知識產(chǎn)權(quán),根據(jù)《信息網(wǎng)絡(luò)傳播權(quán)保護(hù)條例》,如果我們轉(zhuǎn)載的作品侵犯了您的權(quán)利,請?jiān)谝粋€(gè)月內(nèi)通知我們,我們會及時(shí)刪除。
蜀ICP備2020033479號-4 Copyright ? 2016 學(xué)習(xí)鳥. 頁面生成時(shí)間:2.821秒