Tajuk 429: ATLAS Siri 9 - Expert Validity dan kappa reliability

Coding adalah nyawa bagi kajian qualitative. Oleh itu, memastikan code yang betul adalah satu perkara yang perlu anda lakukan dari awal kajian. Ada dua langkah mudah saya nak cadangkan, jgn sampai anda lansung tak kisah hal ini sehingga panic bila ditanya viva nanti.

(i) Expert Validation:

Sediakan satu borang validation seperti berikut. Bentuk borang ni bebas... asal ada quotation dan code utk dikomen oleh pakar.

Senaraikan semua codes dan contoh petikan supaya dikomen oleh dua pakar katakan Dr Talib dan Dr Munirah. Dalam ruangan komen tu pakar boleh tulis "OK" jer atau komen spt "quotation ini tak menepati code" atau just tanda "right". Maknanya anda senaraikan kod, theme dan contoh quotes / occurrences. Tanyalah juga SV anda jika dia ada cara lain... manalah tau....

Selepas di komen, barulah anda siapkan kod bagi satu transkrip dahulu....utk uji realibility...ala2 pilot test ler tu. 

(ii) Intercoder reliability 

Ada yang guna interrater atau interobserver reliability... tak kisah ler tu... sama jugaklah macam lempeng dgn pan cake ! Then selepas selesai tugas coding bagi satu transkrip... katakan ada 5 codes yang berjaya di buat dari 20 quote / occurrences / quotation, then serahkan sekali lagi kepada Dr Talib (coder A) dan Dr Munirah (coder B) utk tujuan reliability.

Jgn terburu nafsu jika code yang lansung tak sama antara intercoder. Katakan Dr Talib anggap qoute 1 adalah uk code 5 tapi Dr Munirah kata code 3.... pandai2lah anda bincang dan sesuaikan.

Selepas selesai, masukkan data dalam SPSS dgn mewakilikan code dgn nombor. 

Then klik analyze - descriptice - crosstab. Langkah ini saya ringkaskan dalam pic berikut. 

Jeng.... jeng...jeng... dapatlah ouuput:

Output menunjukkan analisis intercoder (atau interater) adalah Kappa=0.652 (p<0.05) menunjukkan persetujuan pada tahap  baik yang boleh diterima mengikut Practical Statistics for Medical Research (1991). 

(Jadual dari Practical Statistics for Medical Research. (1991) London England: Chapman and Hall)

·         Poor agreement = Less than 0.20

·         Fair agreement = 0.20 to 0.40

·         Moderate agreement = 0.40 to 0.60

·         Good agreement = 0.60 to 0.80

·         Very good agreement = 0.80 to 1.00

Satu lagi table Kappa dari Family  Medicine, 2005;37(5):360-3

·         < 0 Less than chance agreement

·         0.01–0.20 Slight agreement

·         0.21– 0.40 Fair agreement

·         0.41–0.60 Moderate agreement

·         0.61–0.80 Substantial agreement

·         0.81–0.99 Almost perfect agreement

Timbul isu, bagaimana kalau nilai Kappa tu rendah, misalnya 0.4?

Nilah lampu neon saya masa kecik2 dulu.... close up dgn DSLR

Bagi saya, jika nilai coefficient kappa bila tu rendah, semak semula perbezaan yang wujud antara raters dan lakukan recode. Selepas dibuat pembetulan kepada code yang sangat berbeza, run semula Kappa sehingga mendapat >0.65 misalnya dan laporkan nilai ini, bukan nilai 0.4. Paling baik dapatkan nilai >0.75.

Saya analogikan apa yang saya tulis diatas seperti saya memeriksa alpha cronbach yang mana item2 yang bermasalah  dalam questionnaire atau yang merendahkan nilai alpha diperbaiki. Then saya run semua utk dapatkan alpha yang baru.... emmmm....jgn takut.... kajian quali kan flexible !!

Then bila dah ada bukti validation dan reliability yang tinggi baru senang hati...dan .... jangan lupa bagi ler pulak sagu hati kat Dr Talib yang buat kerja sampai mata tak berkelip dan Dr Munirah yang cool tak pernah marah kerana anda telah menggunakan masa, tenaga dan kepakaran mereka yang mencurah2... OK !!

OT