Kodlayıcılar arası güvenirlik, kod kitabına dayanan her nitel çalışmada hakemlerin sorduğu soruyu yanıtlar: Aynı kod kitabını bağımsız olarak kullanan eğitimli ikinci bir kodlayıcı, veriyi aynı biçimde kodlar mıydı? MAXQDA'nın Intercoder Agreement (kodlayıcılar arası uyum) aracı, uyum yüzdesini ve şans uyumunu ayıklayan bir kappa değerini raporlar. Tematik analiz rehberimizde kappa tartışmasına kısaca değinmiştik; bu yazı projenin hazırlanmasını, üç karşılaştırma düzeyini, çıktıyı, katsayıların hesabını ve raporlamayı ayrıntılı ele alıyor.
Kodlayıcılar arası güvenirlik ne zaman uygundur, ne zaman değildir?
Kodlayıcılar arası güvenirlik (KAG) hesabı, kod kitabını ortak bir ölçme aracı gibi kullanan desenlere uyar: nitel içerik analizi, kod kitabına dayalı ya da şablon tematik analiz, çerçeve analizi, tümdengelimsel kodlama ve verinin birkaç kodlayıcı arasında paylaştırıldığı projeler. Bu desenlerde yüksek uyum, kod tanımlarının başka biri tarafından da uygulanabilecek kadar açık olduğunu gösterir. Düşünümsel (reflexive) tematik analiz ise konuya farklı bakar: Temalar araştırmacının yorumuyla üretildiği için uyum bir kalite göstergesi sayılmaz ve bu gelenekteki pek çok araştırmacı uyumu hiç hesaplamaz. İki tutum da meşrudur; hata, ikisini aynı çalışmada karıştırmaktır. Tercihinizi desen aşamasında yapın ve yöntem bölümünde gerekçelendirin.
MAXQDA projesini uyum analizine hazırlama
- Çalışan bir kod kitabı oluşturun. Her kodun bir tanımı, dahil etme ve dışlama ölçütleri ve örnek bir alıntısı olmalıdır. Uyuşmazlıkların çoğu muğlak tanımlardan doğar ve hiçbir katsayı bunu düzeltmez.
- Kodlama birimini belirleyin. Cümleler mi, yanıtın tamamı mı, yoksa serbest uzunlukta bölümler mi işaretlenecek? Bu kural ne kadar gevşekse uyuşmazlıklar anlamdan çok segment sınırlarıyla ilgili olur.
- Pilot örneklemi seçin. Verinin %10–20'sini çift kodlamak yaygındır. Yalnızca ilk transkriptleri değil, farklı katılımcılardan ya da kurumlardan belgeleri seçin.
- Bağımsız kodlayın. Her kodlayıcı, diğerinin kodlarını görmeden projenin kendi kopyasında çalışır; dosyalar ardından Home → Merge Projects (projeleri birleştir) komutuyla birleştirilir.
- Kopyaları düzenleyin. MAXQDA, adları birebir aynı olan ve iki ayrı belge grubunda ya da setinde duran belgeleri karşılaştırır (örneğin “Kodlayıcı A” ve “Kodlayıcı B”). Metinler tıpatıp aynı olmalıdır; fazladan tek bir satır sonu bile segment konumlarını kaydırabileceği için karakter sayılarının eşit olduğunu kontrol edin.
MAXQDA'da kodlayıcılar arası uyum: Üç karşılaştırma düzeyi
İngilizce arayüzde Analysis → Intercoder Agreement yolunu izleyin; Türkçe arayüzde de araç aynı menüdedir. Her kodlayıcının belge grubunu veya setini ve kodları seçip bir karşılaştırma düzeyi belirleyin:
- Code occurrence in the document (kodun belgede bulunması): İki kodlayıcı da kodu bu belgede kullanmış mı? Yalnızca bir temanın görüşmede geçip geçmediği önemliyse bu düzey yeterlidir. İki kodlayıcının da atamadığı kodlar yok sayılabilir ya da uyum olarak sayılabilir.
- Code frequency in the document (kodun belgedeki sıklığı): İki kodlayıcı kodu aynı sayıda mı kullanmış?
- Segment düzeyi ve asgari örtüşme oranı (varsayılan %90): Kodlanan her segment için diğer kodlayıcı, en az bu oranda örtüşen bir bölüme aynı kodu vermiş mi? En katı seçenek budur ve dergiler çoğunlukla bu düzeyi bekler.
Her düzey, her kod için uyum ve uyuşmazlık sayılarını ve yüzdeyi Total satırıyla birlikte gösteren bir kod bazlı sonuç tablosu (code-specific results table) ve belge ya da segment ayrıntı tablosu üretir. Segment düzeyinde yalnızca uyuşmazlıkları listeleyebilir, belgedeki bölüme geçebilir ve ekip uzlaşınca bir kodlayıcının kodlamasını diğer belgeye aktarabilirsiniz. Sonuç tablosundaki Kappa simgesi, şans uyumunu ayıklayan katsayıyı ekler.
MAXQDA kappa ve uyum yüzdesi: Hesaplı örnek
Türkçe tezlerde en sık raporlanan ölçüt, Miles ve Huberman'a dayandırılan uzlaşma yüzdesidir: Güvenirlik = görüş birliği / (görüş birliği + görüş ayrılığı). Hedef olarak genellikle %80, bazı çalışmalarda %70 ve üzeri alınır. Oran sezgiseldir ama şans eseri oluşan uyumu ayıklamaz. Kappa bu payı çıkarır: κ = (Po − Pe) / (1 − Pe); Po gözlenen, Pe şans eseri beklenen uyumdur. Aşağıdaki illüstratif tabloda iki kodlayıcı, önceden tanımlanmış 100 yanıtı tek bir koda göre değerlendirmiştir.
| Kodlayıcı A: kodladı | Kodlayıcı A: kodlamadı | Toplam | |
|---|---|---|---|
| Kodlayıcı B: kodladı | 55 | 5 | 60 |
| Kodlayıcı B: kodlamadı | 15 | 25 | 40 |
| Toplam | 70 | 30 | 100 |
Gözlenen uyum Po = (55 + 25) / 100 = 0,80'dir ve %80 eşiğini karşılar. Cohen kappa, şans uyumunu her kodlayıcının kodu ne sıklıkla kullandığından hesaplar: Pe = (0,70 × 0,60) + (0,30 × 0,40) = 0,54; buradan κ = (0,80 − 0,54) / (1 − 0,54) = 0,57 bulunur, yani uyum yalnızca orta düzeydedir. Brennan–Prediger kappa ise şans altında her kategorinin eşit olasılıklı olduğunu varsayar, bu yüzden Pe = 1/k alınır; k = 2 kategori için κ = (0,80 − 0,50) / 0,50 = 0,60 olur. MAXQDA segment düzeyinde bu yaklaşımı kullanır ve k'yı sonuç tablosundaki kod sayısına eşitler. 20 kodla şans uyumu yalnızca 0,05 olduğundan kappa ham yüzdeye çok yakın çıkar. MAXQDA segment düzeyinde yalnızca en az bir kodlayıcının kodladığı bölümleri de sayar (‘ikisi de kodlamadı’ hücresi sıfırdır); aynı veri bu düzeyde 55 / 75 = %73 uyum gösterir.
Eşik değerler, uzlaşma toplantısı ve kod kitabı döngüsü
Her çalışmaya uyan bir kesme noktası yoktur. Aşağıdaki bantlar, hakemlerin çoğunun tanıdığı Landis ve Koch sınıflamasına dayanır; pek çok danışman ve dergi en az 0,60–0,70 düzeyini bekler ve 0,80 ve üzerini güçlü uyum sayar.
| κ değeri | Landis–Koch etiketi | Pratik anlamı |
|---|---|---|
| 0,40 ve altı | Zayıf ya da daha düşük | Kod kitabı hazır değil; kodları yeniden tanımlayın |
| 0,41–0,60 | Orta | Tanımları gözden geçirin, sınırda kalan örnekler ekleyin, yeniden kodlayın |
| 0,61–0,80 | Önemli (substantial) | Kod kitabına dayalı çalışmalarda yaygın kabul gören alt sınır |
| 0,81–1,00 | Neredeyse tam | Güçlü uyum; kodların fazla kolay olup olmadığını kontrol edin |
Bir kod eşiğin altında kalırsa uzlaşma toplantısı yapın. Yalnızca uyuşmazlıkları listeleyin, her bölümü kod kitabına göre tartışın ve nedenini not edin: muğlak tanım, eksik dışlama kuralı, sınır sorunu ya da dikkatsizlik. Kod kitabını sürüm numarası, tarih ve gerekçeyle güncelleyin; iki kodlayıcı yeni bir örneklemi kodlasın ve analizi tekrarlayın. Yalnızca tartışmalı bölümleri yeniden kodlamak uyumu şişirir ve güvenirlik kanıtı sayılmaz. İki-üç tur olağandır; ardından kalan uyuşmazlıklar uzlaşıyla çözülür ve verinin tamamı kodlanır. Deneyimli bir ikinci kodlayıcıya ihtiyacınız varsa nitel ve karma yöntem analizi hizmetimiz bu döngünün tamamını kapsar.
Kodlayıcılar arası güvenirlik tezde ve makalede nasıl raporlanır?
Raporda çift kodlanan verinin oranı ve seçim biçimi, kod sayısı, karşılaştırma düzeyi ve örtüşme eşiği, kullanılan katsayı ve tartışma öncesi değeri, tek bir kod için en düşük değer, tur sayısı ve uyuşmazlıkların nasıl çözüldüğü yer almalıdır. APA tarzı bir örnek: İki kodlayıcı, 24 koddan oluşan nihai kod kitabıyla transkriptlerin %15'ini (20 transkriptten 3'ünü) bağımsız olarak kodlamıştır. MAXQDA'da segment düzeyinde yapılan kodlayıcılar arası uyum analizinde (asgari örtüşme %90) uyum %86, Brennan–Prediger κ = 0,85 bulunmuştur; kodlara göre uyum %72 ile %100 arasında değişmiştir. Uyuşmazlıklar uzlaşıyla giderilmiştir. Çalışmanızın nicel bir ayağı da varsa karma yöntem yazılımları rehberimize göz atın.
| Durumunuz | MAXQDA seçeneği / ölçüt | Yaygın hedef |
|---|---|---|
| Düşünümsel tematik analiz, tek araştırmacı | KAG yerine düşünümsellik günlüğü ve akran sorgulaması | Uygulanmaz |
| Kod kitabına dayalı tematik analiz veya içerik analizi, segmentleri kodlayıcılar belirliyor | Segment düzeyi (%90 örtüşme); uyum yüzdesi + Brennan–Prediger κ | Uyum ≥ %80; κ ≥ 0,60 |
| Yalnızca her temanın her görüşmede geçip geçmediği | Code occurrence; en fazla üç kodla Kappa (RK), yalnızca atanmayan kodlar uyum sayıldığında görünür | Uyum ≥ %80 |
| Önceden tanımlı birimler (örn. açık uçlu anket yanıtları) | Kod başına Cohen κ; SPSS (Crosstabs), Stata (kap) veya Python ile | κ ≥ 0,60, tercihen ≥ 0,80 |
| Jüri Miles–Huberman formülünü istiyor | Görüş birliği / (görüş birliği + görüş ayrılığı), yanında κ | ≥ 0,80 |
Kappa temalarınızı doğrulamaz; kod kitabınızı sizden başka birinin de kullanabildiğini gösterir.
Sık Sorulan Sorular
MAXQDA'da kodlayıcılar arası güvenirlik nasıl hesaplanır?
İki kodlayıcının birebir aynı belge kopyalarını ayrı belge gruplarına veya setlerine koyun, Analysis → Intercoder Agreement aracını çalıştırın ve bir karşılaştırma düzeyi seçin. Kod bazlı sonuç tablosu her kod için uyum yüzdesini verir; segment düzeyinde Kappa simgesi Brennan–Prediger katsayısını ekler.
Miles ve Huberman uzlaşma yüzdesi nasıl hesaplanır?
Görüş birliği sayısı, görüş birliği ve görüş ayrılığı sayılarının toplamına bölünür; örneğin 80 görüş birliği ve 20 görüş ayrılığı 80 / 100 = 0,80 eder. Türkçe tezlerde genellikle %80 ve üzeri hedeflenir. Bu oran şans uyumunu ayıklamadığı için yanında kappa da raporlamak hakem itirazlarını azaltır.
MAXQDA kappa değeri neden uyum yüzdesiyle neredeyse aynı çıkıyor?
MAXQDA segment düzeyinde şans uyumunu 1 bölü analizdeki kod sayısı olarak alır. Kod sayısı arttıkça bu değer çok küçülür ve düzeltmenin etkisi azalır. Bu bir hata değil, yöntemin doğal sonucudur.
Celsus kodlayıcılar arası güvenirlik analizinde nasıl destek veriyor?
Kod kitabını birlikte hazırlıyor, eğitimli bir ikinci kodlayıcı sağlıyor, MAXQDA'da uyum analizini yürütüyor ve uzlaşma turlarını yönetiyoruz. Yöntem bölümünüz için güvenirlik paragrafını da yazıyor, kod kitabının sürüm geçmişiyle birlikte teslim ediyoruz.