Veri Toplama Araçları, Geçerlik ve Güvenirlik Nasıl Raporlanır?

Veri Toplama Aracı Nedir?

Veri toplama aracı, araştırmada belirli bir değişkeni, özelliği, deneyimi, davranışı veya sonucu ölçmek ya da kaydetmek için kullanılan araçtır.

• Ölçekler
• Anket formları
• Başarı veya bilgi testleri
• Psikometrik testler
• Gözlem formları
• Görüşme formları
• Kontrol listeleri
• Klinik ölçüm araçları
• Laboratuvar ve cihaz ölçümleri
• Kurumsal kayıtlar ve veri tabanları

Bir Ölçek veya Test Nasıl Tanıtılmalıdır?

Başka bir araştırmacı tarafından geliştirilmiş bir araç kullanılıyorsa okuyucunun ölçümün ne olduğunu anlayabilmesi için şu bilgiler mümkün olduğunca verilmelidir:

• Aracın tam adı
• Geliştirici yazar veya kaynak
• Geliştirilme yılı
• Varsa uyarlama çalışması
• Madde sayısı
• Alt boyutlar
• Yanıt biçimi
• Puanlama yöntemi
• Yüksek veya düşük puanın anlamı
• Önceki geçerlik ve güvenirlik kanıtları
• Mevcut araştırmadaki ölçüm bulguları

Kaynak, Yapı ve Puanlama Nasıl Yazılır?

Kaynak: Aracın özgün geliştirme çalışmasına; başka dil veya kültürde uyarlanmış sürüm kullanılıyorsa ilgili uyarlama çalışmasına da atıf verilmelidir.

Yapı: Madde sayısı, boyut sayısı ve alt boyutların neyi temsil ettiği açıklanmalıdır.

Puanlama: Toplam puan aralığı, alt boyut puanları, ters maddeler, varsa kesme puanı ve yüksek puanın ne anlama geldiği belirtilmelidir.

Pratik sıra: Aracın adı → Geliştirici / kaynak → Yapısı → Puanlama → Önceki psikometrik kanıt → Mevcut araştırmadaki ölçüm bulguları

Geçerlik Nedir?

Geçerlik, bir ölçüm aracından elde edilen puanlara yüklenen yorumların ne ölçüde bilimsel kanıtlarla desteklendiğiyle ilgilidir. Geçerlik, aracın değişmez ve bir kez kanıtlanmış bir özelliği gibi düşünülmemelidir; amaç, örneklem, bağlam ve kullanım biçimi önemlidir.

Güvenirlik Nedir?

Güvenirlik ölçümlerin tutarlılığı ve ölçüm hatasından ne ölçüde etkilendiğiyle ilişkilidir. Bir aracın tutarlı sonuç vermesi, tek başına ölçmek istediği yapıyı doğru ölçtüğünü göstermez.

İç Tutarlılık: Alfa ve Omega

Cronbach alfa: Çok maddeli ölçeklerde yaygın kullanılan iç tutarlılık katsayılarından biridir.

McDonald's omega: Özellikle maddelerin faktör yüklerinin eşit olmadığı modellerde daha uygun bilgi sağlayabildiği durumlar vardır.

Örnek: Ölçeğin mevcut araştırmadaki Cronbach alfa katsayısı .86 olarak hesaplanmıştır.

Tek bir evrensel alfa eşiği yoktur. .70 sık kullanılan bir referans olsa da araştırmanın amacı, madde sayısı ve ölçümün kullanım alanı birlikte değerlendirilmelidir. Çok yüksek alfa da maddelerin aşırı benzerliğine işaret edebilir.

Test-Tekrar Test ve Gözlemciler Arası Güvenirlik

Test-tekrar test: Aynı ölçümün zaman içindeki kararlılığını değerlendirir. İki uygulama arasındaki süre, ölçülen özelliğin doğasına uygun olmalıdır.

Gözlemciler arası güvenirlik: Birden fazla değerlendiricinin aynı olguyu ne ölçüde benzer biçimde kodladığını veya puanladığını inceler.

• Cohen kappa
• Fleiss kappa
• Intraclass correlation coefficient (ICC)
• Yüzde uyum

İçerik Geçerliği

İçerik geçerliği, maddelerin ölçülmek istenen yapının kapsamını yeterince temsil edip etmediğiyle ilgilidir. Özellikle ölçek geliştirmede uzman görüşleri kullanılabilir.

• Madde uygunluğu
• Kapsam yeterliliği
• Anlaşılabilirlik
• Kültürel uygunluk

Madde veya ölçek düzeyinde kapsam geçerlik indeksleri raporlanacaksa kullanılan yöntem ve uzman sayısı açıkça belirtilmelidir.

Yapı Geçerliği

Ölçüm aracının teorik olarak ölçmesi beklenen yapıyı ne ölçüde temsil ettiğine ilişkin kanıtları kapsar.

• Faktör analizi
• Yakınsak geçerlik
• Ayırt edici geçerlik
• Hipotez testleri
• Beklenen grup farklılıkları

Keşfedici Faktör Analizi (KFA)

KFA, maddeler arasındaki ilişkilerden hareketle altta yatan faktör yapısını araştırmak için kullanılır.

• KMO değeri
• Bartlett küresellik testi
• Faktör çıkarma yöntemi
• Döndürme yöntemi
• Faktör sayısının nasıl belirlendiği
• Madde yükleri
• Çapraz yükler
• Açıklanan varyans

Faktör sayısı yalnızca özdeğerin 1'den büyük olması kuralına bağlanmamalıdır. Paralel analiz, yamaç-birikinti grafiği, kuramsal yapı ve faktörlerin yorumlanabilirliği birlikte değerlendirilebilir.

Doğrulayıcı Faktör Analizi (DFA)

DFA, önceden tanımlanmış bir ölçüm modelinin veriye ne ölçüde uyduğunu sınar. Ölçek geliştirme, uyarlama veya daha önce önerilmiş bir yapının farklı örneklemde sınanmasında kullanılabilir.

• Modelin faktör yapısı
• Standartlaştırılmış faktör yükleri
• Kestirim yöntemi
• Uyum iyiliği göstergeleri
• Varsa hata kovaryansları ve gerekçesi
• Alternatif modellerle karşılaştırmalar

Uyum İndeksleri Nasıl Değerlendirilmelidir?

Tek bir uyum indeksine dayanmak yerine birden fazla gösterge birlikte değerlendirilmelidir.

• χ² ve serbestlik derecesi
• CFI
• TLI
• RMSEA ve güven aralığı
• SRMR

Sabit kesme noktaları bağlamdan bağımsız kesin kurallar olarak ele alınmamalıdır. Model yapısı, örneklem büyüklüğü ve kestirim yöntemi de dikkate alınmalıdır.

Yakınsak ve Ayırt Edici Geçerlik

Yakınsak geçerlik: Aynı yapıyı ölçmesi beklenen göstergelerin yeterli ortaklık gösterip göstermediğiyle ilgilidir. Faktör yükleri, AVE ve CR gibi göstergeler kullanılabilir.

Ayırt edici geçerlik: Farklı olması beklenen yapıların gerçekten ayrışıp ayrışmadığını değerlendirir. HTMT, Fornell-Larcker yaklaşımı ve faktörler arası korelasyonlar bu amaçla kullanılabilir.

HTMT Nedir?

Heterotrait-Monotrait Ratio (HTMT), özellikle gizil değişken modellerinde ayırt edici geçerliğin değerlendirilmesinde kullanılan göstergelerden biridir. Kullanılan eşik veya bootstrap güven aralığına dayalı karar kuralı kaynak gösterilerek gerekçelendirilmelidir.

Ölçüt Geçerliği ve Bilinen Gruplar

Ölçüt geçerliği: Ölçüm aracının dış bir ölçütle beklenen ilişkiyi gösterip göstermediğini inceler; eş zamanlı ve yordayıcı geçerlik bu kapsamda değerlendirilebilir.

Bilinen gruplar: Teorik olarak farklı olması beklenen grupların ölçek puanlarında beklenen yönde ayrışıp ayrışmadığını değerlendirir.

Ölçek Uyarlama Çalışmalarında

• Çeviri süreci
• Geri çeviri
• Uzman değerlendirmesi
• Kültürel uyarlama
• Pilot uygulama
• Faktör yapısı
• Güvenirlik
• Yakınsak ve ayırt edici geçerlik
• Ölçüt geçerliği

Uyarlama yalnızca metnin başka dile çevrilmesi değildir; ölçüm yapısının yeni bağlamda işleyip işlemediği de değerlendirilmelidir.

Ölçek Geliştirme Çalışmalarında

• Yapının kavramsal tanımı
• Madde havuzunun oluşturulması
• Uzman değerlendirmesi
• Pilot uygulama
• Madde analizi
• KFA
• DFA
• Güvenirlik analizleri
• Yakınsak, ayırt edici ve ölçüt geçerliği

Mümkün olduğunda keşfedici ve doğrulayıcı analizlerin bağımsız örneklemlerde yürütülmesi daha güçlü bir tasarım sağlar.

Anket ile Ölçek Aynı Şey midir?

Hayır. Anket daha geniş bir soru formu olabilir. Ölçek ise çoğunlukla belirli bir gizil yapıyı ölçmek amacıyla geliştirilmiş ve psikometrik özellikleri değerlendirilmiş maddeler bütünüdür.

Araştırmacı Tarafından Hazırlanan Formlar

Demografik veya bilgi formu kullanılıyorsa hangi bilgilerin toplandığı açıkça belirtilmelidir. Örneğin: Kişisel Bilgi Formu, katılımcıların yaş, eğitim düzeyi, mesleki kıdem ve çalışma birimine ilişkin dört sorudan oluşmuştur. Bu tür formlar için her zaman klasik psikometrik analiz gerekmez.

Bilgi Testleri ve Tek Maddeli Ölçümler

Bilgi/başarı testleri: Doğru-yanlış veya ikili puanlanan testlerde KR-20 gibi uygun katsayılar; gerektiğinde madde güçlüğü ve ayırt edicilik göstergeleri raporlanabilir.

Tek maddeli ölçümler: Cronbach alfa hesaplanmaz; iç tutarlılık birden fazla maddenin birlikte değerlendirilmesine dayanır.

Likert Maddeleri, Ters Kodlama ve Madde Çıkarma

Likert tipi veriler: Güvenirlik katsayısı veri yapısı, ölçüm modeli ve varsayımlar dikkate alınarak seçilmelidir.

Ters maddeler: Analiz öncesinde doğru biçimde yeniden kodlanmalıdır. Hatalı ters kodlama toplam puanı, faktör yapısını ve güvenirliği bozabilir.

Madde çıkarma: Yalnızca alfa yükselsin diye yapılmamalıdır. Kuramsal anlam, madde-toplam ilişkisi, faktör yükü, çapraz yük, içerik kapsamı ve önceki kanıtlar birlikte değerlendirilmelidir.

Orijinal Alfa Değeri Yeterli midir?

Hayır. Geliştirme veya uyarlama çalışmasındaki değerler yararlıdır; ancak güvenirlik örnekleme ve uygulama koşullarına göre değişebileceği için mevcut araştırmanın kendi örneklemindeki katsayıların da raporlanması çoğu durumda gerekir.

Ölçüm Değişmezliği

Farklı gruplar karşılaştırılacaksa aracın yapıyı gruplar arasında benzer biçimde ölçüp ölçmediği değerlendirilebilir.

• Cinsiyet grupları
• Kültürler
• Diller
• Ülkeler
• Zaman noktaları

Araştırmanın yapısına göre configural, metric, scalar ve strict invariance aşamaları incelenebilir.

Ölçek Kullanım İzni ve Madde Yayını

Kullanım izni ölçeğin telif ve lisans koşullarına bağlıdır. Yazar ilgili aracın kullanım koşullarını kontrol etmelidir.

Ölçek maddelerinin tamamının makalede yayımlanması her zaman uygun değildir. Yeni geliştirilen araçlarda ek materyal düşünülebilir; telif hakkı ve yayın politikaları gözetilmelidir.

Nitel Araştırmalarda Kalite Nasıl Ele Alınır?

Nitel araştırmalarda nicel ölçüm dilini otomatik biçimde kullanmak her zaman uygun değildir. Yaklaşıma göre şu kalite boyutları ele alınabilir:

• İnandırıcılık
• Aktarılabilirlik
• Tutarlılık
• Teyit edilebilirlik
• Refleksivite

Nitel Çalışmada İnandırıcılığı Güçlendirme

• Uzun süreli etkileşim
• Veri çeşitlemesi
• Araştırmacı çeşitlemesi
• Katılımcı doğrulaması
• Akran değerlendirmesi
• Olumsuz veya aykırı örneklerin incelenmesi

Katılımcı doğrulaması her nitel yaklaşımda zorunlu değildir. Kodlayıcılar arası uyum da her yorumlayıcı yaklaşım için uygun bir kalite ölçütü sayılmaz; kullanılıyorsa analiz yaklaşımıyla gerekçelendirilmelidir.

Görüşme Formu Nasıl Raporlanır?

• Formun nasıl geliştirildiği
• Kaç ana soru içerdiği
• Uzman değerlendirmesi yapılıp yapılmadığı
• Pilot görüşme yapılıp yapılmadığı
• Takip sorularının kullanılıp kullanılmadığı

Laboratuvar ve Cihaz Ölçümleri

Cihaz veya laboratuvar ölçümü kullanılan çalışmalarda model ve üretici, kalibrasyon süreci, ölçüm protokolü ve gerekli teknik özellikler raporlanmalıdır. Tekrarlanabilirlik için gerekli ayrıntı, yöntemin yeniden uygulanabilmesine izin verecek açıklıkta sunulmalıdır.

Örnek Ölçek Raporlaması

Örnek: Araştırmada X Ölçeği kullanılmıştır. Ölçek Yılmaz ve Demir tarafından geliştirilmiş olup 18 maddeden ve üç alt boyuttan oluşmaktadır. Maddeler 1 (kesinlikle katılmıyorum) ile 5 (kesinlikle katılıyorum) arasında puanlanmaktadır. Yüksek puanlar X düzeyinin daha yüksek olduğunu göstermektedir. Ölçeğin özgün çalışmasında üç faktörlü yapı desteklenmiş ve alt boyutlara ait iç tutarlılık katsayılarının .78 ile .89 arasında değiştiği bildirilmiştir. Mevcut çalışmada toplam ölçek için Cronbach alfa katsayısı .87 olarak hesaplanmıştır.

Örnek DFA Raporlaması

Örnek: Ölçeğin üç faktörlü yapısı doğrulayıcı faktör analiziyle sınanmıştır. Model uyumu χ²/df, CFI, TLI, RMSEA ve SRMR göstergeleri üzerinden değerlendirilmiş; standartlaştırılmış faktör yükleri ve faktörler arası ilişkiler ayrıca incelenmiştir.

Sık Yapılan Hatalar

• Ölçeğin yalnızca adını yazıp yapısını açıklamamak
• Özgün geliştirme çalışmasına kaynak vermemek
• Uyarlanmış sürümü belirtmemek
• Mevcut örneklemde güvenirlik katsayısı raporlamamak
• Cronbach alfayı geçerlik göstergesi olarak sunmak
• Yüksek alfayı tek başına geçerlik kanıtı saymak
• Tek maddeli ölçüm için alfa hesaplamak
• Alt boyutları kullanılan ölçekte yalnızca toplam alfa vermek
• Faktör sayısını yalnızca özdeğer > 1 kuralıyla belirlemek
• DFA'da tek uyum indeksine dayanmak
• Modifikasyon indekslerini yalnızca uyumu artırmak için gerekçesiz kullanmak
• HTMT veya benzeri ölçütler için karar kuralını belirtmemek
• Maddeleri yalnızca alfa yükselsin diye çıkarmak
• Nitel araştırmada nicel geçerlik-güvenirlik dilini mekanik biçimde kullanmak
• Katılımcı doğrulamasını her nitel çalışma için zorunlu saymak

Göndermeden Önce Kontrol Edin

• Kullanılan tüm veri toplama araçları açık biçimde tanıtılmış mı?
• Özgün kaynak verilmiş mi?
• Uyarlama kullanılmışsa ilgili çalışmaya atıf yapılmış mı?
• Madde sayısı, alt boyutlar ve puanlama açıklanmış mı?
• Yüksek ve düşük puanların anlamı belirtilmiş mi?
• Mevcut araştırmanın güvenirlik katsayıları raporlanmış mı?
• Geçerlik analizleri araştırmanın amacına uygun mu?
• KFA veya DFA ayrıntıları yeterince açıklanmış mı?
• Uyum indeksleri birlikte değerlendirilmiş mi?
• Yakınsak ve ayırt edici geçerlik gerekiyorsa incelenmiş mi?
• Madde çıkarma veya model değişiklikleri bilimsel olarak gerekçelendirilmiş mi?
• Nitel çalışmada kalite ölçütleri kullanılan metodolojiyle uyumlu mu?