Bir bilimsel araştırmada kullanılan veri toplama araçlarının açık biçimde tanıtılması, elde edilen ölçümlerin neyi ne ölçüde yansıttığının ve ne kadar tutarlı olduğunun değerlendirilebilmesi açısından önemlidir.
Ölçek, test, anket, gözlem formu, görüşme formu, cihaz ölçümü veya başka bir veri toplama aracı kullanılmışsa; aracın kaynağı, yapısı, puanlanması ve ölçüm özellikleri yöntem bölümünde yeterli açıklıkta sunulmalıdır.
Veri Toplama Aracı Nedir?
Veri toplama aracı, araştırmada belirli bir değişkeni, özelliği, deneyimi, davranışı veya sonucu ölçmek ya da kaydetmek için kullanılan araçtır.
Yaygın veri toplama araçları şunlardır:
- Ölçekler
- Anket formları
- Başarı veya bilgi testleri
- Psikometrik testler
- Gözlem formları
- Görüşme formları
- Kontrol listeleri
- Klinik ölçüm araçları
- Laboratuvar ve cihaz ölçümleri
- Kurumsal kayıtlar ve veri tabanları
Bir Ölçek veya Test Kullanılırken Hangi Bilgiler Verilmelidir?
Başka bir araştırmacı tarafından geliştirilmiş bir ölçek veya test kullanılıyorsa mümkün olduğunda şu bilgiler verilmelidir:
- Aracın tam adı
- Geliştirici yazar veya kaynak
- Geliştirilme yılı
- Varsa uyarlama çalışması
- Madde sayısı
- Alt boyutlar
- Yanıt biçimi
- Puanlama yöntemi
- Yüksek veya düşük puanın anlamı
- Orijinal çalışmadaki temel geçerlik ve güvenirlik bulguları
- Mevcut araştırmadaki güvenirlik veya ölçüm kalitesi bulguları
Ölçeğin Kaynağı Nasıl Yazılmalıdır?
Ölçeğin geliştirildiği özgün çalışma uygun biçimde kaynak gösterilmelidir. Eğer araştırmada başka bir dile veya kültüre uyarlanmış sürüm kullanılıyorsa ilgili uyarlama çalışmasına da atıf verilmelidir.
Sadece ölçeğin adını vermek çoğu zaman yeterli değildir.
Ölçek Yapısı Nasıl Tanıtılır?
Ölçekte kaç madde bulunduğu, tek boyutlu mu çok boyutlu mu olduğu ve alt boyutların hangi yapıları temsil ettiği açıklanmalıdır.
Örnek: Ölçek 18 maddeden ve üç alt boyuttan oluşmaktadır. Maddeler 1 ile 5 arasında puanlanan beşli Likert tipi yanıt yapısına sahiptir.
Puanlama Nasıl Açıklanmalıdır?
Okuyucu, ölçekten elde edilen puanın nasıl oluşturulduğunu anlayabilmelidir.
Bu nedenle gerektiğinde:
- Toplam puan aralığı
- Alt boyut puanları
- Ters kodlanan maddeler
- Kesme puanı
- Yüksek puanın anlamı
açıklanmalıdır.
Geçerlik Nedir?
Geçerlik, bir ölçüm aracından elde edilen puanların amaçlanan yorumu ne ölçüde desteklediğine ilişkin kanıtların bütününü ifade eder.
Geçerlik yalnızca bir kez kanıtlanıp sonsuza kadar geçerli kalan sabit bir özellik gibi ele alınmamalıdır. Ölçümün amacı, örneklem, bağlam ve kullanım biçimi önemlidir.
Güvenirlik Nedir?
Güvenirlik, ölçümlerin tutarlılığı ve ölçüm hatasından ne ölçüde etkilendiğiyle ilişkilidir.
Bir aracın güvenilir olması tek başına geçerli olduğu anlamına gelmez. Çok tutarlı bir ölçüm, yanlış bir yapıyı ölçüyor olabilir.
İç Tutarlılık Nedir?
İç tutarlılık, aynı yapıyı ölçmesi beklenen maddelerin ne ölçüde birlikte çalıştığını değerlendirir.
En sık kullanılan ölçüler arasında:
- Cronbach alfa
- McDonald's omega
yer alır.
Cronbach Alfa Nasıl Raporlanır?
Cronbach alfa, özellikle çok maddeli ölçeklerde yaygın kullanılan bir iç tutarlılık katsayısıdır.
Örnek: Ölçeğin mevcut araştırmadaki Cronbach alfa katsayısı .86 olarak hesaplanmıştır.
Alt boyutlu bir ölçek kullanılıyorsa yalnızca toplam ölçek katsayısını vermek yerine her alt boyut için de uygun güvenirlik katsayılarının raporlanması yararlı olabilir.
Cronbach Alfa İçin Sabit Bir Eşik Var mıdır?
Tek bir evrensel eşik yoktur. .70 gibi değerler literatürde sık referans alınsa da kabul edilebilir düzey, araştırmanın amacı, madde sayısı, ölçülen yapının niteliği ve ölçümün kullanım alanına göre değerlendirilmelidir.
Çok yüksek alfa katsayıları da her zaman üstün bir ölçüm anlamına gelmez; maddeler arasında aşırı benzerlik veya tekrar bulunabilir.
McDonald's Omega Nedir?
Omega, iç tutarlılığı değerlendirmek için kullanılan başka bir güvenirlik katsayısıdır. Özellikle faktör yüklerinin eşit olmadığı ölçüm modellerinde alfa katsayısına göre daha uygun bilgi sağlayabildiği durumlar bulunabilir.
Araştırmacılar uygun olduğunda alfa ile birlikte veya alfa yerine omega katsayısı raporlayabilir.
Test-Tekrar Test Güvenirliği Nedir?
Test-tekrar test güvenirliği, aynı ölçüm aracının belirli bir zaman aralığıyla aynı veya benzer bireylere tekrar uygulanması sonucunda ölçümlerin zaman içindeki kararlılığını değerlendirir.
İki uygulama arasındaki süre, ölçülen özelliğin doğasına uygun seçilmelidir.
Gözlemciler Arası Güvenirlik Nedir?
Birden fazla değerlendiricinin aynı durum veya veriyi kodladığı çalışmalarda değerlendiriciler arasındaki uyum önemlidir.
Kullanılabilecek göstergeler arasında:
- Cohen kappa
- Fleiss kappa
- Intraclass correlation coefficient (ICC)
- Yüzde uyum
yer alabilir.
Hangi katsayının kullanılacağı veri türüne ve çalışma tasarımına göre belirlenmelidir.
İçerik Geçerliği Nedir?
İçerik geçerliği, bir ölçüm aracındaki maddelerin ölçülmek istenen yapının kapsamını yeterince temsil edip etmediğini değerlendirir.
Özellikle ölçek geliştirme çalışmalarında uzman görüşleri kullanılabilir.
Uzman değerlendirmeleri:
- Madde uygunluğu
- Kapsam yeterliliği
- Anlaşılabilirlik
- Kültürel uygunluk
açısından incelenebilir.
Kapsam Geçerlik İndeksi Raporlanabilir mi?
Uzman değerlendirmelerine dayalı çalışmalarda madde ve ölçek düzeyinde kapsam geçerlik indeksleri gibi göstergeler kullanılabilir.
Hangi yöntemin uygulandığı ve kaç uzmanın değerlendirme yaptığı açık biçimde belirtilmelidir.
Yapı Geçerliği Nedir?
Yapı geçerliği, ölçüm aracının teorik olarak ölçmesi gereken yapıyı ne ölçüde temsil ettiğine ilişkin kanıtlarla ilgilidir.
Bu kapsamda:
- Faktör analizi
- Yakınsak geçerlik
- Ayırt edici geçerlik
- Hipotez testleri
- Gruplar arası beklenen farklar
değerlendirilebilir.
Keşfedici Faktör Analizi Nedir?
Keşfedici Faktör Analizi (KFA), maddeler arasındaki ilişkilerden hareketle ölçüm aracının altında yatan faktör yapısını araştırmak için kullanılır.
Özellikle yeni geliştirilen veya yapısı henüz net olmayan araçlarda uygulanabilir.
KFA Öncesinde Hangi Bilgiler Raporlanabilir?
Araştırmanın niteliğine göre:
- KMO değeri
- Bartlett küresellik testi
- Kullanılan faktör çıkarma yöntemi
- Döndürme yöntemi
- Faktör sayısının nasıl belirlendiği
- Madde yükleri
- Çapraz yükler
- Açıklanan varyans
raporlanabilir.
Faktör Sayısı Nasıl Belirlenmelidir?
Faktör sayısını yalnızca özdeğerin 1'den büyük olması kuralına dayandırmak yerine birden fazla kanıt birlikte değerlendirilebilir.
Örneğin:
- Paralel analiz
- Yamaç-birikinti grafiği
- Kuramsal yapı
- Faktörlerin yorumlanabilirliği
birlikte değerlendirilebilir.
Doğrulayıcı Faktör Analizi Nedir?
Doğrulayıcı Faktör Analizi (DFA), önceden tanımlanmış bir ölçüm modelinin veriye ne ölçüde uyduğunu sınamak için kullanılır.
Ölçek geliştirme, uyarlama veya daha önce önerilmiş bir faktör yapısının farklı bir örneklemde sınanması çalışmalarında kullanılabilir.
DFA'da Hangi Bilgiler Raporlanmalıdır?
Çalışmanın yapısına göre:
- Modelin faktör yapısı
- Standartlaştırılmış faktör yükleri
- Kullanılan kestirim yöntemi
- Uyum iyiliği göstergeleri
- Varsa hata kovaryansları ve bunların gerekçesi
- Alternatif modellerle karşılaştırmalar
raporlanabilir.
Uyum İndeksleri Nasıl Raporlanmalıdır?
DFA ve yapısal eşitlik modellerinde tek bir uyum indeksine dayanmak yerine birden fazla göstergenin birlikte değerlendirilmesi daha uygundur.
Yaygın göstergeler arasında:
- χ² ve serbestlik derecesi
- CFI
- TLI
- RMSEA ve güven aralığı
- SRMR
yer alabilir.
Sabit eşik değerler bağlamdan bağımsız kesin kurallar olarak kullanılmamalıdır. Model yapısı, örneklem büyüklüğü ve kestirim yöntemi de dikkate alınmalıdır.
Yakınsak Geçerlik Nedir?
Yakınsak geçerlik, aynı veya benzer yapıyı ölçmesi beklenen göstergelerin birbirleriyle yeterli düzeyde ilişkili olup olmadığını değerlendirir.
Özellikle yapısal eşitlik modeli temelli ölçüm çalışmalarında:
- Faktör yükleri
- Average Variance Extracted (AVE)
- Composite Reliability (CR)
gibi göstergeler kullanılabilir.
Ayırt Edici Geçerlik Nedir?
Ayırt edici geçerlik, teorik olarak farklı olması gereken yapıların gerçekten birbirinden ayırt edilebilir olup olmadığını değerlendirir.
Kullanılabilecek yöntemler arasında:
- HTMT
- Fornell-Larcker yaklaşımı
- Faktörler arası korelasyonların değerlendirilmesi
yer alabilir.
HTMT Nedir?
Heterotrait-Monotrait Ratio (HTMT), özellikle gizil değişken modellerinde ayırt edici geçerliğin değerlendirilmesinde kullanılan yöntemlerden biridir.
HTMT değerleri belirlenen ölçütlerle karşılaştırılabilir veya bootstrap güven aralıkları üzerinden değerlendirilebilir.
Kullanılan eşik veya karar kuralı kaynak gösterilerek gerekçelendirilmelidir.
Ölçüt Geçerliği Nedir?
Ölçüt geçerliği, bir ölçüm aracının dış bir ölçütle beklenen ilişkiyi gösterip göstermediğini değerlendirir.
Bu kapsamda:
- Eş zamanlı geçerlik
- Yordayıcı geçerlik
incelenebilir.
Bilinen Gruplar Geçerliği Nedir?
Bir ölçüm aracının teorik olarak farklı olması beklenen grupları ayırt edip edemediği incelenebilir.
Örneğin klinik ve sağlıklı grupların belirli bir ölçek puanında beklenen yönde farklılaşması geçerlik kanıtına katkı sağlayabilir.
Ölçek Uyarlama Çalışmalarında Ne Raporlanmalıdır?
Başka bir dil veya kültürde geliştirilmiş bir aracın uyarlanmasında yalnızca metnin çevirisini yapmak yeterli değildir.
Çalışmaya göre:
- Çeviri süreci
- Geri çeviri
- Uzman değerlendirmesi
- Kültürel uyarlama
- Pilot uygulama
- Faktör yapısı
- Güvenirlik
- Yakınsak ve ayırt edici geçerlik
- Ölçüt geçerliği
gibi kanıtlar sunulabilir.
Ölçek Geliştirme Çalışmalarında Ne Raporlanmalıdır?
Ölçek geliştirme süreci genellikle birden fazla aşamadan oluşur.
Bu aşamalar arasında:
- Yapının kavramsal tanımı
- Madde havuzunun oluşturulması
- Uzman değerlendirmesi
- Pilot uygulama
- Madde analizi
- KFA
- DFA
- Güvenirlik analizleri
- Yakınsak, ayırt edici ve ölçüt geçerliği
yer alabilir.
Tüm analizlerin tek bir örneklem üzerinde yapılması her zaman ideal değildir. Mümkün olduğunda keşfedici ve doğrulayıcı analizler için bağımsız örneklemler kullanılabilir.
Anket ile Ölçek Aynı Şey midir?
Hayır. Her anket ölçek değildir.
Anket, araştırmacının bilgi toplamak amacıyla hazırladığı daha geniş bir soru formu olabilir. Ölçek ise çoğunlukla belirli bir gizil yapıyı ölçmek için geliştirilmiş ve psikometrik özellikleri değerlendirilmiş maddeler bütünüdür.
Araştırmacı Tarafından Hazırlanan Form Nasıl Raporlanmalıdır?
Demografik veya araştırmacı tarafından hazırlanan bilgi formu kullanılıyorsa formun hangi bilgileri topladığı açıkça belirtilmelidir.
Örneğin:
Kişisel Bilgi Formu, katılımcıların yaş, eğitim düzeyi, mesleki kıdem ve çalışma birimine ilişkin dört sorudan oluşmuştur.
Bu tür formlar için her zaman klasik psikometrik geçerlik ve güvenirlik analizi gerekmez.
Bilgi veya Başarı Testlerinde Güvenirlik
Doğru-yanlış veya ikili puanlanan testlerde KR-20 gibi uygun iç tutarlılık katsayıları kullanılabilir.
Testin özelliğine göre madde güçlüğü ve ayırt edicilik gibi madde analizleri de raporlanabilir.
Tek Maddeli Ölçümlerde Cronbach Alfa Kullanılır mı?
Hayır. İç tutarlılık katsayıları birden fazla maddenin birlikte değerlendirilmesine dayanır. Tek maddeli ölçümlerde Cronbach alfa hesaplanması anlamlı değildir.
Likert Tipi Maddelerde Hangi Güvenirlik Katsayısı Kullanılmalıdır?
Kullanılacak katsayı veri yapısına, ölçüm modeline ve varsayımlara göre seçilmelidir. Cronbach alfa yaygın olsa da her durumda otomatik olarak en uygun seçenek değildir.
Ordinal veri yapısına uygun korelasyonlar ve alternatif güvenirlik göstergeleri bazı çalışmalarda daha uygun olabilir.
Ters Maddeler Nasıl Ele Alınmalıdır?
Ölçekte ters puanlanan maddeler varsa analiz öncesinde doğru biçimde yeniden kodlanmalıdır.
Ters kodlama işlemi yanlış yapılırsa toplam puan, faktör yapısı ve güvenirlik sonuçları ciddi biçimde bozulabilir.
Ölçekten Madde Çıkarmak Uygun mudur?
Bir maddenin yalnızca alfa katsayısını yükseltmek amacıyla otomatik olarak çıkarılması uygun değildir.
Madde çıkarma kararı:
- Kuramsal anlam
- Madde-toplam ilişkisi
- Faktör yükü
- Çapraz yükler
- İçerik kapsamı
- Önceki geçerlik kanıtları
birlikte değerlendirilerek verilmelidir.
Orijinal Ölçeğin Alfa Değerini Vermek Yeterli midir?
Hayır. Orijinal geliştirme veya uyarlama çalışmasındaki güvenirlik değerleri yararlı olmakla birlikte, mevcut araştırmanın kendi örneklemindeki güvenirlik katsayılarının da raporlanması çoğu durumda önemlidir.
Güvenirlik örnekleme ve uygulama koşullarına bağlı olarak değişebilir.
Ölçüm Değişmezliği Nedir?
Bir ölçek farklı gruplar arasında karşılaştırılacaksa ölçüm aracının yapıyı gruplar arasında benzer biçimde ölçüp ölçmediği değerlendirilebilir.
Özellikle:
- Cinsiyet grupları
- Kültürler
- Diller
- Ülkeler
- Zaman noktaları
arasında karşılaştırmalarda ölçüm değişmezliği önemli olabilir.
Yapılandırmaya göre configural, metric, scalar ve strict invariance aşamaları incelenebilir.
Ölçek Kullanım İzni Gerekir mi?
Bu durum ölçeğin telif ve kullanım koşullarına bağlıdır.
Bazı ölçekler serbestçe kullanılabilirken bazıları için geliştirici veya hak sahibinden izin alınması gerekebilir.
Yazarların ilgili aracın kullanım koşullarını kontrol etmeleri kendi sorumluluğundadır.
Ölçek Maddelerinin Tamamı Makalede Verilmeli midir?
Her zaman gerekmez. Ölçeğin telif durumuna ve makalenin amacına göre maddelerin tamamının yayınlanması uygun olmayabilir.
Yeni geliştirilen bir ölçek için maddelerin ek materyal olarak sunulması yararlı olabilir; ancak telif hakkı ve yayın politikaları dikkate alınmalıdır.
Nitel Araştırmalarda Geçerlik ve Güvenirlik Nasıl Ele Alınır?
Nitel araştırmalarda nicel ölçüm mantığındaki geçerlik ve güvenirlik kavramlarını otomatik olarak kullanmak her zaman uygun değildir.
Araştırmanın yaklaşımına göre:
- İnandırıcılık
- Aktarılabilirlik
- Tutarlılık
- Teyit edilebilirlik
- Refleksivite
gibi kalite ölçütleri kullanılabilir.
Nitel Araştırmada İnandırıcılık Nasıl Güçlendirilir?
Araştırmanın tasarımına uygun olmak koşuluyla:
- Uzun süreli etkileşim
- Veri çeşitlemesi
- Araştırmacı çeşitlemesi
- Katılımcı doğrulaması
- Akran değerlendirmesi
- Olumsuz veya aykırı örneklerin incelenmesi
gibi yöntemlerden yararlanılabilir.
Katılımcı Doğrulaması Her Nitel Araştırmada Zorunlu mudur?
Hayır. Member checking veya katılımcı doğrulaması her nitel yaklaşımda zorunlu değildir. Araştırmacı kullandığı kalite stratejilerini kendi metodolojik yaklaşımıyla uyumlu biçimde gerekçelendirmelidir.
Kodlayıcılar Arası Uyum Her Nitel Çalışmada Gerekir mi?
Hayır. Özellikle bazı yorumlayıcı nitel yaklaşımlarda farklı araştırmacıların tamamen aynı kodlara ulaşması temel kalite ölçütü olmayabilir.
Kodlayıcı uyumu kullanılan analiz yaklaşımı açısından anlamlıysa uygulanmalı ve hangi yöntemle değerlendirildiği açıklanmalıdır.
Görüşme Formu Nasıl Raporlanmalıdır?
Yarı yapılandırılmış görüşme formu kullanılıyorsa:
- Formun nasıl geliştirildiği
- Kaç ana soru içerdiği
- Uzman değerlendirmesi yapılıp yapılmadığı
- Pilot görüşme yapılıp yapılmadığı
- Görüşmeler sırasında takip sorularının kullanılıp kullanılmadığı
açıklanabilir.
Laboratuvar ve Cihaz Ölçümleri Nasıl Raporlanmalıdır?
Cihaz veya laboratuvar ölçümü kullanılan çalışmalarda ölçüm aracının model ve üreticisi, kalibrasyon süreci, ölçüm protokolü ve gerekli teknik özellikler raporlanabilir.
Tekrarlanabilirlik açısından gerekli teknik ayrıntılar okuyucunun yöntemi yeniden uygulayabileceği açıklıkta sunulmalıdır.
Veri Toplama Aracı Yöntem Bölümünde Nasıl Yazılır?
Pratik olarak şu sıra kullanılabilir:
Aracın adı → Geliştirici / kaynak → Yapısı → Puanlama → Önceki psikometrik kanıt → Mevcut araştırmadaki ölçüm bulguları
Örnek Ölçek Raporlaması
Örnek: Araştırmada X Ölçeği kullanılmıştır. Ölçek Yılmaz ve Demir tarafından geliştirilmiş olup 18 maddeden ve üç alt boyuttan oluşmaktadır. Maddeler 1 (kesinlikle katılmıyorum) ile 5 (kesinlikle katılıyorum) arasında puanlanmaktadır. Yüksek puanlar X düzeyinin daha yüksek olduğunu göstermektedir. Ölçeğin özgün çalışmasında üç faktörlü yapı desteklenmiş ve alt boyutlara ait iç tutarlılık katsayılarının .78 ile .89 arasında değiştiği bildirilmiştir. Mevcut çalışmada toplam ölçek için Cronbach alfa katsayısı .87 olarak hesaplanmıştır.
Örnek DFA Raporlaması
Örnek: Ölçeğin üç faktörlü yapısı doğrulayıcı faktör analiziyle sınanmıştır. Model uyumu χ²/df, CFI, TLI, RMSEA ve SRMR göstergeleri üzerinden değerlendirilmiş; standartlaştırılmış faktör yükleri ve faktörler arası ilişkiler ayrıca incelenmiştir.
Sık Yapılan Hatalar
- Ölçeğin yalnızca adını yazıp yapısını açıklamamak
- Özgün geliştirme çalışmasına kaynak vermemek
- Uyarlanmış sürüm kullanıldığı halde uyarlama çalışmasını belirtmemek
- Mevcut örneklemde güvenirlik katsayısı raporlamamak
- Cronbach alfayı geçerlik göstergesi olarak sunmak
- Alfa katsayısının yüksek olmasını tek başına geçerlik kanıtı saymak
- Tek maddeli ölçüm için alfa hesaplamak
- Alt boyutları ayrı kullanılan ölçekte yalnızca toplam alfa vermek
- Faktör sayısını yalnızca özdeğer > 1 kuralıyla belirlemek
- DFA'da tek bir uyum indeksine dayanmak
- Modifikasyon indekslerine yalnızca model uyumunu artırmak için gerekçesiz müdahale etmek
- HTMT veya benzeri ölçütler için kullanılan karar kuralını belirtmemek
- Ölçek maddelerini yalnızca alfa yükselsin diye çıkarmak
- Nitel araştırmada nicel geçerlik-güvenirlik dilini mekanik biçimde kullanmak
- Katılımcı doğrulamasını her nitel çalışma için zorunlu kabul etmek
Göndermeden Önce Kontrol Edin
- Kullanılan tüm veri toplama araçları açık biçimde tanıtılmış mı?
- Ölçeğin veya testin özgün kaynağı verilmiş mi?
- Uyarlama kullanılmışsa ilgili uyarlama çalışmasına atıf yapılmış mı?
- Madde sayısı, alt boyutlar ve puanlama açıklanmış mı?
- Yüksek ve düşük puanların anlamı belirtilmiş mi?
- Mevcut araştırmanın güvenirlik katsayıları raporlanmış mı?
- Kullanılan geçerlik analizleri araştırmanın amacına uygun mu?
- KFA veya DFA kullanılmışsa analiz ayrıntıları yeterince açıklanmış mı?
- Uyum indeksleri bir bütün olarak değerlendirilmiş mi?
- Yakınsak ve ayırt edici geçerlik gerekiyorsa değerlendirilmiş mi?
- Madde çıkarma veya model değişiklikleri bilimsel olarak gerekçelendirilmiş mi?
- Nitel çalışmada kalite ölçütleri kullanılan metodolojiyle uyumlu mu?
