Özet

SARS-CoV-2 virusu kolay ve hızla yayılma gücü ile bir anda küresel bir halk sağlığı sorununa dönüşmüş, sosyal ve ekonomik yaşamı da olumsuz etkilemiştir. Diğer yanda bilimsel araştırma ve yayın sayısındaki artış pandeminin sağlık alanında yarattığı önemli ve olumlu bir etki olarak ortaya çıkmıştır. Bilimsel araştırmaların hızla yapılması, yazılması ve yayımlanması hasta bakımı ve toplum sağlığına şüphesiz önemli katkı sağlamıştır; ancak gözden kaçan yöntemsel sorunlar yayınların iç ve dış geçerliliğini önemli ölçüde kısıtlamıştır. Epidemiyoloji disiplinine ait önemli başlıkları bir araya getiren bu derlemede, pandemi boyunca hakemli dergilerde yayımlanmış makalelerde sık gözlenen ve düzeltildiğinde çalışmaların kalitesinin yükseltilmesini sağlayabilecek yöntemsel eksiklikler ve hatalar konusunda farkındalık yaratmak hedeflenmiştir.

Öne Çıkanlar

  • COVID-19 pandemisi sağlık sisteminde, sosyal ve ekonomik yaşamda çok önemli sorunlara yol açarken, bilimsel yayıncılığa daha önce gözlenmemiş bir ivme getirmiş ve temel-klinik ve uygulama alanlarında çok sayıda yayına yol açmıştır. 
  • Araştırmaların gerçekleştirilmesi ve yayıma hazırlanması olabildiğince hızlı olarak yürütülürken söz konusu bulguların okuyucuya zamanında yetiştirilmesi için hakem değerlendirme süreçleri de hızlandırılmış, pek çok dergi erken yayın, çevrim içi yayıncılık ve açık erişim yöntemleriyle okuyucuya ulaşmak için azami gayret sarf etmiştir.
  • Bu süreç, klinik hasta bakımı ve ulusal korunma plan ve uygulamalarına önemli katkı yapmakla birlikte  yayın yapma paniği” araştırma planlama ve uygulamasında yöntemsel sorunların gözden kaçmasına, araştırmaların kısıtlılıklarının yeterince tartışılmamasına, yayımlanmış pek çok bulgunun kullanılamamasına ve benzer çalışmalardan farklı sonuçlar elde edilmesine neden olmuş olabilir.
  • COVID-19 pandemisinde dergilerde basılmış makalelerde en sık gözlenen yöntemsel hatalar ve nedenlerinin ortaya konması, ileride yapılacak yayınlarda bulguların karşılaştırılabilir, geçerli ve genellenebilir olması için epidemiyolojik açıdan yapılabileceklere ışık tutacaktır.

GİRİŞ

SARS-CoV-2 virusu kolay ve hızla yayılma gücü ile bir anda küresel bir halk sağlığı sorununa dönüşmüş, sosyal ve ekonomik yaşamı da olumsuz etkilemiştir. Üçüncü yılını tamamlamaya yaklaştığımız COVID-19 pandemisi halen en önemli morbidite ve mortalite nedenlerinin başında gelmektedir. Diğer yanda bilimsel araştırma ve yayın sayısındaki artış pandeminin sağlık alanında yarattığı önemli ve olumlu bir etki olarak ortaya çıkmıştır. Ekonomik destekler sayesinde başta aşı olmak üzere pek çok buluş yapılmış, hasta takibinin yanı sıra temel ve klinik bilimlerde önemli gelişmeler hayata geçmiştir. Pandemi döneminde yayınlara erişimin hızlı olması ve bulguların erken dönemde yaygın olarak bilim camiasına iletilmesi klinisyenler ve politika yapıcılar için temel veri girdisini oluşturmuştur. Tıp ve sağlık bilimleri alanında çıkan bilimsel dergilerin önemli bir kısmı da erken yayın, çevrim içi yayıncılık ve açık erişim yöntemlerinin yanı sıra hızlandırılan değerlendirme basamakları ile araştırma sonuçlarını haftalar-aylar içinde okuyucuya ulaşabilir hale getirmiştir. Hatta, hakem değerlendirmesi yapılmamış çalışmalar dahi erken dönemde okunabilir hale gelmiştir. Bilim dünyası ve pandemi sürecini yöneten karar vericiler şüphesiz bu hızlı ve erişilebilir süreçten çok yararlanmıştır. Ancak, yaşanan bu süreçte yayından çekilen, yayın sonrası düzeltme yapılan ve/veya editöre mektup ile kısıtlılıklarına dikkat çekilen makale sayısı da azımsanamayacak sayıdadır. Yüksek etki faktörlü dergiler başta olmak üzere çok sayıda dergi yazarlardan çalışmalarını yayımlanma kriterlerine uygun olarak hazırlamasını istemiş olmakla birlikte içsel geçerlilik (kapsam ve güvenirlik) yapısındaki olası eksiklikler bu hızlı yayım sürecinde her zaman düzeltilebilmiş değildir.

Bilimsel yayınların yöntemsel olarak değerlendirilmesi amacıyla hazırlanan bu derlemede; COVID-19 pandemisi boyunca ulusal ve uluslararası hakemli dergilerde yayımlanan, çok sayıda okuyucunun ilgisini çeken, ulusal eylem planlarına yol gösteren, kitlesel uygulamalar için kaynak olarak kullanılan makalelere bağlı kalarak yaygın gözlenen, düzeltilmesi durumunda çalışmanın veri kalitesini yükseltebilecek konulara ve ortak eksikliklere dikkat çekmek hedeflenmiştir. Bu yaklaşımla, ileride yapılacak ve sonuçlarının kullanılması olası COVID-19 ilişkili yayınların epidemiyolojik veri kalitesini iyileştirmeye yardımcı olmanın yanı sıra çalışma bulgularının geçerli ve güvenilir olmaması durumunda sağlık politika ve uygulamalarının ve/veya infekte kişilerin bakımının olumsuz etkilenmesini önlemek mümkün olabilecektir. Tıp ve sağlık bilimleri alanında yapılan çalışmaların yayın haline getirilmesi süreçlerinde eleştirel okuma yaklaşımının kritik öneme sahip olduğu bilinmekle birlikte hızlı yayın yapma motivasyonunun metodolojik hatalara ve eksikliklere neden olmasının önüne geçebilmek için neler yapılabileceğini tartışmak bilimsel yayınlara şüphesiz katkı sağlayacaktır.

İkincil veri analizlerinde ve elektronik kayıt sistemi üzerinden yapılan çalışmalarda daha belirgin olmak üzere, tanımlayıcı özelliği ağırlıklı çalışmalarda kayıta bağlı eksiklik ve heterojenite, örneklem büyüklüğünün yetersiz olması, istatistiksel analizlerde hasta gruplarının olası karıştırıcı faktörler açısından yeterince incelenmemesi gibi sorunlar tıp ve sağlık bilimlerindeki araştırmaların her dönemde önemli kısıtlılıkları olmuştur. 

Bunlara ek olarak, COVID-19 pandemisi sürecinde; infeksiyonun sürekli değişen ve/veya zaman içinde yeni tespit edilen özelliklerinin olması, tanı ve tedavi sürecindeki heterojenite, hastalık ve/veya aşılama sonrası bağışıklık yanıtının tam ve doğru bir şekilde değerlendirilememesi, bağışıklıktaki zamana bağımlı azalma, heterolog aşı uygulamaları, ülkelerin nonfarmasötik korunma yöntemlerine uyumdaki  farklılıklar gibi durumlar ortaya çıkmıştır. Bu nedenle zaman zaman çalışmaların planlanması ve analizinde yeterli ve standart bir yöntem geliştirilemediği için benzer çalışmaların bulgularında bile farklılık yaşanmış; çoğu zaman, araştırma yöntemlerinden kaynaklı sorunlar, bu sorunların nedenleri ve nasıl düzeltilebileceği yeterince tartışıl(a)mamıştır. 

Bu derlemede, pandemi döneminde yapılan yayınlardaki hatalardan yola çıkarak yeni yapılacak çalışmalar için yararlı olacağı düşünülen araştırma yöntemlerine ilişkin konular başlıklar halinde verilmiştir. Çok merkezli çalışmaların yanı sıra pek çok bilimsel alandan gelen uzmanın işbirliği ile yayıma hazırlanan makalelerin; CARE, STROBE, CONSORT, PRISMA vb. rehberlerin kriterlerine uygun olarak hazırlanması standardize etmek açısından yararlı olmakla birlikte tek başına yeterli değildir (1). Bilimsel çalışmaların; planlama, veri toplama ve analiz aşamalarında uygun araştırma yöntemlerinin kullanılması kritik öneme sahiptir. Geçerliliği ve genellenebilirliği düşük bir çalışma standart kurallara uygun olarak yazılsa dahi araştırma yöntemlerine hakim bir okuyucu hataları ve eksiklikleri görebilir; ancak özellikle politika yapıcıların içerik ve araştırma yöntemlerine uygunluktan ziyade çıkan  “sonuç” üzerinden karar vermeleri sıklıkla karşılaşılan bir durumdur.

Derlemede bahsi geçen araştırma yöntemi hatalarına yayımlanmış çalışmalar üzerinden örnek verilmesi etik olarak uygun olmadığı için okuyucuların aşağıda başlıklar halinde sunulan tartışmalardan yararlanması beklenmektedir. Araştırmacıların, derlemede yer verilen veya verilemeyen hatalarla karşılaştıkça, bunları kaydetmeleri ve çeşitli bilimsel faaliyet ortamlarında tartışmaları mesleki gelişimimiz ve bilime katkı açısından şüphesiz yararlı olacaktır.

Çalışma Tasarımları

NIH (“National Institutes of Health”) altında faaliyet gösteren NLM (“National Library of Medicine”)’nin girişimi olan LitCovid, COVID-19 hakkında güncel bilimsel bilgilere ve literatüre hızlı bir şekilde erişimin sağlandığı elektronik ortamda hazırlanmış bir alanyazın ağıdır (2). Söz konusu ağda, 22 Eylül 2022 tarihi itibariyle mekanizma, bulaşma, tanı, tedavi, önleme, uzamış COVID-19, olgu sunumu ve tahmin olarak tanımlanmış sekiz ana başlıkta COVID-19 ilişkili 290 334 adet yayınlanmış makale erişilebilir durumda olup özet bölümde Türkiye adı geçen toplam 1538 makale mevcuttur. En çok yayın yapan ilk beş ülke dönüşümlü olarak; ABD, İngiltere, Çin, İtalya, Japonya, Hindistan ve Brezilya’dır (2). Yayımlanmış makalelerin önemli bir kısmı, özellikle ilk 6 ay içinde, tanımlayıcı özellikte olup prospektif, retrospektif, kesitsel, olgu-kontrol ve kohort başlıkları ile sunulmuştur. 

Bazı durumlarda bir makalede kullanılan yöntemle tanımlanmış çalışma tasarımının örtüşmediği görülebilir. Örneğin, karşılaştırma grubu olan tanımlayıcı çalışmaların sıklıkla olgu-kontrol tasarımı olarak ve prospektif ya da retrospektif gibi veri toplama aşamalarının çalışma tasarımı şeklinde sunulması sıklıkla karşılaşılan hatalardır.  Diğer yanda hasta gruplarına ait daha önceden kayıt altına alınmış verilerle yapılan çalışmaların; sonuç oluşmadan incelemeye alınmış ortak özellikteki kişileri kapsayan, tam muayene/tetkik sonrası etkenle karşılaşma durumlarının standartlara uygun olarak ölçüldüğü, önceden belirlenmiş izlem ve periyodik süreçlerle değerlendirmelerin yapıldığı, bağımlı değişkenin benzer şekilde tayin edildiği kohort çalışmalar gibi tanıtılması da sıklıkla görülmektedir. 

Prospektif çalışma yöntemi, ileriye dönük olarak ve kişilerin sonuç gelişme açısından takibe alınmasını ifade etmesine rağmen kişilerin verilerinin toplamasıyla sınırlı olacak şekilde kullanılabilmektedir. Söz konusu çalışmalarda, prospektif çalışma yönteminin temel getirisi olan kümülatif insidans, insidans hızı vb. ölçütlerin hesaplanması ve/veya kişilerin erken ölümleri/çalışma gruplarından çıkmaları (sansürlenmiş gözlem), süreç içindeki COVID-19 infeksiyonu, korunma yöntemleri, medikal uygulamalar vb. bağımlı değişken üzerinden takibin olası olmadığı durumları dikkate almamışlardır (3).

Tıp ve sağlık bilimleri alanında yazılmış makalelerde; başlık, özet ve yöntem bölümlerinde çalışma tasarımının belirtilmesi uygun olur. Ayrıca, çalışmadan hangi epidemiyolojik ölçütlerin hesaplanabileceğinin yanı sıra bulguların iç ve dış geçerliliği çalışma tasarımı ile doğrudan ilişkili olduğu için örneklem hacmi, kontrol seçimi, sonuç belirlenmesi, izlemde kayıpların kontrolü vb. unsurların verildiği araştırma tasarımı detaylarının belirtilmesi önemlidir. Özetle, çalışma tasarımı, bulguların nasıl değerlendirilebileceği ve veri kalitesi açısından son derece önemli olduğu için makalelerde mutlaka belirtilmeli; gerçekleştirilen uygulama içeriği de belirtilen tasarım gereksinimlerini karşılar nitelikte olmalıdır (1, 3).

Çalışma Tasarımının Koşulları ve Çıktılar

Bazı durumlarda, bir çalışma tasarımı  ifade edilenden farklıdır. Örneğin, hasta grubu ile dışsal karşılaştırma grubunun alındığı bir çalışma olgu-kontrol şeklinde analiz edilmiştir. Oysa bu iki grup gerçekte, iki farklı olgu serisi olup karşılaştırmalı bir tanımlayıcı (“descriptive”) çalışma niteliğindedir. Her ne kadar hipotez geliştirebilmek için “odds ratio” (OR) hesaplamaları yapılabilse de kontrol grubunun olgulara benzer özellikte seçilmemiş olması nedeniyle bağımlı ve bağımsız değişkenler arasındaki ilişki (asosyasyon) değerlerinin geçerliliği düşüktür. Örneklem sayısı, kontrollerin sayı ve seçimi, etkenle karşılaşma özelliklerinin olgular ile aynı şekilde ve sonuç değişkeni açısından [örneğin, “polymerase chain reaction” (PCR) testi vb. kişi beyanı] ve zaman ekseninde karşılaştırılabilir şekilde belirlenmesi olgu-kontrol araştırmalarında belirleyici özelliklerdir (3). Olgu-kontrol araştırmaları ile karşılaştırma grubu olan tanımlayıcı araştırmalar karıştırılmamalıdır. Olgu-kontrol araştırmalarında eğer bir eşleştirme varsa analizlerin uygun şekilde eşleştirilmiş örnekler için yapılması sağlanmalı, OR (ya da uygun tasarımlarla elde edilen rölatif risk) değeri karşılıkları nedensellik tartışması açısından dikkatle irdelenmelidir (1, 3).

Kohort araştırmalarında; izlem süresinin yeterli olmaması, süreç içinde etkenle karşılaşma durumuna göre [iki farklı aşı, hatırlatma dozu (“booster dose”), primer aşı serisi ile aşılama uygulamaları vb.] elde edilen sonucun aynı olmaması, test erişimleri, farkındalık, vb. farklılıklar veri analizini kısıtlamakta ve çelişkili sonuçlara neden olabilmektedir. Ölçüme bağlı olan bu farklılıklar (“information bias”) sonuçların karşılaştırılabilirliğini engellemektedir (3, 4). Özellikle aşı etkisi incelemelerinde, aşıların etkili olması beklenen aşamadan itibaren yapılan karşılaştırmalarda, karşılaştırılan aşının piyasaya çıkma zamanı aynı değilse takip süreleri karşılaştırılabilir kılınmalıdır. Hatırlatma dozu uygulamalarının etkilerinin değerlendirildiği bir çalışmada; iki doz CoronaVac aşısı olmuş kişiler ikinci dozdan 14 gün sonra,  üç doz aşı uygulananlar ise üçüncü dozdan 14 gün sonra izleme alınmış ve bu iki grup karşılaştırılmıştır. Bu yaklaşım, analizlerin hatırlatma dozunun etkisini vermesi açısından uygun değildir. Hatırlatma dozu takvimde kaçıncı ayda öneriliyorsa (örneğin, 4. veya 6. ay) iki doz aşılılar ile karşılaştırma bu aşamadan itibaren başlatılmalıdır; aksi halde hatırlatma dozu etkisi (üçüncü doz aşı türünden bağımsız), olduğundan düşük gösterilecektir (3, 5, 6). 

SARS-CoV-2 infeksiyonu sonrasındaki test pozitifliği, hastanede yatış süresi-hastalık şiddeti/ölüm ilişkisi, hastalık/aşı sonrası bağışıklık değerleri gibi birçok faktör/ilişki çalışmalarında sonuçların, ölçümün yapıldığı süre ve hastanın izleminden etkilenmesi nedeniyle farklı çalışmalara ait bulgular karşılaştırılamamaktadır. Bu nedenle COVID-19 çalışmalarında, rölatif risk hesaplamaları için mümkünse kümülatif insidans yerine insidans (“hazard”) hızı hesaplamalarının tercih edilmesi yararlı olacaktır. İnsidans hızı hesaplamalarında, bazı çalışmalarda kişi/gün, bazı çalışmalarda ise kişi/yıl olarak değer verildiğini gözlemliyoruz. Bu durum uygun olmakla birlikte kişi/gün değerlerini kişi/yıla çevirmede hesaplama hataları yapılması maalesef nadir değildir. Kişi/zaman hesaplamasının amacı; gün cinsiden yapılan hesaplamadan yola çıkarak yıllık takipte kaç kişinin hasta olacağını değil, farklı araştırmaların “gerçek” izlem süreleri ve katılımcı sayılarını esas alarak, paydaların karşılaştırılabilir kılınmasıdır. Bu yolla, benzer payda esas alındığında ne kadarlık bir pay ile karşılaşılacağı ortaya konarak, “az/çok” hesabı yapılabilmesi hedeflenmektedir. Çalışmalarda katılımcı sayısı ve izlem süresi bilgilerinin ayrıca detaylandırılması önemlidir; örneğin 1000 kişi/gün ifadesi 1000 kişinin bir günlük izlemi veya 10 kişinin 100’er gün için izlemine karşılık gelebilir (3).

“Plasebo-kontrollü çalışma yapılamaması nedeniyle gözlemsel ve aşısız kontrol grubu olmayan çalışmalar yapılamıyor yaklaşımı bilimsel açıdan uygun değildir. Ulusal kayıt sisteminden; halen aşısız kişiler saptanabilir, takip edilebilir ve karşılaştırmalarda kullanılabilir. Bu nedenle, ulusal sağlık/aşı verilerinin pandemi içinde uygun kontroller açısından kullanılabilmesi birçok çalışmanın gereksiz yere yapılmasını önleyecek ve/veya sonuçların gerçekçi değerlendirebilmesine olanak sağlayacaktır (3, 7).

İç ve Dış Geçerlilik

Pek çok çalışmada popülasyon, özel bir alandan/kurumdan veya sadece ulaşılabilen gruplardan (tek bir hastane, bakım evi, yoğun bakım ünitesi, vb.) seçilerek veriler elde edilmiştir. Hali hazırda toplanmış verilerin kullanılması nedeniyle her verinin tüm katılımcılar için karşılığı olmamaktadır; yaş, test değeri, tetkikin özelliği, vb. hususlar her katılımcı için mevcut olmayıp aynı şekilde ölçülmemiş de olabilir. Bu nedenle söz konusu çalışmalarda, seçime bağlı bir yan tutma söz konusu olup çalışmaya katılanlardan elde edilen verilerin topluma yansıtılmasında (dış geçerlilik ve genellenebilirlik) kısıtlılık söz konusudur (2, 8). Bir yandan pandemiyi yönetmek bir yandan da bilimsel araştırmalar yürütmek şüphesiz çok zordur. Bu anlamda, Çin başta olmak üzere salgının en yoğun yaşandığı dönemde klinisyenlerin hastaları üzerinden elde edilen bilgileri kısa sürede analiz edip yayımlamış olmaları, salgını daha sonra deneyimleyen, Türkiye gibi ülkelerin klinisyenleri ve politika yapıcıları için çok yararlı olmuştur. Öte yandan, küçük çaplı, standart ölçüm ve uygulamaya dayalı olmayan ve/veya genellenebilirliği düşük çalışma bulguları kullanılırken çok dikkatli olmak gerekmektedir.

Pandemi sürecinde bireysel yaşam koşullarının ağırlığı dışında, yoğun hasta yükü ve uygun olmayan çalışma koşulları hasta kayıtlarının tam, düzenli ve standartlara uygun olarak toplanmasını engellemiş olabilir. Verilerin retrospektif olarak mevcut kayıtlar üzerinden toplandığı durumlarda, hasta bilgilerinin kapsayıcılığı ve güvenilirliğine ait kısıtlılıklar kadar, hastaların ve klinisyenlerin izleme ve tedavi süreçlerini bütünüyle hatırlamalarının (“recall bias”) zorlukları da akılda tutulmalıdır. 

Mevcut verilerin analizi söz konusu olduğunda; verilerin tek elden toplanmamış olması, kişilerin sisteme erişebilirliği/kullanabilirliği ve/veya bireysel tercihleri nedeni ile katılımcı faktörleri özelinde bazı karıştırıcı (“confounding”) faktörlere ilişkin bilgiler toplanmamış olacağı için, istatistiksel analizlerde olası karıştırıcı faktörler kontrol edilse dahi, residüel karıştırıcı etkiler nedeni ile çalışmanın iç geçerliliği (internal validitesi) ciddi şekilde kısıtlı olabilmektedir (3, 8, 9).

Seçim Özellikleri

Aşı uygulamaları erişim kolaylığı nedeniyle daha kapsayıcı bir şekilde sağlık personeline (“convenience sample”) yapılmaktadır. Sağlık personelinin COVID-19 riskinin genel popülasyona oranla sürekli daha yüksek olması bu grupta aşı çalışmalarının başarısını olduğundan az gösterebilir. Öte yandan, bu grubun sürekli infeksiyona maruz kalması aşı etkisi dışında kalan antikor çalışmalarında aşı-kaynaklı antikor yanıtlarının olduğundan çok gözlenmesine neden olabilir. Maske/mesafe/hijyen konusundaki duyarlılık ise bu grupta aşı-infeksiyondan korunma ilişkisini olduğundan güçlü gösterebilir. Diğer yandan, aşılı olan ve korunduğuna güvenen kişiler maske/mesafe/hijyen konusunda daha dikkatsiz davranabilirler (“risk compensation”); bu durumda aşılı grupta koruyuculuk değerleri olduğundan düşük bulunabilir (4, 8, 9).

Kontrol grubunun aynı gruptan seçilmesi durumunda korunma faktörü gruplar arasında ayrımsal olmayan bir taraf tutmaya neden olacağı için aşı-korunma ilişkisini olduğundan az gösterme tarafına bir yanlılık nedeni olabilir (“non-differential bias towards the null). Aşı etkililik (“effectiveness”) çalışmalarında sağlık personeli ve toplumun genelinin verilerinin karma olarak değerlendirilmesi analizlerde yanlış yorumlamalara neden olabilir. Bu grupların farklı özellikleri nedeniyle gruba özel analizler ve etki büyüklüğü hesaplamaları yapılması önemlidir (4, 10).

Bağışıklık yanıtının, aşıdan bağımsız olarak, yaş arttıkça azaldığı bilinmektedir. Bu durumda, 59 yaş ve altı bağışıklık koruması değerlerinin 60 yaş ve üzerinde aynı olmayacağı açıktır. Aşı türlerine göre daha yaşlı grupta sağlanacak primer yanıt ve azalma süresine göre hatırlatma dozunun tür ve zamanlamasına mevcut çalışma sonuçları değerlendirilirken dikkat edilmelidir (5, 6).

Aşı çalışmalarının tartışma bölümünün, seçilen örnekleme bağlı olası taraf tutma eğiliminin yanı sıra ilişkili faktörlerin boyut, yön, uluslararası benzer çalışma bulguları ile karşılaştırma potansiyeli ve olası çözüm önerileri açısından detaylı olarak irdelenmesi gerekir.

Aşı özelinde yapılan çalışmalarda; aşının türü, sayısı ve hatırlatma dozlarının belirlenmesi koşulları toplumsal aşılama sonuçlarında önemli farklıklar gösterebilir. Örneğin ülkemizde, uygulanan aşı türünün seçimi her ne kadar kişilerin tercihine bırakılmış olsa da, ilk iki CoronaVac aşı dozunun öncelikle yaşlı bireylere ve sağlık personeline uygulanmış olması, sonrasında BionTech aşısının devreye girmesi ile genç grupta bu aşının yaşlılara kıyasla primer bağışıklamada daha yaygın olarak kullanılması, hatırlatma dozları seçilirken ilk aşılamaya uygun doz seçilmesi veya yaşlı bireylerde CoronaVac ile devam edilmesinin daha fazla önerilmesi gibi  dışsal kriterler ve etkiler, verilerin analizinde sadece yapılan aşı üzerinden değerlendirilme yapılmasının yanı sıra seçime bağlı olası taraf tutma eğilimi nedeniyle aşı koruyuculuk yüzdelerinin karşılaştırılmasında hataya neden olabilmektedir. 

Benzer şekilde, zaman içinde dolaşımdaki baskın olan virus varyantlarının değişmesi ve kullanımdaki aşıların bu varyantlara olan etkisi, aşılama sonrası dönemde toplumdaki aşılama yüzdelerine göre toplumun ne kadarının korunduğuna ait değerin “zamana bağlı bir değişiklik göstermesi”ne neden olacaktır. Yani aşı türü, kişilerin hangi aşıları neden tercih ettiği ve zaman bir bütün olarak dikkate alınmalıdır. Bu nedenle, marjinal yapısal modellemelerdekine benzer şekilde; aşılanma olasılıklarının tersi ile ağırlıklandırma (“inverse probability of treatment weighting), aşı türü üzerine kondisyonel (“conditional”) olmayan, aşı seçimine ilişkin değişkenler ve aşı sayıları üzerinden değerlendirmeleri de içerecek analiz yöntemleri kullanılması uygun olacaktır (11-13).

Karıştıcı Değişken Kontrolü ve Etki Değişimi

Çalışmalarda analize bir karıştırıcı değişken (“confounding) eklenecek ise bunun çalışılan etkenden (örneğin aşı türü) bağımsız olarak sonuç değişkeni ile (örneğin, semptomatik COVID-19 infeksiyonu) ilişkili olması, sonuçtan bağımsız olarak da etken ile ilişkili olması (örneğin hangi aşının seçilmesi ile) ve etkenin sonuca neden olduğu yolakta (bu örnekte bağışıklık cevabı, gücü, süresi, vb.) olmaması gerekir. Bu nedenle, yaş-aşı koruyuculuk çalışmalarında ele alınan ortak bir karıştırıcı değişken olup yaşa göre kontrol edilmiş “hazard ratio” (HR) veya “risk ratio” (RR) değerleri üzerinden analizler yapılmaktadır. Bu durum, istatistiksel analiz yöntemleri açısından yanlış olmamakla birlikte yaş değişkeninin kişilerin bağışıklık yanıtını doğrudan negatif olarak etkilemesi (“immunosenescence”) ve bağışıklık yanıtı benzer olsa dahi yaş ile COVID-19 infeksiyonlarının semptomatik seyretme sıklığının yüksek olması nedeniyle yaş, aşı koruyuculuk çalışmalarında gerçek bir etki değiştirici unsurdur. Epidemiyolojide aynı değişken hem etki değiştirici hem de karıştırıcı rol oynayabilir. Bu durumda doğru bir analitik yöntemle, ilgili değişkeni etki değiştirici olarak tanımlamak ve tabakalı analizler ya da modellemede ilgili yöntemlerle yaşa özel hızlar vermek esas alınmalıdır. Bu analizler aynı zamanda karıştırıcı değişken kontrolü için de uygun olup ek bir analize gerek duyulmayacaktır. Öte yandan, yaş değişkenini kontrol etmek için kullanılan yöntemlerde (Mantel-Haenzsel OR, “age-adjusted” HR vb.) tek bir koruyuculuk oranı ortaya koyulabilir ve bu yaşın gerçek etkisinin değerlendirilmesini olanaksız kılar. Özetle, aşı etkililik çalışmalarında yaşa özel değerlendirmeler yapılmalı, farklı koruyuculuk değerleri (%95 güven aralıkları ile) ayrı ayrı sunulmalıdır. Söz konusu analizlerde, diğer olası karıştıcı değişkenler için de kontrol mutlaka yapılmalıdır.


Rapel Uygulamalarında Etki Değerlendirme

Hatırlatma dozu etkisi değerlendirilirken, kimi çalışmalarda izlem süreleri üç doz sonrası ile iki doz sonrası mutlak sürelerin karşılaştırılması şeklinde olmaktadır. İkinci aşı sonrası hatırlatma dozu hemen yapılamayacağı için iki doz aşısı bulunanlar ile hatırlatma dozu yapılanların karşılaştırılması daha uygun olacaktır. Bu ikinci grup sağlanamıyor ise en azından hatırlatma dozu yapılabilme zamanından itibaren karşılaştırma esas alınmalıdır. Bu durumda iki doz aşılılarda hatırlatma dozu alanların almayanlara göre etkisi çalışılabilir. Dolayısıyla, hatırlatma dozunun yapılıp yapılmaması gereği irdelenir. Eğer mutlaka iki doz aşı ile üç doz aşı karşılaştırılacak ise iki doz aşı sonrası bağışıklık yanıtındaki azalma dikkate alınmalıdır (5, 6).

Özellikle hatırlatma dozu uygulamalarında, karşılaştırma zamanı hatırlatma dozunun yapıldığı tarih itibarı ile düzenlenmelidir. Aşı çalışmalarında, aşının koruyucu etkisi genel olarak risk oranı üzerinden hesaplanmış/sunulmuştur. Aşının bağışıklık yanıtının zaman içinde maksimize olup geçen sürede azalması (“waning immunity) nedeniyle kişilerin izlemde kaldıkları süreler dikkate alınmalı, insidans hızı oranı (“rate ratio”)  mümkünse uyarlanmış HR değerleri esas alınarak değerlendirme yapılmalıdır (8, 9).

Aşılama çalışmalarında sadece aşı türü ve sayısının bilinmesi  korunabilirlik değerlendirmesi yapmak için yeterli değildir. Toplum genelinde aşı sonrası bireylerin korunduğunu hissederek kapalı yerlere girme, maske kullanmayı azaltma vb. davranışlar (“risk compensation”) gösterdiği bilinmektedir; bu durum çalışmalarda aşının etkisini olduğundan az gösterme yönünde hataya neden olabilir. Ayrıca toplumda bazı aşılar diğerlerine göre daha koruyucu olarak algılanıyorsa, bu tür bir hatalı yaklaşım nedeniyle koruyuculuğu yüksek kabul edilen aşı aleyhine bir etki değeri sonucuna neden olacaktır (9).


Aşılamanın Etkilerinin Toplum Boyutunda İncelenmesi

Aşıların bireyler özelindeki koruyuculuğu ve aşı sayıları doğrudan toplumdaki durumu kestirmek için yeterli değildir. Topluma atfedilen risk ve koruyuculuğun değerlendirilebilmesi için; aşılı bireylere uygulanan aşıların türü, sayısı, hatırlatma dozu yapılma durumu, yapılan aşıların arasındaki süre, COVID-19 geçirme durumu gibi birçok değişkenin eş zamanlı olarak kontrol edilmesi gereklidir. Bu nedenle T.C. Sağlık Bakanlığı’nın aşı verilerinin kapsamlı bir şekilde değerlendirilmesi toplumdaki aşı ihtiyacının belirlenmesi için kritik öneme sahiptir. Hiçbir tekil çalışma ile ülkedeki aşı ihtiyacı belirlenemez. T.C. Sağlık Bakanlığı, verileri ulusal çapta, tam, düzenli ve sürekli toplayan bir kuruluş olarak, söz konusu verilerin zamanında, yeterli ve detaylı olarak analizlerinin yapılmasını ve paylaşılmasını da sağlamalıdır. Bunu kendi imkanları veya görevlendirdiği / işbirliği yaptığı bilim insanlarıyla gerçekleştirebilir ya da üniversiteler ve araştırma kurumları aracılığıyla yaptırabilir. LitCovid’de bulunan çok sayıda çalışma böylesi işbirlikleri ile yapılmış olmakla birlikte ulusal çapta bir sonuca ulaşılamamış olması üzücüdür. Ulusal çapta, tekrar edilebilir, güncel literatür ile niteliksel olarak karşılaştırılabilir, bilime katkının yanı sıra yenilik getirecek çalışmalara ihtiyaç duyulmaktadır. Bu bağlamda, özellikle yaygın olarak uygulanan yerli aşı TurkoVac’ın faz 3 ve etkililik çalışma sonuçlarının analiz edildiği yayınların artması çok değerli olacaktır (2, 14). 

Filyasyon İncelemelerinin Getirisi

Pandemi sürecinin ilk aşamasından bu yana ülkemizde büyük emek, insan gücü, maliyet ve zaman gerektiren çalışmalarla ortaya çıkan filyasyon verileri maalesef yayınlara yeterince yansımamıştır. Sürecin nasıl yönetildiği ve gerçekleştiği bilgilerinin yanı sıra çıktıları da çok önemlidir. Ülkemizde yapıldığı şekliyle ileriye dönük olarak, semptomatik hastalık geçirenlerden bulaşma sayısının belirlenmesi önemli olmakla birlikte burada elde edilecek etkili üreme sayısı (“effective reproduction number”) olan Re ve zamana bağlı etkili üreme sayısı olan Rt değerleri, herkese değil sadece temaslılara PCR testi yapılarak hesaplandığı takdirde gerçek değerin altında kalacaktır. Bilindiği üzere, süper bulaştırıcıların sayısı az olduğu için bu tür yeni olgu tespitlerinde bulaşma sayısı düşük çıkacağı gibi, kaynağı bulmak için yapılan geriye dönük filyasyon verileri hem daha “geçerli” Re ve Rt değerleri sağlayacak, hem de bulaş ortamlarını ve modelleri (“patterns”) belirlemeye yönelik bulgular ile yerel anlamda koruyuculuk girişimlerini güçlendirebilecektir. 

Dünyada ilk kez gözlenen bir etken olarak SARS-CoV-2’nin ilk tanımlandığı günden sonra farklı topluluklarda virusun temel bulaşıcılık ve üreme katsayısı olan Ro değeri kapsamında çok sayıda çalışma yapılmış, ileriye yönelik tahminler için modellemelerde kullanılmıştır. Virusun ortaya çıkan yeni varyantları, toplumsal korunma önlemlerine uyumun azalması, kitlesel aşılama gibi değişen koşullar için virusun üreme sayısının diğer bir deyişle infekte bireyin kaç kişiyi infekte edeceğinin ve sürece özel Re ve Rt değerlerinin hesaplanmasının önemi artmıştır. Bulaşma yaygınlığı, bulaşma yolları, çevresel etkiler ve koruyucu önlemlerin rolü üzerinde küçük ölçekli çalışmalar yapılmış olmakla birlikte toplumun genelinde salgının takibi, varyantların salgın yüküne yansımaları ve/veya yerel varyantların sayı ve boyutuna yönelik epidemiyolojik veriler çoğu gelişmekte olan toplumda halen karşılanamamış bir gereksinimdir (14).

Tanı Yöntemleri

Gelişmekte olan pek çok ülkede, kullanılan tanı yöntemlerinin geçerlilik ve güvenilirliğine dair çalışmalar yapılmış olmakla birlikte ulusal olgu sayılarının tespitini sağlayacak çalışmalar yapıl(a)mamıştır. Yalancı pozitiflik ve negatiflik oranlarıyla kullanılan test özelinde ve infeksiyonun evresine göre bir ülkede o testin kaç adet kullanıldığından yola çıkarak olgu sayılarında bazı düzeltmeler yapılabilir.

Ölümlerin Değerlendirilmesi

Küresel boyutta, COVID-19 nedenli ölümlerin tam olarak tespit edilemediği genel kabul gören bir durumdur. Öte yandan, geç tanı koyulan, erken dönemde tedavi edilemeyen hastalıklar, COVID-19 nedeni ile sınırlanan poliklinik ve yatak sayılarının yanı sıra yasaklar, toplu taşıma kullanımında kısıtlamalar, bireysel “kaygı/korku/çekinme” kaynaklı sağlık erişim sorunlarından kaynaklanan morbidite ve mortaliteye yönelik çalışmalar ile uzamış COVID-19 çalışmaları küçük çaplı, seçime bağlı genellenebilirliği düşük ve ulusal yansıması yapılamayacak niteliktedir. Bu çalışmaların ulusal çapta yapılabilmesi için niyet, motivasyon ve finans desteği değerli olacaktır. Pandemi döneminde COVID-19 kaynaklı ölümler kadar, tanı ve tedavideki gecikmelerden kaynaklı COVID-19 dışı nedenlerin sebep olduğu ölümlerin de artacağı/arttığı açıktır. Toplumsal boyutta geçerli sonuçlar elde edebilmek için gerek hastanede gerekse hastaneye ulaşamadan gerçekleşen ölümlere ait kayıtların  standartlara uygun ve detaylı bir şekilde tutulması önemlidir.

Tedavi Değerlendirmeleri

COVID-19 pandemisi sürecinde genel kabul gören tedaviler ve/veya bunlar dışındaki ilaçların, hasta tedavisi/korunmada etkili olduğu gerekçesi ile farklı topluluklarda kullanılabildiğini biliyoruz. Bunların nedenleri incelendiğinde; yapılan klinik çalışmaların bir kısmında seçilen hasta gruplarının karşılaştırmalar için başlangıç aşamasında uygun olmadığı (yaş, cinsiyet, komorbidite, hastalık şiddeti, eşlik eden ilaç kullanımı vb. nedenlerle), herhangi bir hastalığı olanların olmayanlar ile COVID-19 hastane yatışı ve/veya fatalitesi açısından karşılaştırılmasında altta yatan hastalığın doğrudan veya dolaylı olarak ölüme etkilerinin yeterince incelenmediği, ölçüm yöntemlerinin karşılaştırma gruplarında benzer olmadığı, kullanılan bazı ilaçların ilacın hastanın özel durumundan kaynaklanan gerekçelerle başlanması nedeniyle  (“confounding by indication”) sonuca etkileri açısından karşılaştırılabilir olmadığı, kimi zaman örneklem sayısının yeterli olmamasına bağlı olarak ilişkinin tip 2 hata nedeniyle gösterilememiş olmasının ekarte edilememesi, eşleştirilmiş bir çalışma grubu seçilmesine rağmen analizlerde bu özelliğin dikkate alınmamış olması sık rastlanan yöntemsel sorunlar olarak gözlenmiştir.  Özellikle hastalık süreci ve tedavi sonrası izlem sürelerinin benzer olmaması ve hastaların hastane yatışı sonrası durumlarının takip edilememesi gibi nedenlerle yüzde/kümülatif insidans üzerinden hesaplamalar yapılması uygun olmayacaktır. Üstünlük çalışması (“superiority trial”) şeklinde planlanmış bir çalışmada, pre-set p değerleri üzerinden gerçekleştirilen analizlerin en az onun kadar etkili (“non-inferior”) şeklinde yorumlanması uygun olmayacaktır. Üstünlük çalışmalarındaki örneklem seçim ve sayısı, p değerlerinin yorumlanması “non-inferiority trial” için farklı olup “non-inferiority margin” ismi verilen kabul edilebilen alt eşitlik/denklik sınırının çalışmada analiz öncesinde belirlenmiş olması gerekmektedir. Önceki deneyim, hastalıkların benzer özellikleri, ilacın daha önce bir hasta grubunda COVID-19 için sorunsuz kullanılmış olması sebebiyle çok sayıda ilaç, etkisinin denenmesi için hasta özelinde bakım veren doktor tarafından kullanılabilir. Öte yandan, endikasyon dışı kullanılacak ilaçların mutlaka hastalardan aydınlatılmış onam alınarak deneysel çalışma statüsünde kullanılması gereklidir. Bu durum ülkemizde de yasal olarak zorunludur. 

Denenmemiş ilaçların gözlemsel araştırmalarda karıştırıcı değişkenler dikkate alınmadan “etkili bulunması” durumunda, çalışmanın yayıma hazırlanan dokümanında “ilaç COVID-19 için etkili bulunmuştur; geniş, randomize kontrollü çalışmalar ile teyidi uygun olacaktır” cümlesi yöntemsel açıdan uygun değildir. Gözlemsel çalışmaların; sadece ilişki (asosyasyon) açısından bilgi verebileceği, yanlılık (“bias”) ve karıştırıcı değişkenler çok iyi kontrol edildiğinde ve tekrarlayan çalışmalarda benzer sonuçlar çıkması durumunda bu ilişkinin güçlü olarak kabul edilebileceği, klinik çalışmanın bu bulgulara bağlı olarak planlanarak, nedensellik açısından ileri incelemeye geçilmesi gerektiği unutulmamalıdır. 

Kanıta dayalı tıp uygulamalarında farklı sistem ve kuruluşların öneri kriterleri olsa da bunlar az çok benzerlik göstermektedir. Örneğin, Amerikan Aile Hekimleri Akademisi (“American Academy of Family Physicians”) SORT (“Strength of Recommendation Taxonomy”) sınıflamasını kullanmaktadır. Çalışmanın istenen etken-sonuç ilişkisini değerlendirerek, belirli bir ilacın kullanılmasında en yüksek öneri derecesi olan “Düzey 1” için tüm ilgili randomize kontrollü çalışmalardan yapılmış sistematik derlemenin sonucu esas alınır. Tekil çalışmalardan gelen kanıt esas alındığında, çalışma iyi planlanmış bir randomize kontrollü çalışma olsa dahi öneri “Düzey 7” olarak kabul edilmektedir. Randomize olmayan ve gözlemsel (tekil) çalışmalardan elde edilen sonuçlar için “Düzey 8” olarak kabul edilen bir öneri söz konusu olup bunun olmadığı durumlarda “Düzey 9” olarak uzman paneli raporları ve ilgili kuruluşların bilimsel görüşleri esas alınır (15). Pandemi koşullarında; yüksek morbidite, mortalite, hastanelerin yüksek doluluk oranları ve toplumsal panik riski nedeniyle, düşük kanıt düzeyine dayalı öneriler kabul edilebilmiş olmakla birlikte daha yüksek düzeyde bir kanıt kalitesi olan çalışma bulgularıyla ters düşen bir tekil çalışmada, özellikle gözlemsel özellikte ise, öncelikle elde edilen bulguların epidemiyolojik veri kalitesi, ölçme ve analiz yöntemleri dikkatle gözden geçirilmelidir. Klinikte hekim gözetiminde ve alternatifi olmayan koşullarda, hasta/yakını bilgisi ve onamı ile ilaç kullanılması durumunun toplum genelinde ilaç kullanılmasına getirilen önerilerin bilimsel kanıt düzeyi, etik ve yasal yaptırımları şüphesiz farklı olmalıdır. Epidemiyolojik veri kalitesi açısından benzer nitelikteki iki çalışmadan farklı bulgular elde ediliyorsa çalışmaların örneklemlerinin; genetik, çevresel ve davranışsal farklılıklarının irdelenmesi ve farklılık nedenlerinin açıklanması gerekmektedir. Araştırmalarda taraf tutmanın istemli olmadığı esas alınmakla birlikte araştırma yöntemlerinde yapılan hata ve eksikliklerin  “farkına varmadan” yan tutmaya neden olabileceği unutulmamalıdır; bunun sonrasındaki uygulamalarda ortaya çıkacak istenmeyen insan gücü, finans ve sağlık maliyetinden araştırmacıların sorumlu tutulacağı dikkate alınmalıdır (4). 

SONUÇ

Bilimsel çalışmaların her zaman buluş hedefli olarak yapılmadığı kabul edilmekle birlikte bilimsel araştırma yöntemi standartlarına uygun olarak, güncel sorulara yanıt vermeye yönelik, objektif, tekrar edilebilir ve şeffaf olması önemlidir. Bu yaklaşımla, yeter sayıda kişi ile multidisipliner çalışmalar yapılması hem başarıya giden yolda hızlı yol almayı sağlayacak hem de ekip üyeleri arasında “ortak bir dil yaratma” becerisiyle birlikte ileride yapılacak tıp ve sağlık bilimleri alanlarında gerçekleştirilen araştırmalarda geçerli ve genellenebilir sonuçlar elde edilmesini sağlayacaktır.

Danışman Değerlendirmesi
Bağımsız dış danışman.

Yazar Katkıları
Fikir/Kavram – B.Ç.; Tasarım – B.Ç.; Denetleme – B.Ç.; Literatür Taraması – B.Ç.; Makale Yazımı – B.Ç.; Eleştirel İnceleme – B.Ç.

Çıkar Çatışması
Yazar herhangi bir çıkar çatışması bildirmemiştir.

Finansal Destek
Yazar finansal destek beyan etmemiştir.

Referansları Görüntüle

Referanslar

  1. EQUATOR Network, Enhancing the QUAlity and Transparency of Health Research [Internet]. [erişim 30 Eylül 2022]. https://www.equator-network.org
  2. Chen Q, Allot A, Lu Z. Keep up with the latest coronavirus research. Nature. 2020;579(7798):193. [CrossRef]
  3. Lash TL, Vanderwille TJ, Haneuse S, Rothman KJ. Modern Epidemiology. 4th ed. Philadelphia: Wolters Kluver, 2021.
  4. Çakır B. Sağlık araştırmalarında “bias” (yanlılık, taraf tutma): tipleri, sınıflandırılması, nedenleri, önleme yöntemleri-II. Türkiye Klin J Med Sci. 2005;25:280–8.
  5. Goldberg Y, Mandel M, Bar-On YM, et al. Protection and waning of natural and hybrid immunity to SARS-CoV-2. N Engl J Med. 2022;386(23):2201-12. [CrossRef]
  6. Barnard RC, Davies NG; Centre for Mathematical Modelling of Infectious Diseases COVID-19 working group, Jit M, Edmunds WJ. Behaviour, booster vaccines and waning immunity: modelling the medium-term dynamics of SARS-CoV-2 transmission in England in the Omicron era. medRxiv [Preprint]. 2022:2021.11.22.21266584. Update in: Nat Commun. 2022;13(1):4879.  [CrossRef]
  7. Accorsi EK, Qiu X, Rumpler E, et al. How to detect and reduce potential sources of biases in studies of SARS-CoV-2 and COVID-19. Eur J Epidemiol. 2021;36(2):179-96. [CrossRef]
  8. Patel MK, Bergeri I, Bresee JS, et al. Evaluation of post-introduction COVID-19 vaccine effectiveness: Summary of interim guidance of the World Health Organization. Vaccine. 2021;39(30):4013-24. [CrossRef]
  9. Çakır B. Do not get confused by the confounders: Identification and control of confounders in medical research. Turkish J Public Health. 2004;2(1):34-43.
  10. Choi BC, Pak AWP. Bias, overview. In: Armitage P, Colton T, eds. Encyclopedia of Biostatistics. Vol 1. Hoboken (NJ). New York: John Wiley & Sons, Inc, 1998: 331-8.
  11. Durusu-Tanriover M, Doğanay HL, Akova M, et al; CoronaVac Study Group. Efficacy and safety of an inactivated whole-virion SARS-CoV-2 vaccine (CoronaVac): interim results of a double-blind, randomised, placebo-controlled, phase 3 trial in Turkey. Lancet. 2021;398(10296):213-22. Erratum in: Lancet. 2022;399(10323):436.  [CrossRef]
  12. Jara A, Undurraga EA, Zubizarreta JR, et al. Effectiveness of homologous and heterologous booster doses for an inactivated SARS-CoV-2 vaccine: a large-scale prospective cohort study. Lancet Glob Health. 2022;10(6):e798-e806. [CrossRef]
  13. Robins JM, Hernán MA, Brumback B. Marginal structural models and causal inference in epidemiology. Epidemiology. 2000;11(5):550-60. [CrossRef]
  14. Çakır B. COVID-19 in Turkey: Lessons learned. J Epidemiol Glob Health. 2020;10(2):115-7. [CrossRef]
  15. Ebell MH, Siwek J, Weiss BD, et al. Strength of recommendation taxonomy (SORT): A patient-centered approach to grading evidence in the medical literature. Am Fam Physician. 2004;69(3):548-556.
Cilt 37, Sayı 3 Cilt 37, Sayı 2 Cilt 37, Sayı 1 Cilt 36, Sayı 4 Cilt 36, Özel Sayı 1 Cilt 36, Sayı 3 Cilt 36, Sayı 2 Cilt 36, Sayı 1 Cilt 35, Sayı 4 Cilt 35, Sayı 3 Cilt 35, Sayı 2 Cilt 35, Sayı 1 Cilt 34, Sayı 3 Cilt 34, Sayı 2 Cilt 34, Sayı 1 Cilt 33, Sayı 3 Cilt 33, Sayı 2 Cilt 33, Sayı 1 Cilt 32, Sayı 3 Cilt 32, Özel Sayı 2 Cilt 32, Özel Sayı 1 Cilt 32, Sayı 2 Cilt 32, Sayı 1 Cilt 31, Sayı 3 Cilt 31, Sayı 2 Cilt 31, Özel Sayı 1 Cilt 31, Sayı 1 Cilt 30, Sayı 3 Cilt 30, Sayı 2 Cilt 30, Özel Sayı 1 Cilt 30, Sayı 1 Cilt 29, Sayı 3 Cilt 29, Sayı 2 Cilt 29, Sayı 1 Cilt 28, Özel Sayı 1 Cilt 28, Sayı 3 Cilt 28, Sayı 2 Cilt 28, Sayı 1 Cilt 27, Özel Sayı 1 Cilt 27, Sayı 3 Cilt 27, Sayı 2 Cilt 27, Sayı 1 Cilt 26, Sayı 3 Cilt 26, Özel Sayı 1 Cilt 26, Sayı 2 Cilt 26, Sayı 1 Cilt 25, Sayı 3 Cilt 25, Sayı 2 Cilt 25, Sayı 1 Cilt 24, Sayı 3 Cilt 24, Sayı 2 Cilt 24, Sayı 1 Cilt 23, Sayı 3 Cilt 23, Sayı 2 Cilt 23, Sayı 1 Cilt 22, Sayı 3 Cilt 22, Sayı 2 Cilt 21, Sayı 3 Cilt 22, Sayı 1 Cilt 21, Özel Sayı 2 Cilt 21, Sayı 2 Cilt 21, Özel Sayı 1 Cilt 21, Sayı 1 Cilt 20, Özel Sayı 2 Cilt 20, Sayı 3 Cilt 20, Sayı 2 Cilt 20, Sayı 1 Cilt 20, Özel Sayı 1 Cilt 19, Sayı 3 Cilt 19, Sayı 2 Cilt 19, Sayı 1 Cilt 18, Özel Sayı 1 Cilt 18, Sayı 3 Cilt 18, Sayı 2 Cilt 18, Sayı 1 Cilt 17, Sayı 3 Cilt 17, Sayı 2 Cilt 17, Sayı 1 Cilt 16, Sayı 3 Cilt 16, Sayı 2 Cilt 16, Sayı 1 Cilt 1, Özel Sayı 1 Cilt 15, Sayı 2 Cilt 15, Sayı 3 Cilt 15, Sayı 1 Cilt 14, Sayı 3 Cilt 14, Sayı 2 Cilt 14, Sayı 1 Cilt 13, Sayı 3 Cilt 13, Sayı 2 Cilt 13, Özel Sayı 1 Cilt 13, Sayı 1 Cilt 12, Sayı 3 Cilt 12, Sayı 2 Cilt 12, Sayı 1 Cilt 11, Sayı 3 Cilt 11, Sayı 2 Cilt 11, Özel Sayı 1 Cilt 11, Sayı 1 Cilt 10, Sayı 3 Cilt 10, Sayı 2 Cilt 10, Sayı 1 Cilt 9, Sayı 3 Cilt 9, Sayı 2 Cilt 9, Sayı 1 Cilt 8, Sayı 3 Cilt 8, Sayı 2 Cilt 6, Sayı 3 Cilt 7, Sayı 1 Cilt 7, Sayı 2 Cilt 7, Sayı 3 Cilt 8, Sayı 1 Cilt 5, Sayı 1 Cilt 5, Sayı 2 Cilt 5, Sayı 3 Cilt 6, Sayı 1 Cilt 6, Sayı 2 Cilt 3, Sayı 1 Cilt 3, Sayı 2 Cilt 3, Sayı 3 Cilt 4, Sayı 1 Cilt 4, Sayı 2 Cilt 4, Sayı 3 Cilt 2, Sayı 1 Cilt 2, Sayı 2 Cilt 2, Sayı 3 Cilt 1, Sayı 1 Cilt 1, Sayı 2