Poglavlje III Pristrasnost publikacije i procena kvaliteta

Koje su potencijalne pristrasnosti povezane sa pristrasnošću objavljivanja u meta-analizi?

Pristrasnost objavljivanja nastaje kada je veća verovatnoća da će studije sa značajnim ili pozitivnim rezultatima biti objavljene nego one sa neubedljivim ili negativnim rezultatima, što potencijalno iskrivljuje metaanalitičke nalaze.

Ako meta-analiza ne koristi moderne metode, ona može biti varljiva, kao što dobra meta-analiza može prosvetliti kreatore politike i istraživače. Osnovno pitanje je pristrasnost odabira publikacija i „p-hakovanje“, što se odnosi na manipulisanje analizom podataka sve dok ne proizvede statistički značajne rezultate, ugrožavajući istinitost nalaza. Od 107.000 meta-analiza objavljenih 2022. godine, više od polovine uopšte ne govori o pristrasnosti objavljivanja. Pošto pristrasnost objavljivanja ili p-hakovanje mogu lako da preuveličaju tipičnu prijavljenu veličinu efekta za dva ili više, meta-analize koje ignorišu pristrasnost objavljivanja mogu prouzrokovati više štete nego koristi (Irsova et al., 2023).

Isključivanje neobjavljenih studija pri sistematskim pregledima može dovesti do isključivanja ključnih dokaza i rezultirati pristrasnim, preterano pozitivnim ishodima. Ovo je razlog za veliku zabrinutost, jer su prethodne studije sugerisale da bi meta-analize koje ne uzimaju u obzir sivu literaturu mogle preceniti efikasnost intervencija, potencijalno dovesti do pogrešnih politika i neefikasnih intervencija.

Brojne sofisticirane metode sa čvrstim teorijskim osnovama nedavno su razvijene za rešavanje pristrasnosti izbora publikacija. Ovi pristupi su potvrđeni kroz opsežne Monte Karlo simulacije i primenljivi su u brojnim studijama. Tehnika Trim and Fill, Egerov regresioni test i model selekcije Copas su neke od ovih metoda. Nedavna dostignuća takođe obuhvataju upravljanje uočenom i neopaženom sistematskom heterogenošću u okviru nesigurnosti modela i određenih tipova p-hakovanja*. Zajedno, ova dostignuća metoda predstavljaju suštinske korake napred u razumevanju i tumačenju savremenih istraživanja.

Prilikom sprovođenja meta-analize, ključno je razmotriti različite izvore pristrasnosti koji mogu uticati na zaključke studije. Ovaj temeljni pristup je neophodan da bi se osigurala validnost i pouzdanost nalaza. Uobičajeni izvori pristrasnosti na koje treba obratiti pažnju su:

- Pristrasnost izbora: Ovo se može desiti kada studije ili učesnici nisu odabrani nasumično, što dovodi do iskrivljene reprezentacije populacije.

- Pristrasnost publikacije, takođe poznata kao pristrasnost objavljivanja, nastaje kada se dostupni rezultati sistematski razlikuju od rezultata koji nedostaju, pri čemu se često favorizuju značajni, pozitivni ishode. 

- Pristrasnost učinka i pristrasnost u otkrivanju: Ove pristrasnosti mogu uticati na primenu i ishode intervencija u studijama, utičući na rezultate.

- Pristrasnost u slučaju iscrpljivanja: Ova pristrasnost se javlja kada postoji različit gubitak učesnika iz studijskih grupa, što potencijalno utiče na validnost nalaza.

- Izostavljena promenljiva pristrasnost: Ova pristrasnost može dovesti do iskrivljenih prosečnih procena u meta-analizi, posebno kada se ispravlja pogrešna pristrasnost.

- Pristrasnost objavljivanja u meta-analizama može da uvede niz potencijalnih pristrasnosti, kao što pokazuju sledeći uvidi iz akademskih sažetaka. Ove pristrasnosti, koje mogu značajno uticati na validnost i generalizaciju zaključaka na terenu, predstavljaju ključni fokus istraživanja.

- Uticaj pristrasnosti publikacije: Uticaj pristrasnosti publikacije na metaanalitičke rezultate je ključno pitanje koje se ne može preceniti. To može potencijalno potisnuti nepovoljne studije, čime se rezultati podešavaju u pravcu veštački povoljnih ishoda, što je problem koji istraživanje mora da reši.

– Metode otkrivanja: Predloženi su različiti statistički testovi da bi se otkrila pristrasnost objavljivanja, ali njihova efikasnost zavisi od njihovih pretpostavki o uzroku, što dovodi do različite moći u različitim scenarijima. Iako je pristrasnost objavljivanja priznata u meta-analizama, postoji hitna potreba za formalnom procenom i korekcijom njenih efekata. Trenutno, samo mali procenat meta-analiza pokušava da se pbavi pristrasnošću objavljivanja, što naglašava hitnost ovog pitanja.

• Uticaj na validnost: Prevalencija potencijalne pristrasnosti objavljivanja u meta-analizama, posebno u specifičnim disciplinama, izaziva zabrinutost u pogledu valjanosti i generalizacije zaključaka.
• Metodološki izazovi: Standardne metode meta-analize su podložne pristrasnosti zbog nepotpunog izveštavanja o rezultatima i lošeg kvaliteta studije, i ne postoje jasne smernice za procenu ove pristrasnosti.
• Ograničenja testa: Neki testovi za pristrasnost objavljivanja, kao što su Egerov test i testovi ponderisane regresije, mogu imati naduvane stope grešaka tipa I ili nisku statističku moć, posebno u prisustvu heteroskedastičnosti. Do ove pojave dolazi kada se istraživačke studije sa statistički značajnim nalazima objavljuju češće od onih sa neznačajnim rezultatima. Ključno je imati na umu da bi to moglo da izazove precenjivanje stvarne veličine efekta.

Prema pojedinim autorima (Harrera et al., 2021, Page et al. (2021) važno je razumeti da postoji nekoliko drugih faktora koji mogu da iskrive dokaze u meta-analizi. Ovi faktori mogu imati značajan uticaj i uključuju:

• Pristrasnost citiranja, koja se javlja kada je manje verovatno da će studije sa negativnim ili neubedljivim nalazima, čak i ako su objavljene, biti referencirane u drugoj srodnoj literaturi. To može učiniti izazovnijim pronalaženje ovakvih studija putem pretraživanja referenci.
• Pristrasnost sa vremenskim kašnjenjem: studije sa pozitivnim rezultatima se često objavljuju ranije od onih sa nepovoljnim nalazima. To znači da su nalazi nedavno sprovedenih studija sa pozitivnim nalazima često već dostupni, dok oni sa neznačajnim rezultatima nisu.
• Pristrasnost višestrukih publikacija: postoji verovatnoća da će rezultati „uspešnih” studija biti prijavljeni u nekoliko članaka u časopisima, što olakšava pronalaženje bar jednog od njih. Praksa izveštavanja o nalazima studije u nekoliko članaka je takođe poznata kao taktika „rezanja salame“.
• Jezička pristrasnost: U većini disciplina, primarni jezik na kom se objavljuju dokazi je engleski. Publikacije na drugim jezicima se ređe pronalaze, posebno kada je istraživačima potreban prevod da bi razumeli sadržaj. Mogućnost pristrasnosti postoji kada se studije na engleskom sistematski razlikuju od onih objavljenih na drugim jezicima.
• Pristrasnost izveštavanja o ishodima: mnoge studije i eksperimentalni nacrti mere više od jednog ishoda od interesa. Neki naučnici koriste ovo tako što samo otkrivaju rezultate koji podržavaju njihovu hipotezu i zanemaruju one koji je ne potvrđuju. Ovo takođe može dovesti do pristrasnosti: tehnički gledano, studija je objavljena, ali njen (nepovoljan) rezultat će i dalje nedostajati u meta-analizi jer nije saopšten.

* Manipulacija analizom podataka sve dok ne proizvede statistički značajne rezultate, ugrožavajući istinitost nalaza

Važno je napomenuti da iako je određeni stepen pristrasnosti skoro neizbežan u studijama, razumevanje ovih pristrasnosti i njihovih manifestacija u nacrtu studija je ključno za ublažavanje njihovog uticaja na zaključke meta-analize. Pristrasnost objavljivanja može poremetiti meta-analizu pojačavanjem efekata koji zahtevaju identifikaciju i korekciju. Da bi se ublažio uticaj pristrasnosti objavljivanja i izveštavanja, kao i upitne istraživačke prakse (KRP), različite tehnike se mogu primeniti u meta-analizama. Ovi pristupi obuhvataju metode za pretragu studija kao i statističke metode.

a)     Pretraga studija: Ako postoji pristrasnost publikacije, ovaj korak je važan jer znači da pretraga objavljene literature može dati podatke koji su samo delimično reprezentativni za sve dokaze. Ovome možemo da se suprotstavimo traženjem sive literature, uključujući disertacije, preprinte, vladine izveštaje ili zbornike konferencija. Na sreću, predregistracija je takođe sve češća u mnogim disciplinama. Ovo omogućava da se u registrima studija pretražuju studije sa neobjavljenim podacima i pitaju autori da li mogu dati podatke koji (još uvek) nisu objavljeni. Potraga za sivom literaturom može biti zamorna i frustrirajuća, ali je vredna truda. Jedna velika studija je otkrila da uključivanje sive i neobjavljene literature može pomoći da se izbegne precenjivanje pravih efekata.

b)     Statističke metode: Statističke procedure takođe mogu ispitati prisustvo pristrasnosti publikacije. Važno je napomenuti da nijedna od ovih metoda ne može direktno utvrditi pristrasnost objavljivanja. Međutim, one mogu pažljivo ispitati određena svojstva podataka koja mogu poslužiti kao potencijalni indikatori njenog prisustva. Neke metode takođe mogu kvantifikovati stvarni ukupni efekat kada se koriguje pristrasnost objavljivanja.

Grafikoni tipa Forest plot, iako nisu eksplicitno namenjeni za identifikaciju pristrasnosti publikacija, često se koriste u meta-analizama za vizuelno predstavljanje veličina efekta pojedinačnih studija i intervala poverenja (AJE Team, 2023; Harrer et al., 2021). Uloga grafikona Forest plot u promovisanju transparentnosti i repliciranje je značajna, jer omogućava istraživačima da koriste raspon i distribuciju veličina efekta kako bi procenili da li postoji manjak manjih studija sa nebitnim ili negativnim rezultatima, što bi moglo ukazivati na potencijalnu pristrasnost publikacija. Ova ključna funkcija grafičkog prikaza Forest plot naglašava njegov značaj u istraživanju. Grafički prikazi Forest plot su tipična metoda za prikazivanje meta-analiza. Vizuelno predstavljaju posmatrani efekat, interval poverenja i obično težinu svake studije. Pored toga, prikazuju kombinovani efekat izračunat u meta-analizi. Ovo omogućava drugima da brzo procene tačnost i raspon uključenih studija i odnos između kombinovanog efekta i posmatranih veličina efekta.

Slika 4 pruža vizuelni prikaz glavnih elemenata grafičkog prikaza Forest plot. Na levoj strani prikaza, testovi pojedinačnih studija, kao i ukupne vrednosti heterogenosti i veličine efekta, predstavljeni su u korisniku pristupačnom, vizuelnom formatu.

Vizuelni prikaz na desnoj strani ilustruje veličinu efekta svake studije, koja je obično smeštena u centru grafikona. Ovaj grafički prikaz ilustruje tačnu procenu veličine efekta studije na x-osi, koja služi kao ključni indikator veličine efekta. Tačna procena je praćena linijom koja prikazuje raspon intervala poverenja izračunat za posmatranu veličinu efekta. Ova linija vizuelno predstavlja nesigurnost povezanu sa tačnom procenom.

Zapamtite da se tačna procena obično predstavlja kvadratom, pri čemu je veličina kvadrata određena težinom veličine efekta; studije sa većom težinom (7, 8. i 9.) prikazane su većim kvadratom, dok studije sa manjom težinom imaju manji kvadrat. Konvencionalni grafikon Forest plot bi takođe trebalo da uključuje podatke o veličini efekta korišćene u meta-analizi kako bi omogućio drugima da repliciraju naše rezultate.

Grafički prikaz Forest plot se često koristi u meta-analizi za vizuelno predstavljanje veličina efekta pojedinačnih studija i intervala poverenja. Istraživači mogu identifikovati potencijalnu pristrasnost u publikacijama ispitivanjem raspona i distribucije veličina efekta. Ovi grafikoni pružaju grafički prikaz posmatranih efekata, intervala poverenja i težine svake studije, nudeći brz način za procenu tačnosti i raspona uključenih studija i kako se zbirni efekat odnosi na posmatrane veličine efekta (Harrer et al., 2021).

Pored toga, glavni elementi grafičkog prikaza Forest plot su ilustrovani, pružajući pregled testova pojedinačnih studija i vrednosti veličine efekta. Tačna procena studije je vizualizovana zajedno sa linijom koja predstavlja interval poverenja. Veličina kvadrata oko tačne procene odražava težinu veličine efekta. Takođe je uobičajeno da Forest plot sadrži podatke o veličini efekta korišćene u meta-analizi, omogućavajući na taj način drugima da repliciraju rezultate.

* You can view the meta-analysis results in SPSS in Appendix 1.

Levkasti grafikon služi kao vizuelni alat za procenu pristrasnosti publikacija, pri čemu svaka asimetrija na grafikonu može ukazivati na pristrasnost. Pored toga, statistički testovi poput Egerovog (Egger's) regresionog testa ili Begovog (Begg's) testa mogu se koristiti za identifikaciju pristrasnosti publikacija.

Analiza osetljivosti uključuje sprovođenje meta-analize pod različitim pretpostavkama ili isključivanje specifičnih studija kako bi se utvrdila robusnost rezultata. Na primer, istraživači mogu odlučiti da isključe studije nižeg kvaliteta ili one sa ekstremnim veličinama efekta kako bi procenili konzistentnost ukupnih zaključaka (Blackhall & Ker, 2007).

Levkasti grafikon  i Egerov test su moćni alati za procenu i rešavanje problema pristrasnosti u metaanalitičkim procenama. Međutim, važno je napomenuti da metoda Trim and Fill, iako korisna, ima svoja ograničenja. Analize osetljivosti su ključne za razumevanje i ublažavanje pristrasnosti i istraživači treba da pristupe ovim metodama sa oprezom i svešću o potencijalnim izazovima (AJE Team, 2023).

Levkasti grafikon, tehnika koja se koristi za procenu mogućnosti pristrasnosti publikacija (Harbord et al., 2006), zasniva se na pretpostavci da manje studije, uprkos svojoj veličini, igraju značajnu ulogu u otkrivanju pristrasnosti publikacija. Verovatnoća da pristrasnost publikacija utiče na manje studije je veća nego na opsežnije studije. Ova uočljiva razlika je posledica razlike u podložnosti pristrasnosti publikacija. Ako istraživač završi veliku, randomizovanu studiju, verovatno će želeti da je objavi čak i ako je rezultat negativan zbog uloženog truda. Međutim, za manje eksperimente, scenario može biti drugačiji. Ako pristrasnost publikacija postoji, najverovatnije je prouzrokovana neobjavljivanjem malih negativnih studija. Ovo naglašava važnost manjih studija u otkrivanju pristrasnosti publikacija, čineći proces interesantnijim za istraživače.

Levkasti grafikon, vizuelni prikaz veličina studija u odnosu na veličinu efekta koju predstavljaju, služi kao alat za procenu pristrasnosti publikacija. Kako se veličina studije povećava, verovatno je da će studije konvergirati oko prave osnovne veličine efekta. Očekuje se ravnomerno rasipanje studija sa obe strane ove prave osnovne veličine efekta (Slika 7. Grafikon A). Kada postoji pristrasnost publikacija, očekuje se asimetrija u rasipanju malih studija, sa više studija koje pokazuju pozitivan rezultat nego onih koje pokazuju negativan rezultat (Slika 7. Grafikon B).

Asimetrija levkastog grafikona može se vizuelno proceniti pomoću levkastog grafikona, ali sledeće metode se koriste za njeno kvantifikovanje:

1. Egerov test (Egger et al., 1997): Ovaj test uključuje ponderisanu regresionu analizu procena veličine efekta na njihove mere preciznosti (tj. standardne greške). Fokus je na liniji preseka, označenoj sa b. Statistički značajan presek (sa p < 0,05) sugeriše pristrasnost u publikacijama.
2. Begov test ranga korelacije: Utvrđuje da li postoji značajna veza između rangova standardizovanih veličina efekta i rangova njihovih varijansi.

Na kraju, meta-analiza predstavlja moćnu kvantitativnu metodu koja spaja nalaze iz više studija kako bi se došlo do otpornijih zaključaka. Sistematskim prikupljanjem podataka, procenom veličine efekta, izborom modela, procenom heterogenosti i ispitivanjem pristrasnosti publikacija, istraživači mogu izvući preciznije uvide, koji se mogu generalizovati. Uprkos značaju meta-analize, pažljivo planiranje i sprovođenje meta-analize su neophodni da bi se izbegle pristrasnosti i pogrešna tumačenja. Kada se rigorozno sprovede, ona pruža neprocenjiv doprinos praksi zasnovanoj na dokazima i kreiranju politika u različitim naučnim oblastima.

Poznavanje metodološkog okvira meta-analize je ključno za procenu njene validnosti u postizanju istraživačkih ciljeva. Koje su potencijalne posledice pristrasnosti publikacija na validnost meta-analiza? Pristrasnost publikacija može značajno uticati na validnost meta-analiza na nekoliko načina:

• Uticaj na metaanalitičke rezultate: Pristrasnost publikacija može potisnuti nepovoljne studije, čime se rezultati meta-analize pristrasno pomeraju u veštački povoljnom pravcu.
• Izazovi u detekciji: Različiti statistički testovi se predlažu za otkrivanje pristrasnosti publikacija. Međutim, oni često prave različite pretpostavke i mogu imati nisku moć u mnogim slučajevima, što otežava izbor optimalnog testa za stvarne meta-analize.
• Niske stope procene: Pregled meta-analiza u časopisima za plastičnu hirurgiju i psihologiju otkrio je niske stope pravilne procene pristrasnosti publikacija, pri čemu je samo mali procenat pokušao da ispravi njen efekat.
• Uticaj na zaključke: Studije su pokazale da pristrasnost publikacija može dovesti do precenjenih efekata i lažno pozitivnih rezultata, utičući na validnost metaanalitičkih zaključaka.
• Ograničenja metoda detekcije: Testovi zasnovani na P-vrednostima za pristrasnost publikacija mogu potceniti njeno prisustvo, naročito kada je broj studija u meta-analizi mali.

Dakle, pristrasnost publikacija može imati značajne posledice na validnost meta-analiza, uključujući pristrasne rezultate, uticaj na zaključke i izazove u detekciji. Niske stope pravilne procene i ograničenja metoda detekcije dodatno naglašavaju potrebu za pažljivim razmatranjem pristrasnosti publikacija u metaanalitičkom istraživanju.