Poglavlje II Metode sprovođenja meta-analize

Globalno, meta-analiza počinje formulisanjem istraživačkih pitanja. Istraživačka pitanja treba testirati na osnovu objavljenih studija. Objavljene studije moraju sadržati dovoljno informacija o veličinu efekta, što je ključno za meta-analizu. Utvrđuju se sveobuhvatni kriterijumi za uključivanje i isključivanje kako bi se odredilo koje studije ispunjavaju uslove za uključivanje u meta-analizu. Podaci se mogu podvrgnuti statističkoj analizi kada se sagledaju veličine efekta i karakteristike studija. Sledeći korak uključuje tumačenje rezultata i pripremu izveštaja za saopšatavanje nalaza (Cheung, 2015).

Sprovođenje meta-analize podrazumeva unapred definisane kriterijume podobnosti, varijable izloženosti, primarne i sekundarne ishode od interesa i plan analize. Veoma su važne pravilne indikacije i metodologije, minimiziranje rizika od pristrasnosti i izbegavanje pogrešnih zaključaka. Meta-analiza se priznaje kao optimalan pristup za objektivno procenjivanje i proučavanje dokaza vezanih za određeno pitanje, pružajući visok nivo dokaza i doprinoseći napretku znanja.

Sen i Yildirim (2022) razlažu proces meta-analize nasledeće korake:

• Formulisanje istraživačkog pitanja i tima: Proces počinje formulisanjem jednostavnog istraživačkog pitanja i okupljanjem istraživačkog tima.
• Osmišljavanje i sprovođenje strategije pretrage: Sistematska strategija pretrage je ključna za pronalaženje svih dostupnih dokaza iz objavljenih i neobjavljenih izvora.
• Selekcija i ekstrakcija podataka: Treba doneti odluku o izboru odgovarajućih studija iz baze prikupljenih studija. Relevantne studije se pregledaju i izvlače se podaci iz njih.
• Kritička ocena i analiza: Treba sprovesti analize kontrole kvaliteta/senzitivnosti. Svaka studija treba da bude kritički ocenjena za potencijalne pristrasnosti, a dokazi treba da budu procenjeni i analizirani.
• Uticajnost izabranih studija treba odrediti i izračunati odvojeno za svaku studiju.
• Podaci treba da se objedine i važno je izračunati sumarnu statistiku, kao i interval poverenja.
• Treba sprovesti dodatne analize (heterogenost, pristrasnost publikacije).
• Treba sprovesti analize moderatora za varijable moderatora.
• Tumačenje rezultata i izvođenje zaključaka (inference) na osnovu njih.
• Izveštavanje i širenje nalaza: O napred navedenim koracima treba da se izvestiti zajedno sa nalazima meta-analize.

Slika 3 prikazuje početnu fazu razvoja pitanja i metodičnog pretraživanja relevantnih studija u primarnoj literaturi (Poglavlje I), kao i fazu prikupljanja podataka iz publikacija, sprovođenje statističkih analiza i prezentovanje i objašnjavanje rezultata (Poglavlje II).

Metode meta-analize značajno su napredovale u poslednjih nekoliko godina (Irsova et al., 2023). Sprovođenje meta-analize konceptualno se ne razlikuje od empirijske studije jer vas ponekad statistički problemi mogu usporiti. Međutim, istraživači obično osmišljavaju studiju s obzirom na svoje statističke sposobnosti ili prate uspostavljen nacrt, koji im omogućava da ponove standardni analitički pristup. Razlika između dobre i loše empirijske studije često se svodi na to da li se postavlja zanimljivo pitanje i na kvalitet i količinu prikupljenih podataka pomoću nepristrasne tehnike uzorkovanja. Isti principi važe i za meta-analizu, gde nedavno razvijene tehnike omogućavaju čvrste zaključke čak i kada se suočavaju sa izazovima u osnovnoj empirijskoj literaturi (Irsova et al., 2023).

Uprkos linearnom izgledu konture procesa (Slika 2), često postoji nesigurnost koja dovodi do ponavljanja određenih koraka. Tokom Poglavlja I, istraživač može smatrati neophodnim da prolazi kroz više ciklusa pretraga opsega, prilagođava istraživačka pitanja i menja protokol i kriterijume pretrage dok ne bude siguran da će sveobuhvatna pretraga dati željene rezultate. Evo kratkog opisa šta svaki korak ovog procesa obuhvata.

Pri razvijanju istraživačkog pitanja za sistematski pregled ili meta-analizu, važno je osigurati da je ono izvodljivo, zanimljivo, novo, etički prihvatljivo i relevantno. Da bi se ispitala teorijska hipoteza, neophodno je imati studije koje koriste eksperimente za testiranje uzročnosti (Tawfik et al., 2019). Ključno je razlikovati studije koje izveštavaju o opaženom odnosu i one koje identifikuju odnose kroz eksperimentalnu manipulaciju. Kombinujte opservacione i eksperimentalne podatke da biste testirali doslednost odnosa između varijabli. Razmotrite opseg generalizacije i veličinu skupa podataka s kojima možete rukovati.

Fokusiranje na pitanja unutar vaše naučne oblasti olakšava istraživanje. Glavna pitanja se obično vrte oko prosečnog efekta, razlika od nulte očekivanja i objašnjavanja varijacije ishoda među različitim studijama. Grupišite studije na osnovu populacije koja se proučava, metodologije koja se koristi, načina merenja ishoda i osnove za poređenje. Međutim, mnoge moderatore treba izbegavati jer mogu dovesti do niske statističke snage. Na kraju, ključno je biti svestan konfuznih moderatora i odlučiti kako ih obraditi u analizama. Ovo nije samo sugestija, već odgovornost koja dolazi sa sprovođenjem istraživanja. Biti pažljiv u ovom aspektu osigurava tačnost i validnost istraživačkih rezultata (Koricheva et al., 2013).

Kada formulišete pitanja, potrebno je napisati protokol koji će (1) formalno specificirati pitanja koja nameravate da postavite, (2) odrediti objektivnu strategiju pretrage i (3) uspostaviti kriterijume za uključivanje studija (Davis et al., 2021; Gurevitch et al., 2018; Koricheva et al., 2013).

Specifikacija pitanja koja nameravate da postavite uključuje preciziranje potencijalnih izvora heterogenosti u veličinama efekta (Côté & Jennions, 2013).

Specifikacija objektivne strategije pretrage podrazumeva nepristrasno prikupljanje podataka iz relevantnih radova sa kojima ste već upoznati; u suprotnom, to može uticati na ishod jer je često lakše zapamtiti radove sa značajnim rezultatima. Prvenstveno, to podrazumeva pravljenje liste elektronskih baza podataka koje ćete pretraživati i koje pojmove pretrage ćete koristiti. Sekundarno, objektivna strategija pretrage uključuje odluku o tome koliko truda ćete uložiti u pretragu „sive literature". Na primer, da li ćete pisati kolegama tražeći neobjavljene podatke, i ako da, kome i zašto?

Kada sprovedete pretragu i sastavite listu potencijalnih radova, morate uspostaviti kriterijume za uključivanje studija. Ovi kriterijumi su često prilično očigledni i uključuju sledeće:

1. Da li studija odgovara opsegu pitanja?
2. Da li metodologija odgovara definiciji pitanja?
3. Ako je tako, da li je studija bila dovoljnog obima ili trajanja?
4. Da li studija sadrži podatke koji se mogu izvući, odnosno, da li postoji dovoljno informacija za izvlačenje veličine efekta, njegove varijanse i korišćenog uzorka?
5. Kriterijumi za uključivanje ponekad će morati uzeti u obzir kvalitet studije. Ovo je mnogo teže proceniti od kriterijuma koje smo naveli, ali može biti jednako važno.

Važno je napomenuti, međutim, da će se, kao i u primarnim istraživanjima, vaš protokol za pretragu literature i izvlačenje veličina efekta gotovo sigurno modifikovati kako budete napredovali. Realnost je, stoga, da će u mnogim aspektima vaš konačni protokol opisivati ono što ste uradili, a ne ono što ste idealno želeli da uradite. Prvo, morate reći čitaocu kako ste prikupili svoje podatke. Dakle, kao i u primarnim istraživanjima, pružate čitaocu dovoljno informacija o prikupljanju i analizi podataka kako bi vaš pregled mogao biti ponovljen i ažuriran u budućnosti. Drugo, morate imati protokol koji vas tera da stalno procenjujete da li je vaš uzorak pristrasan. Protokol povećava objektivnost s kojom prikupljate podatke, ali ne bi trebalo da vas zaslepi za realnost da proces meta-analize uključuje brojne subjektivne odluke; one su najvidljivije kada pokušavate da dešifrujete rezultate datog rada i odlučite da li možete izvući potrebne podatke za vašu sintezu (Côté & Jennions, 2013). Ako više osoba prikuplja podatke, dobro opisan i testiran protokol je veoma važan kako bi se osigurala uniformnost u ekstrakciji podataka i odlukama o kodiranju moderatora.

Ponekad, ako ste sigurni da će se većina studija ograničiti na nekoliko ključnih izvora, možete pretraživati samo ograničen skup časopisa. Ovako su se skoro sve istraživačke sinteze radile pre nego što su postojale onlajn baze podataka. Niko više ne koristi ovaj pristup zbog eksplozije dostupnosti podataka (barem za one koji imaju pristup naučnim časopisima). Međutim, ostaje važna odluka da li se treba baviti neobjavljenim ili „sivim" izvorima (Gurevitch et al., 2018; Koricheva et al., 2013).

Zapamtite da tokom redefinisanja kriterijuma pretrage pokušavate pronaći samo neke studije ili dobiti preliminarnu procenu prosečnog efekta. Glavni ciljevi su:

• Razmotriti procenu količine dostupnih podataka kako biste doneli informisane odluke o tome da li proširiti ili fokusirati svoja istraživačka pitanja. Ovo može značajno uticati na vaše istraživanje.
• Utvrditi koji faktori variraju među studijama, koje možete kodirati kao potencijalne moderatore.
• Odlučiti koji kriterijumi označavaju studiju kao nerelevantnu (npr. ako vaša pretraga otkrije 2000 radova za celokupno čitanje, moraćete doneti odluke o isključivanju nekihstudija na osnovu naslova, sažetka i mesta objavljivanja).
• Odrediti koje kriterijume svaka potencijalno relevantna studija mora ispuniti pre nego što pokušate da izvučete zaključak o uticajnosti.
• Uspostaviti format vobrasca za ekstrakciju podataka/tabele i
• Odlučiti o najprikladnijim merama ishoda (veličine efekta).

Ova poslednja odluka često će zavisiti od toga da li podaci predstavljaju odnos između dve kontinuirane varijable, u kom slučaju je uticajnost r najpopularniji izbor. Alternativno, odluka može uključivati poređenje dve grupe, u tom slučaju postoji niz opcija u zavisnosti od toga da li je varijabla odgovora diskretna ili kontinuirana. Ponekad je najjednostavnije sprovesti odvojene meta-analize, deleći studije na osnovu najprikladnije veličine efekta.

Sprovođenje inicijalne pretrage je ključni korak koji potvrđuje predloženi koncept, sprečava dupliranje već obrađenih tema i potvrđuje dovoljan broj članaka za analizu. Ovaj proces nije samo formalnost, već značajan doprinos oblasti (Tawfik et al., 2019).

Nakon što ste uspostavili protokol i obavili pročišćavajuću pretragu, sledeći korak je detaljna potpuna pretraga. To će generisati brojne studije, ali mnoge će biti odbačene kao nerelevantne korišćenjem kriterijuma zasnovanih na naslovu studije, sažetku ili mestu objavljivanja. Preostale „potencijalno relevantne" studije moraju se pažljivije pročitati i podeliti na relevantne i nerelevantne. Ovaj proces može dovesti do značajnog smanjenja broja radova u svakom koraku. Budite spremni da veliki broj (često većina) studija koje prvobitno identifikujete kao relevantne budu neprikladne za meta-analizu. Poslednji korak je ekstrakcija potrebnih informacija (veličine efekta i moderatora) iz relevantnih radova. Konačna tabela podataka je ključna, jer obezbeđuje da su sve informacije koje želite da izvučete uključene.

Razumevanje kompromisa između prikupljanja gomile relevantnih radova i vraćanja toj gomili radi ekstrakcije uticajnih nakon što imate pripremljenu tabelu sa podacima o njima naspram ekstrakcije podataka iz rada dok ga čitate je ključno. Prednost prvog pristupa je što možete biti sigurniji da vaša tabela sadrži sve informacije koje želite da izvučete. Prednost drugog pristupa je što možete detaljno pročitati rad jednom.

Razumevanje tačno kako je studija dizajnirana i koji relevantni podaci su potrebni za ekstrakciju značaja može biti iznenađujuće složeno. Dobro vođenje beleški je suštinsko u ovom procesu i često nije lakše pri drugom čitanju. Ako ste sigurni da imate dobro razumevanje glavnih karakteristika relevantnih studija, možete razmotriti formiranje baze podataka i ekstrakciju podataka čim klasifikujete rad kao relevantan. Naravno, moguće je da ćete se morati vratiti istim radovima ako kasnije otkrijete da treba kodirati dodatni moderatorski termin ili prilagoditi kriterijume za uključivanje studija. Ekstrakcija informacija prilikom prvog čitanja je najizvodljivija kada se radi o studijama koje blisko prate specifičan i uobičajen eksperimentalni nacrt.

Pojedini autori (Papakostidis & Giannoudis, 2023) ukazuju na to da su, uprkos popularnom trendu poboljšanja kvaliteta u poslednjih nekoliko godina, metodološki nedostaci pronađeni u trenutno objavljenim meta-analizama. Sistematski pregledi i meta-analize treba da se pridržavaju strogih i transparentnih pravila, kao što su PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) smernice (vidi sliku 4), osiguravajući ponovljivost i čvrstinu procesa pretrage, pouzdanost i validnost nalaza i jasnoću izveštavanja. Ove smernice navode osnovne korake kako bi se osiguralo da su ispunjeni svi gore navedeni zahtevi, uključujući transparentno izveštavanje o strategiji pretrage, procesu selekcije studija, ekstrakciji podataka i sintezi podataka:

1. Perspektivni protokol studije je kamen temeljac sistematskog pregleda i meta-analize. Njegova uloga u smanjenju pristrasnosti i osiguravanju transparentnosti ne može se preceniti. Ovaj dobro strukturiran i sažet dokument treba adekvatno da opiše sve korake istraživačkog procesa, uključujući potencijalne promene u metodologiji sistematskog pregleda. Time se opravdavaju te promene i sprečava uvođenje pristrasnosti u izbor podataka za pregled.
2. Proces pretrage nije samo korak, već stub sistematskog pregleda i meta-analize. Njegova čvrsta i ponovljiva priroda osigurava uključivanje svih relevantnih podataka iz podobnih studija. To uključuje pretragu više elektronskih baza podataka i referentnih lista, sa bazama kao što su PubMed, EMBASE ili SCOPUS koje su neophodne. Dodatne baze kao što su Cochrane, Web of Science i ProQuest takođe treba uzeti u obzir. Vredno je identifikovati potencijalno relevantnu sivu literaturu pretragom apstrakata konferencijskih zbornika. Međutim, neadekvatne strategije pretrage i jezička ograničenja mogu ograničiti broj podobnih studija, uvodeći značajnu količinu pristrasnosti u publikaciji. Ova pristrasnost je moguća čak i sa najopsežnijom strategijom pretrage, jer se očekuje neuspeh objavljivanja čitavih studija ili svih ishoda iz studije.
3. Interna valjanost primarnih studija: Termin „interna valjanost" odnosi se na sposobnost studije da uspostavi pouzdan uzročno-posledični odnos između tretmana i ishoda ograničavajući različite zbunjujuće faktore. To je ključni aspekt koji je usko povezan sa rizikom od pristrasnosti i metodološkim kvalitetom uključenih studija. Razvijeno je nekoliko alata za procenu rizika od pristrasnosti u primarnim studijama, kako za randomizovano kontrolisane studije, tako i za opservacione studije.
4. Najnovije izdanje alata za procenu rizika od pristrasnosti, Cochrane Collaboration (RoB-2)[1], pruža okvir za procenu rizika od pristrasnosti u rezultatima randomizovano kontrolisanih studija. Struktuiran je u pet domena potencijalnog uvođenja pristrasnosti u nalaze studije: (1) proces randomizacije; (2) odstupanja od predviđenih intervencija; (3) nedostajući podaci o ishodu; (4) merenje ishoda; (5) izbor prijavljenih rezultata (Sterne et al., 2019). Unutar svakog domena pristrasnosti, specifična pitanja za signalizaciju imaju za cilj da izvuku informacije relevantne za procenu rizika od pristrasnosti[2]. Alat uključuje algoritme koji mapiraju odgovore na ova pitanja signalizacije na predloženu procenu rizika od pristrasnosti za svaki domen. Moguće procene rizika od pristrasnosti su (1) nizak rizik od pristrasnosti, (2) neke zabrinutosti i (3) visok rizik od pristrasnosti. Alat je prikazan kao „semafor" prikaz. Alat za procenu rizika od pristrasnosti u nerandomizovanim studijama intervencija (ROBINS-I) navodi sedam domena potencijalnog nastanka pristrasnosti (vidi tabelu 3): dva u fazi „pre intervencije", jedan u fazi „tokom intervencije" i četiri u fazi „posle intervencije".
5. Analiza podataka i izveštavanje: Dok kombinovanje podataka iz pojedinačnih studija povećava veličinu uzorka i statističku snagu, ključno je istražiti prisustvo statističke heterogenosti. Ova neujednačenost u efektu tretmana među uključenim studijama može biti obmanjujuća i smanjiti poverenje u zaključke. Kvantifikacija statističke heterogenosti obično se zasniva na specifičnim statističkim testovima (Higinsov-I, Kohranov Q-test). Autori meta-analiza moraju istražiti prisustvo statističke heterogenosti adekvatnim osmišljavanjem i izvođenjem podgrupnih i osetljivih analiza zasnovanih na a priori hipotezama na početku studijskog protokola. Takve hipoteze uključuju istraživanje rezultata objedinjene analize u potencijalno homogenijim podskupovima podataka (podgrupe) zasnovanim na, na primer, kliničkim karakteristikama uzoraka, metodološkim pitanjima, nacrtu studije i geografskoj lokaciji studija. Koriste se dva različita statistička modela za dobijanje kombinovanih procena efekta. Izbor odgovarajućeg statističkog modela za objedinjavanje podataka zavisi od prisustva heterogenosti između studija. Međutim, nisu definisane jasne granične vrednosti stepena heterogenosti koje bi diktirale izbor jednog modela u odnosu na drugi. S druge strane, statistički testovi za heterogenost često nemaju dovoljno snage za otkrivanje značajne heterogenosti:

Model fiksnih efekata pretpostavlja jednu pravu veličinu efekta u svim studijama, predstavljenu objedinjnom procenom efekta. Ovaj model se obično koristi kada nema heterogenosti u meta-analizi i kada postoji mnogo studija sa velikim uzorcima. U takvim slučajevima, postoji poverenje da je test za heterogenost dovoljno snažan da otkrije značajne razlike. Rezultati dobijeni pomoću ovog modela imaju tendenciju ka užim intervalima poverenja. Ako postoji zabrinutost u pogledu heterogenosti, model slučajnih efekata (DerSimonian & Kacker, 2007) se smatra boljim izborom. On proizvodi šire intervale poverenja oko tačnih procena i opreznija je opcija za analizu. U medicinskom polju, gde se očekuje da prava veličina efekta varira među različitim populacijama, korišćenje modela slučajnih efekata je češće prikladno. Korišćenje modela fiksnih efekata je razumno u meta-analizama koje uključuju dovoljan broj studija sa adekvatnim uzorcima i gde statistička heterogenost još nije otkrivena. Na posletku, kvalitet sažetih dokaza dobijenih iz meta-analize treba oceniti koristeći transparentni okvir GRADE, AMSTAR ili PRISMA alata (vidi Sliku 4). Oni procenjuju poverenje u procenu efekta za svaki ishod od interesa. Nekorišćenje ovih alata u meta-analizama može dovesti do nedostatka transparentnosti i potencijalno do pogrešnih zaključaka.

Model slučajnih efekata pretpostavlja da se stvarna procena efekta razlikuje među originalnim studijama zbog razlika u njihovim kliničkim karakteristikama. Stoga kombinovana procena veličine efekta generisana na osnovu ovog modela predstavlja prosečnu procenu svih pojedinačnih procena studija.

Analiza ishoda meta-analize. Ključno je analizirati rezultate meta-analize, uzimajući u obzir njihovu značajnost. Statistički značajna varijansa nije značajna ako nema relevantnost. Pored toga, bilo koja razlika može postići statističku značajnost sa dovoljno velikom veličinom uzorka. Nasuprot tome, kada se izračuna ukupna procena efekta koja nije značajna, ključno je pažljivo proceniti da li ono što se smatra relevantnim spada unutar intervala poverenja ove procene.

Validacija rezultata je značajan korak. Centri za dokaze kao što je CEBM na Univerzitetu Oksford, renomirana institucija u ovoj oblasti, razvijaju važne alate za evaluaciju. Oni su ključni za uspostavljanje pouzdanosti, naučnog značaja i primenljivosti prikupljenih dokaza iz meta-analize. Sa pet ključnih pitanja, CEBM je pouzdana metoda za određivanje validnosti nalaza studije.

[1] https://methods.cochrane.org/bias/resources/rob-2-revised-cochrane-risk-bias-tool-randomized-trials

[2] Videti Tabelu 1, na linku: https://www.bmj.com/content/366/bmj.l4898.long

Pojedini autori (Higgins et al., 2023) smatraju da postoje četiri ključne tačke u ovom pogledu:

a.      Kao autori pregleda, istraživači će verovatno naići na različite tipove podataka o ishodima u svom radu. To uključuje dihotomne, kontinuirane, ordinalne, brojne ili stope, i podatke o vremenu do događaja. Upoznajući se sa ovim tipovima, možete poboljšati svoje razumevanje istraživačkog procesa i osećati se osnaženije.

b.     Kada upoređujete podatke o ishodima između dve grupe intervencija (veličine efekta), postoje brojne metode za svaki tip podataka. Poređenja binarnih ishoda mogu koristiti odnos rizika, odnos šansi, razliku rizika ili broj potrebnih za lečenje. Kontinuirani ishodi, s druge strane, mogu se upoređivati korišćenjem razlike srednjih vrednosti ili standardizovane razlike srednjih vrednosti. Ova raznolikost metoda obogaćuje razumevanje istraživača o istraživačkom procesu.

c.      Postoje dva tipa veličine efekta: veličina odnosa (odnos rizika i odnos šansi) ili veličina razlike (kao što su razlika srednjih vrednosti i razlika rizika). Veličine odnosa se obično analiziraju pomoću logaritamske skale.

d.     Informacije dobijene iz istraživačkih izveštaja mogu zahtevati konverziju u konzistentan ili format upotrebljiv za analizu.

Teško je navesti broj studija potrebnih za meta-analizu. Faktori koji utiču na odluku mogu uključivati kontekst specifičan za disciplinu, korišćenje modela fiksnih ili slučajnih efekata u analizi, populacione vrednosti veličina efekta i druga pitanja (Cheung & Vijayakumar, 2016). Kreiranje baze podataka je umetnost; dobro formirana baza može vam uliti osećaj spremnosti i samopouzdanja.

Osnovna pravila su ista kao i za empirijsku studiju; treba osigurati da tabela podataka sadrži sve informacije koje su vam potrebne i da je logično postavljena tako da je lako popuniti  tabelu, a teško uneti podatke na pogrešno mesto. Koristite najduže, najkomplikovanije radove koje imate za probno testiranje svoje tabele podataka. Ako može da ih obradi, na dobrom ste putu.

Glavna razlika između empirijske studije i meta-analize je ta što morate zabeležiti koje subjekte ste prikupili i iz kojih niste prikupili podatke. Ukratko, ažurirajte bibliografsku biblioteku studija i objasnite zašto su neke isključene (npr. nerelevantne, nedostaju ključne informacije potrebne za ispunjavanje kriterijuma za uključivanje, nije moguće izvući procenu veličine efekta i varijanse).

Prikladan protokol olakšava kodiranje informacija za moderatore studije. On pruža strukturirani pristup koji pojednostavljuje proces, čineći ga lakšim za upravljanje. S druge strane, ekstrakcija veličina efekta je jedan od najizazovnijih delova meta-analize. Može dovesti do sumnje u sebe, posebno tokom vaše prve meta-analize. Da biste izveli veličine efekta, često morate donositi subjektivne odluke. Ovaj proces zahteva pažljivo razmatranje i temeljnost kako bi se osigurala tačnost vaše analize.

Na kraju, spremite protokol za rešavanje problema studija koje izveštavaju o više veličina efekta. Konkretno, ako su efekti tretmana, koje su promene u ishodu interesa zbog tretmana, merene više puta tokom vremena, strukturirani pristup će vam pomoći da odredite koje uporedbe ćete koristiti, pružajući osećaj vođenja i kontrole.

U sprovođenju meta-analiza, imperativ je posedovati sveobuhvatno razumevanje predmetne materije. Ovo može podrazumevati angažovanje u primarnim istraživanjima, pisanje iscrpnog narativnog pregleda literature ili demonstriranje opsežnog pedagoškog iskustva. Ako se ukaže potreba za koautorom iz uže oblasti, neophodno je angažovati saradnika sa sličnom stručnošću. Ako već postoji meta-analiza na tu temu, istraživač je dužan da potkrepi dodatu vrednost svoje meta-analize. Ovo može zavisiti od faktora kao što su odsustvo prilagođavanja za pristrasnost publikacije ili heterogenost u originalnoj meta-analizi. Samo povećanje broja novih primarnih studija nije dovoljan razlog (Irsova et al., 2023).

Pored toga, imperativ je pokazati značajan metodološki napredak u odnosu na originalnu meta-analizu. Površna ažuriranja je najbolje ostaviti kao pedagoške vežbe ili u domenu veštačke inteligencije. Ipak, izuzeci od ovih smernica mogu biti opravdani kada značajjan napredak u istraživačkim pristupima i metodologijama dovede u pitanje robusnost prethodnih metaanalitičkih nalaza. Takođe, strukturne promene unutar društava mogle su učiniti prethodne veličine efekta nereprezentativnim.

Na osnovu svog znanja o temi, sastavite listu od pet primarnih studija koje morate uključiti u meta-analizu. Možete  koristiti Veliki jezički model da biste bili sigurni da ste odabrali pet najvažnijih studija. Ali budite pažljivi u prevelikom oslanjanju na veštačku inteligenciju, jer trenutni modeli često pružaju činjenično netačne rezultate; uvek dva puta proverite i dajte prioritet svojoj stručnosti. Zatim, formulišite svoj glavni upit za pretragu koristeći bazu Gugl akademik (Google Scholar). Prednost dajemo bazi Gugl akademik u odnosu na druge baze podataka jer uključuje sve radove koji su se pojavili na mreži i omogućava vam da pregledate ceo tekst radova, a ne samo naslov, sažetak i ključne reči. Ova fleksibilnost u dizajnu upita za pretragu omogućava vam da prilagodite svoju pretragu svojim specifičnim potrebama. Korišćenje jednog glavnog upita za univerzalnu bazu podataka olakšava drugim istraživačima da repliciraju vašu meta-analizu. Imajte na umu da su algoritmi Gugl akademik (Google Scholar) baze podložni promenama, tako da, u zavisnosti od vaše teme, može biti korisno koristiti dodatnu bazu podataka kako biste ojačali svoj pristup. Koristite različite kombinacije ključnih reči korišćenih u primarnim studijama. Znaćete da je vaš upit razumno pripremljen ako su pet najvažnijih primarnih studija identifikovane među prvim rezultatima. Provedite nekoliko dana fino podešavajući upit (poboljšavajući procenat visoko relevantnih primarnih studija među prvih 50 rezultata) i obratite pažnju na ispravnu sintaksu pretrage.

Slika 4 opisuje PRISMA standard koji možete koristiti za vođenje pretrage i izbora, kao i izveštavanje o rezultatima (Haddaway et al., 2022; Kaufmann & Reips, 2024).

Svi koautori moraju sami prikupiti podatke za meta-analizu; to se ne može poveriti istraživačkim asistentima. U budućnosti, veštačka inteligencija (GPT 7?) će biti sposobna da pomogne u ovom vremenski zahtevnom zadatku. Međutim, trenutno nema alternative za autore meta-analize, koji su kao stručnjaci u svojoj oblasti jedini kvalifikovani da pažljivo pregledaju svaku primarnu studiju i metodično sastave svoj skup podataka ručno, tačku po tačku (Irsova et al., 2023).

Za razliku od autora većine ekonometrijskih studija, meta-analitičari ne koriste postojeće podatke, već stvaraju nove baze podataka. Primeri skupova podataka za meta-analizu dostupni su na https://www.meta-analysis.cz/.

Najmanje dva koautora moraju nezavisno prikupljati podatke. Ovaj rigorozni proces, iako vremenski zahtevan, ključan je za obezbeđivanje pouzdanosti meta-analize. Greške se mogu očekivati prilikom ručnog kodiranja studija (koje često sadrže desetine stranica u PDF formatu), a dva stručnjaka koja prikupljaju podatke omogućavaju lako otkrivanje i ispravljanje grešaka. Veličine efekta prikupljene za meta-analizu treba da budu uporedive kvalitativno i kvantitativno. To ne znači samo da isti znak ukazuje na efekat u istom pravcu, već treba uporediti stvarne veličine efekata među primarnim studijama.

Kvantitativno uporedive veličine efekta uključuju koeficijente korelacije, odnose šansi, elastičnosti i standardizovane razlike srednjih vrednosti. Koeficijenti regresije su generalno uporedivi kvantitativno tek nakon daljih transformacija, jer različite primarne studije mogu koristiti različite jedinice mere ili funkcionalne oblike nezavisnih i zavisnih varijabli. Izuzetak predstavljaju regresije u kojima se varijable sa obe strane koriste u logaritmima, pa regresija daje procenu elastičnosti.

Prikupljanje svih procena prijavljenih u primarnim studijama je imperativ. Ovaj pristup se preporučuje iz sledećih razloga (Irsova et al., 2023):

1. Omogućava sveobuhvatan pregled, osiguravajući da nijedna informacija nije odbačena i eliminiše potrebu za subjektivnim ocenama. Ovaj sveobuhvatni pristup prikupljanju podataka daje istraživačima sigurnost u temeljitost njihove analize. Uvek možete predstaviti meta-analizu odgovarajućeg poduzorka skupa podataka kako biste dali veću težinu procenama koje preferiraju autori.
2. Ekskluzivna analiza poput ove može potvrditi snagu rezultata ili uspostaviti polaznu tačku. Međutim, zanemarivanje drugih procena nije opravdano čak ni u ovom scenariju.
3. Prilikom sprovođenja originalnih istraživanja, uobičajeno je sprovesti dodatne provere kako bi se osigurala tačnost nalaza. Povremeno sami istraživači smatraju ove nalaze manje pouzdanim. Uključivanjem svih nalaza moguće je proceniti da li se „inferiorni" rezultati dosledno razlikuju od onih koje preferiraju autori.
4. Kada sprovodite meta-analizu po najboljim praksama, još uvek je prikladno dati veću težinu rezultatima koje preferiraju autori. Ponekad je izazovno objektivno odrediti koji rezultati idu u korist autora. Međutim, prikupljanje i analiziranje svih nalaza može omogućiti istraživačima da donesu informisane odluke bez potrebe za subjektivnim ocenama.

Ispitivanje bilo kojih odstupajućih tačaka i uticajnih tačaka u vašim podacima je važno. Jedna metoda za to je kreiranje levkastog (Funnel) grafikona, raspršenog (Scatter) grafikona veličina efekta i njihove preciznosti. Ukoliko primetite tačke podataka koje se značajno razlikuju od glavnog oblika levka ili izazivaju zabrinutost u DFBETA (metod za merenje uticaja pojedinačnih tačaka podataka na regresionu analizu)^[1], preporučljivo je pregledati primarne studije povezane s tim tačkama podataka. Ovaj pregled će pomoći u osiguranju da nema grešaka u podacima ili primarnim studijama, i može otkriti nijanse u načinu na koji su studije sprovedene, čineći njihove rezultate neuporedivim s ostatkom istraživačke literature. Ako i dalje postoji nesigurnost, kontaktiranje autora primarnih studija može pružiti pojašnjenje. Ključno je rešiti bilo koje uticajne tačke identifikovane od strane DFBETA, jer one mogu značajno uticati na rezultate meta-analize. To može uključivati ispravljanje ili isključivanje tih tačaka kao poslednje sredstvo. Takođe, nije samo preporučljivo, već je i neophodno da se izveštaji o proverama robusnosti prikažu kako bi se pokazao uticaj uklanjanja odstupanja ili korišćenja vinzorizacije (zamena opservacija iznad i ispod određenog centila vrednostima tog centila) na podatke (Zigraiova et al., 2020).

Na kraju, rezultati treba da budu vođeni pouzdanim i uticajnim istraživačkim nalazima i ako je to slučaj, značaj ovih nalaza treba detaljno opravdati. Vodite računa o tome da pored veličina efekta i standardnih grešaka takođe prikupljate informacije o značajnim razlikama u kontekstu u kojem su procenjene veličine efekta dobijene. Većina meta-analiza treba da prikupi najmanje deset varijabli (često dummy binarne varijable koje uzimaju vrednost 0 ili 1) koje odražavaju razlike u podacima, metodama i karakteristikama publikacija. U zavisnosti od veličine i složenosti baze podataka, može biti potrebno više varijabli, ali se preporučuje da broj bude ispod 30 radi jednostavnosti. Na primer, razmotrite da li se eksperiment primarne studije fokusira na reprezentativan uzorak populacije ili samo na specifičnu grupu, zemlju u kojoj je sproveden, da li je placebo ili alternativni tretman dodeljen kontrolnoj grupi, datum objave, faktor uticaja časopisa i broj godišnjih citata.

Pre prikupljanja podataka pažljivo pripremite listu varijabli koje ćete kodirati. Ovo može biti najizazovniji i najkreativniji deo meta-analize. Broj potencijalnih varijabli je skoro neograničen, pa je ključno odabrati najvažnije na osnovu rasprava u literaturi i vaše stručnosti. Veliki jezički model može pomoći u identifikaciji nekih dimenzija u kojima primarne studije variraju. Međutim, ključno je zapamtiti da je dvostruka provera od vitalnog značaja jer veštačka inteligencija ponekad može pružiti pogrešne rezultate. Ova pažnja i posvećenost detaljima osiguraće tačnost vaše meta-analize.

Razmislite o uključivanju dodatnih informacija koje dopunjuju ono što prikupljate iz primarnih studija. Ovaj sveobuhvatan pristup, koji prevazilazi primarne studije, može pružiti potpunije razumevanje istraživačkog konteksta. Na primer, ako su primarne studije sprovedene u različitim zemljama, uključivanje karakteristika zemlje (ili regiona) kao dodatne varijable može biti značajno. Rezultati eksperimenata mogu biti pod uticajem faktora kao što su temperatura, vlažnost ili finansijski razvoj zemlje, što može biti nemoguće analizirati samostalno od strane pojedinačnih primarnih studija. Razmatranjem i uključivanjem takvih dodatnih informacija, vaša meta-analiza može biti potpunija i informativnija (Irsova et al., 2023).

[1] See https://blogs.sas.com/content/iml/2019/06/17/influence-regression-dfbeta.html

Savladavanje umetnosti meta-analize može izgledati jednostavno, ali postizanje izvrsnosti u ovoj oblasti je zaista izazovno. Određivanje veličina efekta je jedan od najzahtevnijih aspekata sprovođenja meta-analize.

Prvi korak u meta-analizi uključuje sistematski pregled literature i ekstrakciju podataka. Istraživači koriste pretrage baza podataka, liste referenci i konsultacije sa stručnjacima kako bi identifikovali relevantne studije. Kriterijumi za uključivanje i isključivanje se primenjuju kako bi se osiguralo da su uključene samo studije koje se bave konkretnim istraživačkim pitanjem i koje ispunjavaju standarde kvaliteta.

Kombinovanjem podataka iz različitih izvora, meta-analiza može povećati statističku snagu, pružiti preciznije procene veličina efekta i identifikovati obrasce ili moderatore među studijama. Ovaj modul istražuje kvantitativne metode korišćene u meta-analizi, uključujući prikupljanje podataka, procenu veličine efekta, izbor modela i procenu heterogenosti (Haddaway et al., 2022).

Fokus svake meta-analize je veličina efekta, koja meri snagu kako jedna varijabla ili grupa varijabli utiče na drugu. Veličine efekta su ključne za razumevanje uticaja eksperimentalnih tretmana ili odnosa između varijabli u neeksperimentalnim studijama. Međutim, izračunavanje veličina efekta može biti izazovno zbog širokog raspona istraživačkih nacrta i nedovoljnog izveštavanja o statističkim informacijama u primarnim istraživačkim izveštajima. Mere d i r su često korišćene i praktične za izračunavanje veličina efekta i pružaju istraživačima vredne alate za meta-analizu.

Kada su relevantne studije identifikovane, sledeći korak je ekstrakcija i standardizacija veličina efekta. Veličina efekta je numerička mera koja ukazuje na snagu eksperimentalnog ishoda. Uobičajene mere veličine efekta uključuju:

1. Koenov d: Mera razlike između dve srednje vrednosti podeljena sa kombinovanom standardnom devijacijom.
2. Odnos šansi (OR): Koristi se za binarne ishode kako bi se izmerile šanse za događaj u jednoj grupi u poređenju sa drugom.
3. Koeficijent korelacije (r): Analizira intenzitet i orijentaciju veze između dve varijable.

Standardizacija veličina efekta je ključna jer omogućava kombinovanje rezultata iz studija koje koriste različite skale ili mere ishoda.

Zapamtite da postoje dva različita modela agregacije: modeli fiksnih efekata i modeli slučajnih efekata. Model fiksnih efekata pretpostavlja da sve studije u meta-analizi dolaze iz iste populacije i da je prava veličina efekta konzistentna u svim studijama. Tako se pretpostavlja da varijacija u veličini efekta potiče iz razlika unutar svake studije, kao što je greška uzorkovanja. Suprotno tome, model slučajnih efekata je složeniji, ako efekti na populaciju variraju od studije do studije. Ova pretpostavka se zasniva na ideji da posmatrane studije predstavljaju izbor uzoraka izvučenih iz šireg univerzuma studija. Modeli slučajnih efekata obuhvataju dva izvora varijacije u određenoj veličini efekta: unutar i između studija (Kaufmann & Reips, 2024).

Kada se sprovode meta-analize, veličine efekta se kombinuju korišćenjem modela fiksnih ili slučajnih efekata. Izbor korišćenja jednog od ovih modela zavisi od pretpostavke o raspodeli veličina efekta:

1. Model fiksnih efekata: Ovaj model pretpostavlja da sve studije procenjuju istu pravu veličinu efekta i da su primećene varijacije posledica greške uzorkovanja. Daje veću težinu većim studijama i prikladan je kada su studije vrlo slične u pogledu učesnika, intervencija i ishoda.
2. Model slučajnih efekata: Ovaj model pretpostavlja da se veličine efekta razlikuju među studijama zbog greške uzorkovanja unutar studije i heterogenosti između studija. Uključuje dodatnu komponentu varijanse, omogućavajući generalizovaniji zaključak o veličini efekta. Model slučajnih efekata verovatno će proizvesti oprezniju procenu, sa širim intervalom poverenja, što podstiče pažljiv pristup rezultatima. Međutim, zaključci iz oba modela obično se podudaraju kada nema heterogenosti. Prikladniji je kada postoji značajna heterogenost među uključenim studijama.