Prikupljanje podataka

Svi koautori moraju sami prikupiti podatke za meta-analizu; to se ne može poveriti istraživačkim asistentima. U budućnosti, veštačka inteligencija (GPT 7?) će biti sposobna da pomogne u ovom vremenski zahtevnom zadatku. Međutim, trenutno nema alternative za autore meta-analize, koji su kao stručnjaci u svojoj oblasti jedini kvalifikovani da pažljivo pregledaju svaku primarnu studiju i metodično sastave svoj skup podataka ručno, tačku po tačku (Irsova et al., 2023).

Za razliku od autora većine ekonometrijskih studija, meta-analitičari ne koriste postojeće podatke, već stvaraju nove baze podataka. Primeri skupova podataka za meta-analizu dostupni su na https://www.meta-analysis.cz/.

Najmanje dva koautora moraju nezavisno prikupljati podatke. Ovaj rigorozni proces, iako vremenski zahtevan, ključan je za obezbeđivanje pouzdanosti meta-analize. Greške se mogu očekivati prilikom ručnog kodiranja studija (koje često sadrže desetine stranica u PDF formatu), a dva stručnjaka koja prikupljaju podatke omogućavaju lako otkrivanje i ispravljanje grešaka. Veličine efekta prikupljene za meta-analizu treba da budu uporedive kvalitativno i kvantitativno. To ne znači samo da isti znak ukazuje na efekat u istom pravcu, već treba uporediti stvarne veličine efekata među primarnim studijama.

Kvantitativno uporedive veličine efekta uključuju koeficijente korelacije, odnose šansi, elastičnosti i standardizovane razlike srednjih vrednosti. Koeficijenti regresije su generalno uporedivi kvantitativno tek nakon daljih transformacija, jer različite primarne studije mogu koristiti različite jedinice mere ili funkcionalne oblike nezavisnih i zavisnih varijabli. Izuzetak predstavljaju regresije u kojima se varijable sa obe strane koriste u logaritmima, pa regresija daje procenu elastičnosti.

Prikupljanje svih procena prijavljenih u primarnim studijama je imperativ. Ovaj pristup se preporučuje iz sledećih razloga (Irsova et al., 2023):

1. Omogućava sveobuhvatan pregled, osiguravajući da nijedna informacija nije odbačena i eliminiše potrebu za subjektivnim ocenama. Ovaj sveobuhvatni pristup prikupljanju podataka daje istraživačima sigurnost u temeljitost njihove analize. Uvek možete predstaviti meta-analizu odgovarajućeg poduzorka skupa podataka kako biste dali veću težinu procenama koje preferiraju autori.
2. Ekskluzivna analiza poput ove može potvrditi snagu rezultata ili uspostaviti polaznu tačku. Međutim, zanemarivanje drugih procena nije opravdano čak ni u ovom scenariju.
3. Prilikom sprovođenja originalnih istraživanja, uobičajeno je sprovesti dodatne provere kako bi se osigurala tačnost nalaza. Povremeno sami istraživači smatraju ove nalaze manje pouzdanim. Uključivanjem svih nalaza moguće je proceniti da li se „inferiorni" rezultati dosledno razlikuju od onih koje preferiraju autori.
4. Kada sprovodite meta-analizu po najboljim praksama, još uvek je prikladno dati veću težinu rezultatima koje preferiraju autori. Ponekad je izazovno objektivno odrediti koji rezultati idu u korist autora. Međutim, prikupljanje i analiziranje svih nalaza može omogućiti istraživačima da donesu informisane odluke bez potrebe za subjektivnim ocenama.

Ispitivanje bilo kojih odstupajućih tačaka i uticajnih tačaka u vašim podacima je važno. Jedna metoda za to je kreiranje levkastog (Funnel) grafikona, raspršenog (Scatter) grafikona veličina efekta i njihove preciznosti. Ukoliko primetite tačke podataka koje se značajno razlikuju od glavnog oblika levka ili izazivaju zabrinutost u DFBETA (metod za merenje uticaja pojedinačnih tačaka podataka na regresionu analizu)^[1], preporučljivo je pregledati primarne studije povezane s tim tačkama podataka. Ovaj pregled će pomoći u osiguranju da nema grešaka u podacima ili primarnim studijama, i može otkriti nijanse u načinu na koji su studije sprovedene, čineći njihove rezultate neuporedivim s ostatkom istraživačke literature. Ako i dalje postoji nesigurnost, kontaktiranje autora primarnih studija može pružiti pojašnjenje. Ključno je rešiti bilo koje uticajne tačke identifikovane od strane DFBETA, jer one mogu značajno uticati na rezultate meta-analize. To može uključivati ispravljanje ili isključivanje tih tačaka kao poslednje sredstvo. Takođe, nije samo preporučljivo, već je i neophodno da se izveštaji o proverama robusnosti prikažu kako bi se pokazao uticaj uklanjanja odstupanja ili korišćenja vinzorizacije (zamena opservacija iznad i ispod određenog centila vrednostima tog centila) na podatke (Zigraiova et al., 2020).

Na kraju, rezultati treba da budu vođeni pouzdanim i uticajnim istraživačkim nalazima i ako je to slučaj, značaj ovih nalaza treba detaljno opravdati. Vodite računa o tome da pored veličina efekta i standardnih grešaka takođe prikupljate informacije o značajnim razlikama u kontekstu u kojem su procenjene veličine efekta dobijene. Većina meta-analiza treba da prikupi najmanje deset varijabli (često dummy binarne varijable koje uzimaju vrednost 0 ili 1) koje odražavaju razlike u podacima, metodama i karakteristikama publikacija. U zavisnosti od veličine i složenosti baze podataka, može biti potrebno više varijabli, ali se preporučuje da broj bude ispod 30 radi jednostavnosti. Na primer, razmotrite da li se eksperiment primarne studije fokusira na reprezentativan uzorak populacije ili samo na specifičnu grupu, zemlju u kojoj je sproveden, da li je placebo ili alternativni tretman dodeljen kontrolnoj grupi, datum objave, faktor uticaja časopisa i broj godišnjih citata.

Pre prikupljanja podataka pažljivo pripremite listu varijabli koje ćete kodirati. Ovo može biti najizazovniji i najkreativniji deo meta-analize. Broj potencijalnih varijabli je skoro neograničen, pa je ključno odabrati najvažnije na osnovu rasprava u literaturi i vaše stručnosti. Veliki jezički model može pomoći u identifikaciji nekih dimenzija u kojima primarne studije variraju. Međutim, ključno je zapamtiti da je dvostruka provera od vitalnog značaja jer veštačka inteligencija ponekad može pružiti pogrešne rezultate. Ova pažnja i posvećenost detaljima osiguraće tačnost vaše meta-analize.

Razmislite o uključivanju dodatnih informacija koje dopunjuju ono što prikupljate iz primarnih studija. Ovaj sveobuhvatan pristup, koji prevazilazi primarne studije, može pružiti potpunije razumevanje istraživačkog konteksta. Na primer, ako su primarne studije sprovedene u različitim zemljama, uključivanje karakteristika zemlje (ili regiona) kao dodatne varijable može biti značajno. Rezultati eksperimenata mogu biti pod uticajem faktora kao što su temperatura, vlažnost ili finansijski razvoj zemlje, što može biti nemoguće analizirati samostalno od strane pojedinačnih primarnih studija. Razmatranjem i uključivanjem takvih dodatnih informacija, vaša meta-analiza može biti potpunija i informativnija (Irsova et al., 2023).

[1] See https://blogs.sas.com/content/iml/2019/06/17/influence-regression-dfbeta.html