Разработване на протокол и критерии за търсене

След като сте формулирали въпросите си, трябва да съставите протокол, в който (1) официално да посочите въпросите, които възнамерявате да зададете, (2) да определите обективна стратегия за търсене и (3) да установите критерии за включване в проучването. (Davis et al., 2021; Gurevitch et al., 2018; Koricheva et al., 2013).

Уточняването на въпросите, които възнамерявате да зададете, включва конкретизиране на потенциалните източници на хетерогенност в размера на ефекта. (Côté & Jennions, 2013).

Определянето на обективна стратегия за търсене предполага да не насочвате събирането на данни към съответните статии, които вече познавате; в противен случай това може да повлияе на резултата, тъй като често е по-лесно да се запомнят статиите със значими резултати. На първо място, това включва изготвяне на списък на електронните бази данни, в които ще търсите, и на термините за търсене, които ще използвате. На второ място, една обективна стратегия за търсене ще включва решение за това колко усилия да се изразходват за търсене в "сивата литература". Например, ще пишете ли на колеги с молба за непубликувани данни и ако да, на кого и защо?

След като сте извършили търсене и сте съставили списък с потенциални документи, трябва да установите критериите за включване на проучването. Тези критерии често са доста очевидни и включват следното:

1. Влиза ли проучването в обхвата на вашите въпроси?
2. Съответства ли методологията на начина, по който е дефиниран въпросът ви?
3. Ако е така, дали тя е била достатъчно голяма или продължителна?
4. Съдържа ли проучването данни, които могат да бъдат извлечени, т.е. има ли достатъчно информация, за да се извлече размерът на ефекта, неговата дисперсия и използваният размер на извадката?
5. Критериите ви за включване понякога трябва да отчитат качеството на проучването. Това е много по-трудно за оценка от критериите, които изброихме по-горе, но може да бъде също толкова важно.

Струва си обаче да се отбележи, че както и при първичните изследвания, вашият протокол за търсене в литературата и извличане на размера на ефекта почти сигурно ще бъде променен в хода на работата. Следователно в много отношения окончателният ви протокол ще описва по-скоро това, което сте направили, отколкото това, което сте искали да направите в идеалния случай. Първо, трябва да разкажете на читателя как сте събрали данните си. Така, както и при първичните изследвания, предоставяте на читателя достатъчно информация за събирането и анализа на данните, за да може прегледът ви да бъде повторен и актуализиран в бъдеще. Второ, трябва да разполагате с протокол, който да ви принуждава непрекъснато да оценявате дали извадката ви е необективна. Протоколът увеличава обективността, с която събирате данните, но той не трябва да ви заслепява за реалността, че процесът на метаанализ включва множество субективни решения; те са най-очевидни, когато се опитвате да разшифровате резултатите от даден документ и да решите дали можете да извлечете необходимите данни за вашия синтез (Côté & Jennions, 2013). Ако данните се събират от повече от едно лице, добре описаният и изпитан протокол е много важен, за да се осигури еднаквост при извличането на данни и решенията за кодиране на модераторите.