Събиране на данни

Всички съавтори трябва сами да съберат данните за мета-анализа; това не може да се възлага на научни асистенти. В бъдеще изкуственият интелект (GPT 7?) ще може да помага при изпълнението на тази трудоемка задача. Понастоящем обаче няма алтернатива на авторите на метаанализа, които като специалисти в областта са уникално квалифицирани да преглеждат щателно всяко първично проучване и методично да изграждат набора си от данни ръчно, точка по точка (Irsova et al., 2023).

За разлика от авторите на повечето иконометрични проучвания, метааналитиците не използват съществуващи данни, а създават нови бази данни. Примери за набори от данни за мета-анализ са достъпни на адрес https://www.meta-analysis.cz/.

Най-малко двама съавтори трябва да събират данните независимо един от друг. Този стриктен процес, макар и отнемащ време, е от решаващо значение за гарантиране на надеждността на метаанализа. При ръчното кодиране на проучвания (които често се състоят от десетки страници в PDF формат) могат да се очакват грешки, а събирането на данните от двама експерти позволява лесното идентифициране и коригиране на грешките. Големините на ефектите, събрани за целите на метаанализа, трябва да бъдат съпоставими в качествено и количествено отношение. Това означава, че не само един и същ оценен знак трябва да показва ефект в една и съща посока, но и да е смислено да се сравняват действителните размери на ефектите в първичните проучвания.

Количествено сравнимите размери на ефекта включват корелационни коефициенти, странни съотношения, еластичност, стойности в долари и стандартизирани средни разлики. Регресионните коефициенти обикновено са количествено сравними само с допълнителни трансформации, тъй като различните първични проучвания могат да използват различни мерни единици или функционални форми на независимите и зависимите променливи. Изключение представляват регресиите, при които променливите и от двете страни се използват в логаритми и следователно регресията дава оценени еластичности.

Наложително е да се съберат всички оценки, докладвани в първичните проучвания. Този подход се препоръчва по пет причини (Irsova et al., 2023):

1. Той осигурява цялостен поглед, като гарантира, че нито една информация не е изхвърлена, и премахва необходимостта от субективна преценка. Този всеобхватен подход към събирането на данни дава на изследователите увереност в задълбочеността на техния анализ. Винаги можете да представите метаанализ на съответната подпроба от набора от данни, за да придадете по-голяма тежест на предпочитаните от авторите оценки.
2. Подобен ексклузивен анализ може да потвърди силата на резултатите или да определи отправна точка. Пренебрегването на други оценки обаче е неоправдано дори при втория сценарий.
3. При провеждането на оригинални изследвания обикновено се извършват допълнителни проверки, за да се гарантира точността на констатациите. Понякога самите изследователи смятат, че тези констатации са по-малко надеждни. Като се включат всички констатации, е възможно да се прецени дали "по-лошите" резултати се различават последователно от предпочитаните от авторите.
4. При провеждането на мета-анализ на най-добрите практики все пак е уместно да се даде по-голяма тежест на предпочитаните от авторите резултати. Понякога е трудно да се определи обективно кои резултати са в полза на автора. Събирането и анализирането на всички резултати обаче може да даде възможност на изследователите да вземат информирани решения без необходимост от субективни преценки.

Важно е да проучите всички отклонения и влиятелни точки в данните. Един от методите за това е създаването на диаграма на фунията - диаграма на разпръскване на размера на ефекта и неговата точност. Да предположим, че сте забелязали точки от данни, които значително се отклоняват от основната форма на фунията или пораждат опасения в DFBETA (метод за измерване на влиянието на отделни точки от данни върху регресионния анализ)[1] . В този случай е препоръчително да се направи преглед на първичните проучвания, свързани с тези точки от данни. Този преглед ще помогне да се гарантира, че няма грешки в данните или в първичните проучвания, а също така може да разкрие нюанси в начина на провеждане на проучванията, което прави резултатите им несъпоставими с останалата научна литература. Ако все още има неясноти, обръщането към авторите на първичните проучвания може да внесе яснота. Изключително важно е да се обърне внимание на всички влиятелни или лостови точки, идентифицирани от DFBETA, тъй като те могат да окажат силно влияние върху резултатите от вашия метаанализ. Това може да включва коригиране или изключване на тези точки като крайна мярка. Освен това не просто е препоръчително, а е от съществено значение да се докладват проверки за устойчивост, за да се покаже въздействието на премахването на отклоненията или прилагането на уинсоризация (заместване на наблюденията над и под определен сантил със стойността на този сантил) върху данните (Zigraiova et al., 2020). В крайна сметка вашите резултати трябва да се основават на надеждни и влиятелни резултати от изследвания и ако случаят е такъв, значимостта на тези резултати трябва да бъде подробно обоснована.

И накрая, уверете се, че освен размера на ефекта и стандартните грешки, събирате информация и за значимите разлики в контекста, в който са получени оценените размери на ефекта. В повечето метаанализи трябва да се съберат поне десет променливи (често фиктивни двоични променливи, които приемат стойност 0 или 1), отразяващи разликите в данните, методите и характеристиките на публикациите. В зависимост от размера и сложността на базата данни може да са необходими повече променливи, но за улеснение е препоръчително броят им да бъде под 30. Например вземете предвид дали експериментът на основното проучване е насочен към представителна извадка от населението или само към определена група, държавата, в която е проведено, дали на контролната група е било назначено плацебо или алтернативно лечение, датата на публикуване, импакт фактора на изданието и броя на получените годишни цитати.

Преди да започнете да събирате данни, подгответе списък с променливи, които да кодирате внимателно. Това може да бъде най-предизвикателната и творческа част от мета-анализа. Броят на потенциалните променливи е почти неограничен, така че изборът на най-важните от тях е от съществено значение въз основа на дискусиите в литературата и вашия опит. Изчерпателният езиков модел може да помогне да се идентифицират някои от измеренията, по които се различават първичните проучвания. Въпреки това е изключително важно да помните, че двойната проверка е жизненоважна, тъй като изкуственият интелект понякога може да предостави подвеждащи резултати. Тази предпазливост и внимание към детайлите ще гарантират точността на вашия метаанализ.

Обмислете включването на допълнителна информация, която допълва събраната от първичните проучвания. Този всеобхватен подход, който излиза извън рамките на първичните проучвания, може да осигури по-задълбочено разбиране на контекста на изследването. Например, ако първичните проучвания са проведени в различни държави, включването на характеристики на държавата (или региона) може да бъде ценно като допълнителни променливи. Резултатите от експериментите могат да бъдат повлияни от фактори като температура, влажност или финансово развитие на страната, които може да е невъзможно да се анализират само чрез отделни първични проучвания. Като вземете предвид и включите такава допълнителна информация, вашият метаанализ може да бъде по-изчерпателен и проницателен (Irsova et al., 2023).

[1] Вижте https://blogs.sas.com/content/iml/2019/06/17/influence-regression-dfbeta.html

* Examples of meta-analysis datasets are available at https://www.meta-analysis.cz/.

** See https://blogs.sas.com/content/iml/2019/06/17/influence-regression-dfbeta.html