Част III. Предразсъдъци на публикациите и оценка на качеството

Какви са потенциалните отклонения, свързани с отклонението на публикациите в мета-анализите?

Изкривяването на публикациите възниква, когато е по-вероятно да бъдат публикувани проучвания със значими или положителни резултати, отколкото тези с неубедителни или отрицателни резултати, което може да изкриви мета-аналитичните резултати.

Ако при метаанализа не се използват съвременни методи, той може да бъде толкова подвеждащ, колкото добрият метаанализ просвещава политиците и изследователите. Основен проблем е пристрастието към подбора на публикациите и "p-hacking ", което се отнася до манипулиране на анализа на данните до получаване на статистически значими резултати, което компрометира истинността на констатациите. От 107 000 мета-анализа, публикувани през 2022 г., в повече от половината изобщо не се обсъжда пристрастността на публикациите. Тъй като пристрастието към публикацията или p-hacking може лесно да преувеличи типичния размер на отчетения ефект с два или повече пъти, метаанализите, които игнорират пристрастието към публикацията, могат да причинят повече вреда, отколкото полза (Irsova et al., 2023).

Изключването на непубликувани проучвания в систематичните прегледи може да доведе до изключване на критични доказателства и да доведе до необективни, прекалено положителни резултати. Това е сериозна загриженост, тъй като предишни проучвания показват, че мета-анализите, които не вземат предвид сивата литература, могат да надценят ефективността на интервенциите, което потенциално може да доведе до погрешни политики и неефективни интервенции.

Напоследък са разработени множество сложни методи с надеждна теоретична основа за справяне с отклоненията при избора на публикации. Тези подходи са валидирани чрез обширни симулации Монте Карло и са приложими в многобройни проучвания. Сред тези методи са техниката Trim and Fill, регресионният тест на Egger и моделът за подбор на Copas. Последните постижения обхващат и управлението на наблюдаваната и ненаблюдаваната систематична хетерогенност в рамките на несигурността на модела и някои видове p-hacking[1] . Заедно с това, тези постижения в областта на методите представляват съществени стъпки напред в разбирането и интерпретирането на съвременните изследвания.

При провеждането на мета-анализ е изключително важно да се вземат предвид различните източници на пристрастия, които могат да повлияят на заключенията на проучването. Този задълбочен подход е от съществено значение за гарантиране на валидността и надеждността на констатациите. Общите източници на предубеждения, които трябва да се имат предвид, включват:

• Изкривяване на подбора: Това може да се случи, когато проучванията или участниците не са подбрани на случаен принцип, което води до изкривено представяне на популацията.
• Изкривяването при докладване, известно още като "пристрастие при публикуване", възниква, когато наличните резултати систематично се различават от липсващите резултати, като често се предпочитат значими, положителни резултати.
• Предразсъдъци при изпълнението и предразсъдъци при откриването: Тези предразсъдъци могат да повлияят на изпълнението и резултатите от интервенциите в проучванията, като по този начин повлияят на резултатите.
• Пристрастие към отпадането: Това пристрастие се появява, когато има диференцирана загуба на участници от проучваните групи, което може да повлияе на валидността на резултатите.
• Изкривяване на пропуснатата променлива: Това изкривяване може да доведе до изкривяване на средните оценки в мета-анализа, особено при коригиране на грешното изкривяване.
• Пристрастността на публикациите в мета-анализите може да доведе до редица потенциални грешки, както се вижда от следните примери от академични резюмета. Тези пристрастия, които могат значително да повлияят на валидността и обобщаването на заключенията в областта, са обект на ключови изследвания.
• Влияние на предубедеността на публикацията: Влиянието на отклонението от публикациите върху резултатите от мета-анализа е критичен въпрос, който не може да бъде надценяван. Тя може потенциално да потисне неблагоприятните проучвания, като по този начин отклони резултатите към изкуствено благоприятни резултати - проблем, на който трябва да се обърне внимание в изследванията.
• Методи за откриване: Предложени са различни статистически тестове за откриване на отклонения в публикациите, но тяхната ефективност зависи от предположенията за причината, което води до различна сила при различните сценарии. Въпреки че пристрастието към публикациите се признава в мета-анализите, съществува неотложна необходимост от официална оценка и корекция на неговите ефекти. Понастоящем само малък процент от мета-анализите се опитват да се справят с пристрастието към публикациите, което подчертава неотложността на този въпрос.
  • Въздействие върху валидността: Разпространението на потенциални грешки при публикуването в мета-анализите, особено в специфични дисциплини, поражда опасения относно валидността и обобщаването на заключенията.
  • Методологически предизвикателства: Стандартните методи за мета-анализ са уязвими към отклонения, дължащи се на непълно отчитане на резултатите и лошо качество на проучванията, и няма ясни насоки за оценка на тези отклонения.
  • Ограничения на теста: Някои тестове за пристрастност на публикациите, като теста на Егер и претеглените регресионни тестове, могат да имат завишени нива на грешка от тип I или ниска статистическа сила, особено при наличие на хетероскедастичност. Явлението се случва, когато научни изследвания със статистически значими резултати се публикуват по-често от тези с незначими резултати. Изключително важно е да се има предвид, че това може да доведе до надценяване на действителния размер на ефекта.

Следване на Harrer et al. (2021) и Page et al. (2021), е важно да се разбере, че има няколко други фактора, които могат да изкривят данните в нашия метаанализ. Тези фактори могат да окажат значително въздействие и включват: 1:

• Пристрастността към цитирането се проявява, когато проучвания с отрицателни или неубедителни резултати, дори и да са публикувани, е по-малко вероятно да бъдат споменати в друга свързана литература. Това може да направи по-трудно идентифицирането на тези проучвания чрез търсене на референции.
• Пристрастие на времето: Проучванията с положителни резултати често се публикуват по-рано от тези с неблагоприятни резултати. Това означава, че резултатите от наскоро проведени проучвания с положителни резултати често вече са налични, докато тези с неблагоприятни резултати не са.
• Пристрастие към множество публикации: Резултатите от "успешни" проучвания е по-вероятно да бъдат съобщени в няколко статии в списания, което улеснява намирането на поне една от тях. Практиката на съобщаване на резултатите от проучванията в няколко статии е известна още като "нарязване на салами".
• Езикови пристрастия: В повечето дисциплини основният език, на който се публикуват доказателствата, е английският. По-малко вероятно е да бъдат открити публикации на други езици, особено когато изследователите се нуждаят от превод, за да разберат съдържанието. Възможност за пристрастие съществува, когато изследванията на английски език систематично се различават от тези, публикувани на други езици.
• Изкривяване на отчитането на резултатите: Много проучвания и експериментални проекти измерват повече от един резултат, който представлява интерес. Някои учени се възползват от това, като оповестяват само резултатите, подкрепящи тяхната хипотеза, и пренебрегват тези, които не я потвърждават. Това също може да доведе до пристрастие: Технически погледнато, проучването е публикувано, но неговият (неблагоприятен) резултат все още ще липсва в нашия мета-анализ, защото не е отчетен.

[1] Манипулиране на анализа на данните до получаване на статистически значими резултати, което компрометира истинността на констатациите.

Важно е да се отбележи, че макар известна степен на отклонение да е почти неизбежна в проучванията, разбирането на тези отклонения и техните проявления в проектите на проучванията е от решаващо значение за намаляване на въздействието им върху заключенията на мета-анализа. Изкривяването на публикациите може да изкриви мета-анализите, като засили ефектите, изискващи идентифициране и коригиране. За да се намали влиянието на пристрастията при публикуване и докладване, както и на съмнителните изследователски практики (QRP), в метаанализите могат да се използват различни техники. Тези подходи обхващат методи за търсене на изследвания, както и статистически методи.

1. Търсене на проучвания: Ако съществува пристрастие към публикациите, тази стъпка е важна, тъй като означава, че търсенето на публикувана литература може да даде данни, които са само частично представителни за всички доказателства. Можем да противодействаме на това, като потърсим сива литература, включително дисертации, препринти, правителствени доклади или материали от конференции. За щастие, в много дисциплини все по-разпространени стават и препратките. Това дава възможност да се търси в регистрите на изследванията за проучвания с непубликувани данни и да се питат авторите дали могат да предоставят данни, които (все още) не са публикувани. Търсенето на сива литература може да бъде досадно и разочароващо, но си заслужава. В едно голямо проучване е установено, че включването на сива и непубликувана литература може да помогне да се избегне надценяване на истинските ефекти.
2. Статистически методи: Статистическите методи също могат да изследват наличието на публикация. Важно е да се отбележи, че нито един от тези методи не може директно да определи пристрастността на публикацията. Те обаче могат да изследват конкретни свойства на данните, които могат да послужат като потенциални индикатори за наличието на такова отклонение. Някои методи могат също така да определят количествено истинския общ ефект при коригиране на отклонението от публикациите.

Горските диаграми, макар и да не са изрично предназначени за идентифициране на отклонението от публикациите, често се използват в мета-анализите за визуално представяне на размера на ефекта от отделните проучвания и доверителните интервали. (Екип на , 2023; Harrer et al., 2021)[1]. Ролята на горските графики за насърчаване на прозрачността и възпроизводимостта е значителна, тъй като те позволяват на изследователите да използват разпространението и разпределението на размерите на ефекта, за да преценят дали има недостиг на по-малки проучвания с нулеви или отрицателни резултати, което може да означава потенциална пристрастност на публикацията. Тази ключова функция на горските участъци подчертава тяхното значение в научните изследвания. Горските графики са типичният метод за представяне на метаанализи. Те представят визуално наблюдавания ефект, доверителния интервал и обикновено теглото на всяко изследване. Освен това те показват комбинирания ефект, който сме изчислили в метаанализа. Това дава възможност на други лица своевременно да оценят точността и обхвата на включените проучвания и връзката между комбинирания ефект и наблюдаваните размери на ефекта.

Фигура 6 представя визуално основните елементи на горския участък. В лявата част на горския участък в удобен за потребителя визуален формат са представени тестовете на отделните изследвания, както и общите стойности на хетерогенността и размера на ефекта.

Визуалното изображение в дясната част илюстрира размера на ефекта на всяко изследване, който обикновено е разположен в центъра на графиката. Това графично представяне илюстрира точковата оценка на размера на ефекта на проучването по оста х, като служи като ключов показател за размера на ефекта. Точковата оценка е придружена от линия, която изобразява диапазона на доверителния интервал, изчислен за наблюдавания размер на ефекта. Тази линия визуално представя несигурността, свързана с точковата оценка. Запомнете, че точковата оценка обикновено се изобразява с квадрат, като размерът на квадрата се определя от теглото на размера на ефекта; изследванията с по-голямо тегло (7-мо, 8-мо и 9-то) се изобразяват с по-голям квадрат, докато изследванията с по-малко тегло имат по-малък квадрат. Конвенционалната горска диаграма трябва да включва и данните за размера на ефекта, използвани в мета-анализа, за да може други да възпроизведат нашите резултати.

Горските графики обикновено се използват в мета-анализите за визуално представяне на размера на ефекта от отделните изследвания и доверителните интервали. Изследователите могат да идентифицират потенциални грешки при публикуването, като проучат разпространението и разпределението на размерите на ефектите. Тези диаграми осигуряват графично представяне на наблюдаваните ефекти, доверителните интервали и тежестта на всяко изследване, като предлагат бърз начин за оценка на точността и разпространението на включените изследвания и как обединеният ефект се отнася към наблюдаваните размери на ефектите (Harrer et al., 2021). Освен това са илюстрирани основните компоненти на горския участък, които осигуряват преглед на тестовете на отделните проучвания и стойностите на размера на ефекта. Освен това се визуализира точковата оценка на дадено изследване заедно с линия, представяща доверителния интервал. Размерът на квадрата около точковата оценка отразява тежестта на размера на ефекта. Традиционно е също така горската диаграма да съдържа данните за размера на ефекта, използвани в метаанализа, което позволява на други лица да възпроизведат резултатите от.

[1] Резултатите от мета-анализа в SPSS можете да видите в Приложение 1.

Графиките на фунията служат като визуален инструмент за оценка на пристрастността на публикациите, като всяка асиметрия в графиката може да показва пристрастност. Освен това могат да се използват статистически тестове като регресионния тест на Егер или теста на Бег, за да се установи пристрастността на публикациите.

Анализът на чувствителността включва провеждане на мета-анализа при различни допускания или изключване на конкретни проучвания, за да се установи устойчивостта на резултатите. Например изследователите могат да изберат да изключат проучвания с по-ниско качество или такива с екстремни размери на ефекта, за да оценят последователността на общите заключения. (Blackhall & Ker, 2007).

Графиките на фунията и тестът на Егер са мощни инструменти за оценка и справяне с отклоненията в мета-аналитичните оценки. Все пак е важно да се отбележи, че методът на тример и запълване, макар и полезен, има своите ограничения. Анализите на чувствителността са от решаващо значение за разбирането и намаляването на отклоненията и изследователите трябва да подхождат към тези методи с предпазливост и осъзнаване на потенциалните предизвикателства (Екип на AJE, 2023).

Графиката на фунията, техника, използвана за оценка на възможността за отклонение от публикациите (Harbord et al., 2006), се основава на предположението, че по-малките проучвания, въпреки техния размер, играят значителна роля при откриването на отклонение от публикациите. Вероятността пристрастието към публикациите да засегне по-малките проучвания е по-голяма, отколкото тази при по-обширните проучвания. Тази откриваема разлика се дължи на различията в податливостта на пристрастие към публикациите. Ако даден изследовател завърши голямо рандомизирано проучване, той вероятно ще иска то да бъде публикувано, дори ако резултатът е отрицателен поради положените усилия. При по-малките експерименти обаче сценарият може да е различен. Ако съществува пристрастие към публикациите, то най-вероятно се дължи на това, че малките отрицателни опити не се публикуват. Това подчертава значението на по-малките проучвания за откриването на пристрастия при публикуването, като прави процеса по-ангажиращ и интересен за изследователите.

Графиката на фунията - визуално изображение на размерите на проучванията, съпоставени с размера на ефекта, който те представят - служи като инструмент за оценка на пристрастието към публикациите. С увеличаването на размера на проучването е вероятно проучванията да се сближат около истинския размер на основния ефект. Може да се очаква равномерно разпръскване на изпитванията от двете страни на този истински основен ефект (фиг. 7 - графика А). Когато е налице пристрастие към публикациите, се очаква асиметрия в разпръскването на малките изследвания, като повече изследвания показват положителен резултат, отколкото тези, които показват отрицателен резултат (фиг. 7 - графика Б).

Асиметрията на фунията може да бъде визуално оценена с помощта на графиката на фунията, но за количественото ѝ определяне се използват следните методи:

• Тест на Егер (Egger et al., 1997): Този тест включва претеглен регресионен анализ на оценките на размера на ефекта върху техните мерки за прецизност (т.е. стандартни грешки). Вниманието е насочено към пресечната линия, индексирана с b. Статистически значима пресечна линия (с p < 0,05) предполага отклонение от публикациите.
• Рангова корелация Тест на Бег: Установява дали съществува забележима връзка между ранговете на стандартизираните размери на ефектите и ранговете на техните дисперсии.

В заключение, мета-анализът представлява мощен количествен метод, който обединява резултатите от множество проучвания, за да се получат по-устойчиви заключения. Изследователите могат да получат по-точни и обобщаващи прозрения чрез систематично събиране на данни, оценка на размера на ефекта, избор на модел, оценка на хетерогенността и контрол на пристрастието към публикациите. Въпреки силните си страни, при мета-анализа е наложително щателно планиране и изпълнение, за да се заобиколят пристрастията и погрешните интерпретации. Когато се провежда стриктно, той дава безценен принос към практиката, основана на доказателства, и създаването на политики в различни научни области.

Запознаването с методологичната рамка на мета-анализа е от съществено значение за оценяване на валидността му за постигане на целите на изследването.

Какви са потенциалните последици от пристрастието към публикациите за валидността на мета-анализите? Изкривяването на публикациите може да окаже значително влияние върху валидността на метаанализите по няколко начина:

• Влияние върху резултатите от мета-анализа: Пристрастието към публикациите може да потисне неблагоприятните проучвания, като по този начин отклони мета-аналитичните резултати в изкуствено благоприятна посока.
• Предизвикателства при откриването: Предложени са различни статистически тестове за откриване на пристрастността на публикациите. Те обаче често правят различни допускания и в много случаи могат да имат ниска сила, което прави избора на оптимален тест за реални мета-анализи труден.
• Ниски проценти на оценка: Преглед на мета-анализи в списания по пластична хирургия и психология разкри ниски нива на правилна оценка на пристрастието на публикациите, като само малък процент от тях се опитват да коригират ефекта му.
• Въздействие върху заключенията: Проучванията показват, че отклонението от публикациите може да доведе до надценяване на ефектите и до фалшиво положителни резултати, което се отразява на валидността на мета-аналитичните заключения.
• Ограничения на метода за откриване: Тестовете за пристрастие към публикациите, базирани на P-стойността, могат да подценят наличието му, главно когато броят на изследванията в метаанализа е малък.

В заключение, отклонението от публикациите може да има значителни последици за валидността на мета-анализите, включително да изкриви резултатите, да повлияе на заключенията и да създаде предизвикателства при откриването им. Ниският процент на правилна оценка и ограниченията на методите за откриване допълнително подчертават необходимостта от внимателно разглеждане на публикационната пристрастност в метааналитичните изследвания.