Quais são os potenciais enviesamentos associados ao enviesamento da publicação em meta-análises?
O viés de publicação surge quando estudos com resultados significativos ou positivos têm maior probabilidade de serem publicados do que aqueles com resultados inconclusivos ou negativos, potencialmente distorcendo os achados metaanalíticos.
Se uma meta-análise não utilizar métodos atualizados, pode ser tão enganadora como uma boa meta-análise esclarece os decisores políticos e investigadores. Uma questão fundamental é o viés de seleção de publicações e o 'p-hacking', que se refere à manipulação da análise de dados até que ela produza resultados estatisticamente significativos, comprometendo a veracidade dos resultados. Das 107.000 meta-análises publicadas em 2022, mais da metade não discute o viés de publicação. Como o viés de publicação ou o p-hacking podem facilmente exagerar o tamanho típico do efeito relatado em dois ou mais, meta-análises que ignoram o viés de publicação podem causar mais danos do que benefícios (Irsova et al., 2023).
A exclusão de estudos não publicados em revisões sistemáticas pode levar à exclusão de evidências críticas e resultar em resultados tendenciosos e excessivamente positivos. Esta é uma preocupação significativa, uma vez que estudos anteriores sugeriram que meta-análises que não consideram literatura cinzenta podem sobrestimar a eficácia das intervenções, potencialmente levando a políticas equivocadas e intervenções ineficazes.
Numerosos métodos sofisticados com bases teóricas robustas foram recentemente desenvolvidos para abordar o viés de seleção de publicações. Estas abordagens foram validadas através de extensas simulações de Monte Carlo e são aplicáveis em numerosos estudos. A técnica de Trim and Fill, o teste de regressão de Egger e o modelo de seleção de Copas estão entre esses métodos. Os avanços recentes também abrangem a gestão da heterogeneidade sistemática observada e não observada no âmbito da incerteza do modelo e de certos tipos de p-hacking[1]. Em conjunto, estes avanços metodológicos constituem passos essenciais na compreensão e interpretação da investigação contemporânea.
Ao conduzir uma meta-análise, é crucial considerar várias fontes de viés que podem impactar as conclusões do estudo. Esta abordagem exaustiva é essencial para garantir a validade e a fiabilidade dos resultados. As fontes comuns de preconceito a ter em conta incluem:
- Viés de seleção: Isso pode ocorrer quando os estudos ou participantes não são selecionados aleatoriamente, levando a uma representação populacional distorcida.
- O enviesamento da notificação, também conhecido como enviesamento da publicação, surge quando os resultados disponíveis diferem sistematicamente dos resultados em falta, favorecendo frequentemente resultados positivos significativos.
- Viés de Desempenho e Viés de Deteção: Esses vieses podem afetar a implementação e os resultados das intervenções em estudos, influenciando os resultados.
- Viés de atrito: Este viés ocorre quando há uma perda diferencial de participantes dos grupos de estudo, potencialmente impactando a validade dos resultados.
- Viés de Variável Omitido: Este Viés pode levar a estimativas médias distorcidas em uma meta-análise, particularmente ao corrigir o Viés errado.
- O viés de publicação em meta-análises pode introduzir uma série de vieses potenciais, como demonstrado pelos seguintes insights de resumos acadêmicos. Esses vieses, que podem impactar significativamente a validade e generalização das conclusões no campo, são um foco chave de pesquisa.
- Influência do viés de publicação: A influência do viés de publicação nos resultados metaanalíticos é uma questão crítica que não pode ser exagerada. Pode potencialmente suprimir estudos desfavoráveis, enviesando assim os resultados para resultados artificialmente favoráveis, uma preocupação que a investigação deve abordar.
- Métodos de deteção: Vários testes estatísticos foram propostos para detetar viés de publicação, mas sua eficácia depende de suas suposições sobre a causa, levando a um poder variável em diferentes cenários. Embora o viés de publicação seja reconhecido em meta-análises, há uma necessidade premente de avaliação formal e correção de seus efeitos. Atualmente, apenas uma pequena percentagem das meta-análises tenta abordar o enviesamento da publicação, destacando a urgência desta questão.
- Impacto na validade: A prevalência de potencial viés de publicação em meta-análises, particularmente em disciplinas específicas, levanta preocupações sobre a validade e generalização das conclusões.
- Desafios metodológicos: Os métodos padrão de meta-análise são vulneráveis a enviesamentos decorrentes de relatórios incompletos dos resultados e da fraca qualidade do estudo, e não existem diretrizes claras para avaliar este enviesamento.
- Limitações do teste: Alguns testes para viés de publicação, como o teste de Egger e testes de regressão ponderada, podem ter taxas de erro do tipo I infladas ou baixo poder estatístico, especialmente na presença de heterocedasticidade. O fenômeno acontece quando estudos de pesquisa com resultados estatisticamente significativos são publicados com mais frequência do que aqueles com resultados não significativos. É crucial ter em mente que isso pode causar uma superestimação do tamanho real do efeito.
Seguir (2021 e Page et al. (2021), é importante entender que existem vários outros fatores que podem distorcer as evidências em nossa meta-análise. Estes fatores podem ter um impacto significativo e incluem:
- O viés de citação ocorre quando estudos com achados negativos ou inconclusivos, mesmo que publicados, têm menos probabilidade de serem referenciados por outra literatura relacionada. Isso pode tornar mais difícil identificar esses estudos por meio de buscas de referência.
- Viés de desfasamento temporal: Os estudos com resultados positivos são frequentemente publicados mais cedo do que aqueles com resultados desfavoráveis. Isto significa que os resultados de estudos realizados recentemente com resultados positivos muitas vezes já estão disponíveis, enquanto aqueles com resultados não significativos não estão.
- Viés de publicação múltipla: Os resultados de estudos "bem-sucedidos" são mais propensos a serem relatados em vários artigos de revistas, o que torna mais fácil encontrar pelo menos um deles. A prática de relatar os resultados do estudo em vários artigos também é conhecida como "fatiamento de salame".
- Viés linguístico: Na maioria das disciplinas, a língua principal em que as provas são publicadas é o inglês. Publicações em outros idiomas têm menos probabilidade de serem detetadas, especialmente quando os pesquisadores precisam de tradução para entender o conteúdo. A possibilidade de enviesamento existe quando os estudos em inglês diferem sistematicamente dos publicados noutras línguas.
- Viés de notificação de resultados: Muitos estudos e desenhos experimentais, em particular, medem mais de um resultado de interesse. Alguns cientistas aproveitam-se disso apenas divulgando os resultados que sustentam a sua hipótese e desconsiderando aqueles que não a confirmam. Isso também pode levar a um viés: tecnicamente falando, o estudo foi publicado, mas seu resultado (desfavorável) ainda estará ausente em nossa meta-análise porque não é relatado.
[1] A manipulação da análise dos dados até que produza resultados estatisticamente significativos, comprometendo a veracidade dos achados
