Parte III. Viés de Publicação e Avaliação da Qualidade

Quais são os potenciais enviesamentos associados ao enviesamento da publicação em meta-análises?

O viés de publicação surge quando estudos com resultados significativos ou positivos têm maior probabilidade de serem publicados do que aqueles com resultados inconclusivos ou negativos, potencialmente distorcendo os achados metaanalíticos.

Se uma meta-análise não utilizar métodos atualizados, pode ser tão enganadora como uma boa meta-análise esclarece os decisores políticos e investigadores. Uma questão fundamental é o viés de seleção de publicações e o 'p-hacking', que se refere à manipulação da análise de dados até que ela produza resultados estatisticamente significativos, comprometendo a veracidade dos resultados. Das 107.000 meta-análises publicadas em 2022, mais da metade não discute o viés de publicação. Como o viés de publicação ou o p-hacking podem facilmente exagerar o tamanho típico do efeito relatado em dois ou mais, meta-análises que ignoram o viés de publicação podem causar mais danos do que benefícios (Irsova et al., 2023).

A exclusão de estudos não publicados em revisões sistemáticas pode levar à exclusão de evidências críticas e resultar em resultados tendenciosos e excessivamente positivos. Esta é uma preocupação significativa, uma vez que estudos anteriores sugeriram que meta-análises que não consideram literatura cinzenta podem sobrestimar a eficácia das intervenções, potencialmente levando a políticas equivocadas e intervenções ineficazes.

Numerosos métodos sofisticados com bases teóricas robustas foram recentemente desenvolvidos para abordar o viés de seleção de publicações. Estas abordagens foram validadas através de extensas simulações de Monte Carlo e são aplicáveis em numerosos estudos. A técnica de Trim and Fill, o teste de regressão de Egger e o modelo de seleção de Copas estão entre esses métodos. Os avanços recentes também abrangem a gestão da heterogeneidade sistemática observada e não observada no âmbito da incerteza do modelo e de certos tipos de p-hacking[1]. Em conjunto, estes avanços metodológicos constituem passos essenciais na compreensão e interpretação da investigação contemporânea.

Ao conduzir uma meta-análise, é crucial considerar várias fontes de viés que podem impactar as conclusões do estudo. Esta abordagem exaustiva é essencial para garantir a validade e a fiabilidade dos resultados. As fontes comuns de preconceito a ter em conta incluem:

• Viés de seleção: Isso pode ocorrer quando os estudos ou participantes não são selecionados aleatoriamente, levando a uma representação populacional distorcida.
• O enviesamento da notificação, também conhecido como enviesamento da publicação, surge quando os resultados disponíveis diferem sistematicamente dos resultados em falta, favorecendo frequentemente resultados positivos significativos.  
• Viés de Desempenho e Viés de Deteção: Esses vieses podem afetar a implementação e os resultados das intervenções em estudos, influenciando os resultados.
• Viés de atrito: Este viés ocorre quando há uma perda diferencial de participantes dos grupos de estudo, potencialmente impactando a validade dos resultados.
• Viés de Variável Omitido: Este Viés pode levar a estimativas médias distorcidas em uma meta-análise, particularmente ao corrigir o Viés errado.
• O viés de publicação em meta-análises pode introduzir uma série de vieses potenciais, como demonstrado pelos seguintes insights de resumos acadêmicos. Esses vieses, que podem impactar significativamente a validade e generalização das conclusões no campo, são um foco chave de pesquisa.
• Influência do viés de publicação: A influência do viés de publicação nos resultados metaanalíticos é uma questão crítica que não pode ser exagerada. Pode potencialmente suprimir estudos desfavoráveis, enviesando assim os resultados para resultados artificialmente favoráveis, uma preocupação que a investigação deve abordar.
• Métodos de deteção: Vários testes estatísticos foram propostos para detetar viés de publicação, mas sua eficácia depende de suas suposições sobre a causa, levando a um poder variável em diferentes cenários. Embora o viés de publicação seja reconhecido em meta-análises, há uma necessidade premente de avaliação formal e correção de seus efeitos. Atualmente, apenas uma pequena percentagem das meta-análises tenta abordar o enviesamento da publicação, destacando a urgência desta questão.
  • Impacto na validade: A prevalência de potencial viés de publicação em meta-análises, particularmente em disciplinas específicas, levanta preocupações sobre a validade e generalização das conclusões.
  • Desafios metodológicos: Os métodos padrão de meta-análise são vulneráveis a enviesamentos decorrentes de relatórios incompletos dos resultados e da fraca qualidade do estudo, e não existem diretrizes claras para avaliar este enviesamento.
  • Limitações do teste: Alguns testes para viés de publicação, como o teste de Egger e testes de regressão ponderada, podem ter taxas de erro do tipo I infladas ou baixo poder estatístico, especialmente na presença de heterocedasticidade. O fenômeno acontece quando estudos de pesquisa com resultados estatisticamente significativos são publicados com mais frequência do que aqueles com resultados não significativos. É crucial ter em mente que isso pode causar uma superestimação do tamanho real do efeito.

Seguir (2021 e Page et al. (2021), é importante entender que existem vários outros fatores que podem distorcer as evidências em nossa meta-análise. Estes fatores podem ter um impacto significativo e incluem:

• O viés de citação ocorre quando estudos com achados negativos ou inconclusivos, mesmo que publicados, têm menos probabilidade de serem referenciados por outra literatura relacionada. Isso pode tornar mais difícil identificar esses estudos por meio de buscas de referência.
• Viés de desfasamento temporal: Os estudos com resultados positivos são frequentemente publicados mais cedo do que aqueles com resultados desfavoráveis. Isto significa que os resultados de estudos realizados recentemente com resultados positivos muitas vezes já estão disponíveis, enquanto aqueles com resultados não significativos não estão.
• Viés de publicação múltipla: Os resultados de estudos "bem-sucedidos" são mais propensos a serem relatados em vários artigos de revistas, o que torna mais fácil encontrar pelo menos um deles. A prática de relatar os resultados do estudo em vários artigos também é conhecida como "fatiamento de salame".
• Viés linguístico: Na maioria das disciplinas, a língua principal em que as provas são publicadas é o inglês. Publicações em outros idiomas têm menos probabilidade de serem detetadas, especialmente quando os pesquisadores precisam de tradução para entender o conteúdo. A possibilidade de enviesamento existe quando os estudos em inglês diferem sistematicamente dos publicados noutras línguas.
• Viés de notificação de resultados: Muitos estudos e desenhos experimentais, em particular, medem mais de um resultado de interesse. Alguns cientistas aproveitam-se disso apenas divulgando os resultados que sustentam a sua hipótese e desconsiderando aqueles que não a confirmam. Isso também pode levar a um viés: tecnicamente falando, o estudo foi publicado, mas seu resultado (desfavorável) ainda estará ausente em nossa meta-análise porque não é relatado.

[1] A manipulação da análise dos dados até que produza resultados estatisticamente significativos, comprometendo a veracidade dos achados

É importante notar que, embora algum grau de viés seja quase inevitável em estudos, entender esses vieses e suas manifestações em desenhos de estudos é crucial para mitigar seu impacto nas conclusões de uma meta-análise. O viés de publicação pode distorcer meta-análises, amplificando efeitos que requerem identificação e correção. Para mitigar a influência do viés de publicação e reportagem, bem como práticas de pesquisa questionáveis (QRPs), várias técnicas podem ser empregadas em meta-análises. Estas abordagens englobam métodos de pesquisa de estudos, bem como métodos estatísticos.

1. Pesquisa de estudo: Se houver viés de publicação, esta etapa é importante porque significa que uma busca na literatura publicada pode produzir dados que são apenas parcialmente representativos de todas as evidências. Podemos contrariar esta situação procurando literatura cinzenta, incluindo dissertações, preprints, relatórios governamentais ou atas de conferências. Felizmente, o pré-registo também está a tornar-se mais comum em muitas disciplinas. Isso possibilita pesquisar registros de estudos com dados inéditos e perguntar aos autores se eles podem fornecer dados que não foram tornados públicos (ainda). A pesquisa de literatura cinzenta pode ser tediosa e frustrante, mas vale a pena. Um grande estudo descobriu que incluir literatura cinzenta e não publicada pode ajudar a evitar a superestimação dos verdadeiros efeitos.

Métodos estatísticos: Os procedimentos estatísticos também podem examinar a presença de publicação. É importante notar que nenhum desses métodos pode identificar diretamente o viés de publicação. No entanto, eles podem examinar propriedades específicas dos dados que podem servir como indicadores potenciais de sua presença. Alguns métodos também podem quantificar o verdadeiro efeito geral ao corrigir o viés de publicação

Os Gráfico de floresta , embora não tenham sido explicitamente projetados para identificar viés de publicação, são comumente usados em meta-análises para apresentar visualmente os tamanhos de efeitos individuais do estudo e os intervalos de confiança (AJE Equipa, 2023; Harrer et al., 2021)[1]. O papel das Gráfico de floresta na promoção da transparência e reprodutibilidade é significativo, pois permitem que os pesquisadores utilizem a disseminação e distribuição dos tamanhos dos efeitos para avaliar se há escassez de estudos menores com resultados nulos ou negativos, o que pode indicar potencial viés de publicação. Esta função-chave das Gráfico de floresta sublinha a sua importância na investigação. Os Gráfico de floresta são o método típico para exibir meta-análises. Eles apresentam visualmente o efeito observado, o intervalo de confiança e, tipicamente, o peso de cada estudo. Além disso, eles mostram o efeito combinado que calculamos em uma meta-análise. Isso permite que outros avaliem prontamente a precisão e o alcance dos estudos incluídos e a relação entre o efeito combinado e os tamanhos dos efeitos observados.

A Figura 4 fornece uma representação visual dos elementos primários de uma Forest plot. No lado esquerdo da parcela florestal, os testes de estudo individuais, bem como os valores gerais de heterogeneidade e tamanho do efeito, são apresentados em um formato visual de fácil utilização.

Uma representação visual no lado direito ilustra o tamanho do efeito de cada estudo, normalmente posicionado no centro do Figura. Esta representação gráfica ilustra a estimativa pontual do estudo do tamanho do efeito no eixo x, servindo como um indicador crucial do tamanho do efeito. A estimativa pontual é acompanhada por uma linha que representa o intervalo do intervalo de confiança calculado para o tamanho do efeito observado. Esta linha representa visualmente a incerteza associada à estimativa pontual. Lembre-se que a estimativa de pontos é tipicamente representada por um quadrado, com o tamanho do quadrado sendo determinado pelo peso do tamanho do efeito; Estudos com peso maior (7º, 8º e 9º) são representados por um quadrado maior, enquanto estudos com menor peso têm um quadrado menor. Uma parcela florestal convencional também deve incluir os dados de tamanho de efeito usados na meta-análise para permitir que outros repliquem nossos resultados.

Os Gráficos de floresta são comumente utilizadas em meta-análises para representar visualmente os tamanhos de efeitos individuais do estudo e os intervalos de confiança. Os pesquisadores podem identificar possíveis viés de publicação examinando a disseminação e distribuição dos tamanhos dos efeitos. Esses Figuras fornecem uma exibição gráfica dos efeitos observados, intervalos de confiança e o peso de cada estudo, oferecendo uma maneira rápida de avaliar a precisão e a disseminação dos estudos incluídos e como o efeito agrupado se relaciona com os tamanhos dos efeitos observados (Harrer et al., 2021). Além disso, os principais componentes de uma parcela florestal são ilustrados, fornecendo uma visão geral dos testes de estudo individuais e dos valores de tamanho do efeito. Além disso, a estimativa pontual de um estudo é visualizada juntamente com uma linha que representa o intervalo de confiança. O tamanho do quadrado em torno da estimativa pontual reflete o peso do tamanho do efeito. Também é convencional que um Gráfico de floresta contenha os dados de tamanho de efeito usados na meta-análise, permitindo que outros repliquem o resultado.

[1] Você pode visualizar os resultados da meta-análise no SPSS no Apêndice 1.

* You can view the meta-analysis results in SPSS in Appendix 1.

Os Gráficos de funil servem como uma ferramenta visual para avaliar o viés de publicação, com qualquer assimetria no Figura potencialmente indicando viés. Além disso, testes estatísticos como o teste de regressão de Egger ou o teste de Begg podem ser empregues para identificar viés de publicação.

A análise de sensibilidade envolve a realização da meta-análise sob diferentes pressupostos ou a exclusão de estudos específicos para determinar a robustez dos resultados. Por exemplo, os pesquisadores podem optar por excluir estudos de baixa qualidade ou aqueles com tamanhos de efeitos extremos para avaliar a consistência das conclusões gerais (Blackhall & Ker, 2007).

Os Gráficos de funil e o Teste de Egger são ferramentas poderosas na avaliação e abordagem de vieses em estimativas meta-analíticas. No entanto, é importante notar que o método trim-and-fill, embora útil, tem suas limitações. As análises de sensibilidade são cruciais para compreender e mitigar vieses, e os pesquisadores devem abordar esses métodos com cautela e consciência dos desafios potenciais (AJE Team, 2023).

O Figura de funil, técnica utilizada para avaliar a possibilidade de viés de publicação (Harbord et al., 2006), baseia-se na premissa de que estudos menores, apesar de seu tamanho, desempenham um papel significativo na deteção de viés de publicação. A probabilidade de viés de publicação afetar estudos menores é maior do que a de estudos mais extensos. Esta diferença detetável é atribuível à disparidade na suscetibilidade ao viés de publicação. Se um pesquisador concluir um grande ensaio randomizado, é provável que ele queira vê-lo publicado, mesmo que o resultado seja negativo por causa do esforço envolvido. No entanto, para experiências menores, o cenário pode variar. Se existe viés de publicação, é mais provável que seja devido a pequenos ensaios negativos não serem publicados. Isso ressalta a importância de estudos menores na deteção de viés de publicação, tornando o processo mais envolvente e interessante para os pesquisadores.

O Gráfico de funil, uma representação visual da dimensão do ensaio face à dimensão do efeito que apresentam, serve como uma ferramenta para avaliar o viés de publicação. À medida que o tamanho do ensaio aumenta, é provável que os ensaios convirjam em torno do verdadeiro tamanho do efeito subjacente. Seria de esperar uma dispersão uniforme dos ensaios em ambos os lados deste verdadeiro efeito subjacente (Fig. 6 - Figura A). Quando o viés de publicação ocorre, espera-se uma assimetria na dispersão de pequenos estudos, com mais estudos mostrando um resultado positivo do que aqueles mostrando um resultado negativo (Fig. 6 - Figura B).

A assimetria do gráfico pode ser avaliada visualmente, mas os seguintes métodos/testes são usados para quantificá-la.:

• Teste de Egger (Egger et al., 1997): Este teste envolve a análise de regressão ponderada das estimativas do tamanho do efeito em suas medidas de precisão (ou seja, erros padrão). O foco está na linha de interceção, indexada por b. Um interceto estatisticamente significativo (com p < 0,05) sugere viés de publicação.
• Teste de Begg de correlação de classificação: Estabelece se existe uma relação notável entre os rankings de tamanhos de efeitos padronizados e os rankings de suas variâncias.

Em conclusão, a meta-análise representa um método quantitativo potente que amalgama resultados de vários estudos para produzir conclusões mais resilientes. Os pesquisadores podem obter insights mais precisos e generalizáveis por meio da coleta sistemática de dados, estimativa do tamanho do efeito, seleção de modelos, avaliação de heterogeneidade e escrutínio de viés de publicação. Apesar de seus pontos fortes, planejamento e execução meticulosos são imprescindíveis na meta-análise para contornar vieses e interpretações equivocadas. Quando conduzido com rigor, fornece contribuições inestimáveis para a prática baseada em evidências e a formulação de políticas em diversos domínios científicos.

A familiaridade com o quadro metodológico da meta-análise é essencial para avaliar a sua validade na consecução dos objetivos de investigação.

Quais são as possíveis consequências do viés de publicação sobre a validade das meta-análises? O viés de publicação pode afetar significativamente a validade das meta-análises de várias maneiras:

• Influência nos resultados meta-analíticos: O viés de publicação pode suprimir estudos desfavoráveis, enviesando os resultados meta-analíticos para uma direção artificialmente favorável.
• Desafios de deteção: Vários testes estatísticos foram propostos para detetar viés de publicação. No entanto, eles geralmente fazem suposições diferentes e podem ter baixa potência em muitos casos, tornando difícil selecionar o teste ideal para meta-análises do mundo real.
• Baixas taxas de avaliação: Uma revisão de meta-análises em revistas de cirurgia plástica e psicologia revelou baixas taxas de avaliação adequada do viés de publicação, com apenas uma pequena percentagem tentando corrigir seu efeito.
• Impacto nas conclusões: Estudos têm demonstrado que o viés de publicação pode levar a efeitos superestimados e resultados falso-positivos, afetando a validade de conclusões meta-analíticas.
• Limitações do Método de Deteção: Testes orientados por valor P para viés de publicação podem subestimar sua presença, principalmente quando o número de estudos na meta-análise é pequeno.
• Em conclusão, o enviesamento da publicação pode ter consequências significativas na validade das meta-análises, incluindo resultados tendenciosos, conclusões impactantes e desafios para a deteção. As baixas taxas de avaliação adequada e as limitações dos métodos de deteção enfatizam ainda mais a necessidade de considerar cuidadosamente o viés de publicação na pesquisa meta-analítica.

Para aumentar a validade das meta-análises, Mathur (2024) propõe a utilização de certas estratégias para combater o enviesamento da publicação.

Em primeiro lugar, o Teste Híbrido de Viés de Publicação foi sugerido para detetar viés de publicação combinando diferentes métodos e aproveitando seus pontos fortes para alcançar alta sensibilidade consistente em diferentes tipos de viés de publicação.

Em segundo lugar, as análises de sensibilidade podem determinar o efeito de vieses internos e de publicação nos resultados meta-analíticos, avaliando o viés interno típico entre os estudos e o nível de viés de publicação.

Em terceiro lugar, os testes estatísticos objetivos são cruciais para avaliar o viés de publicação e garantir literatura de alta qualidade em vários campos, incluindo psicologia e cirurgia.

Em quarto lugar, Métodos de ajuste de última geração: meta-análises em educação devem empregar métodos avançados de ajuste, como modelos de seleção, para abordar o viés de publicação.

Essas estratégias são apoiadas por evidências de resumos acadêmicos, mostrando sua relevância e eficácia na redução do impacto do viés de publicação na validade de meta-análises. No entanto, é importante notar que nenhum método é consistentemente superior. A aplicação destas estratégias deve ser adaptada às características específicas dos dados meta-analíticos e à natureza do enviesamento da publicação.

Portanto, uma combinação dessas estratégias, personalizadas para o contexto da meta-análise, pode ajudar a mitigar os efeitos do viés de publicação e melhorar a validade dos resultados meta-analíticos.