Recolha de dados

Todos os coautores devem recolher dados para meta-análise; não pode ser subcontratada a assistentes de investigação. No futuro, a inteligência artificial (GPT 7?) será capaz de ajudar nesta tarefa demorada. No entanto, no momento, não há alternativa aos autores da meta-análise, que, como especialistas na área, são excepcionalmente qualificados para revisar meticulosamente cada estudo primário e construir metodicamente seu conjunto de dados manualmente, um ponto de dados de cada vez (Irsova et al., 2023).

Ao contrário dos autores da maioria dos estudos econométricos, os meta-analistas não pegam nos dados existentes, mas criam novas bases de dados. Exemplos de conjuntos de dados de meta-análise estão disponíveis em https://www.meta-analysis.cz/.

Pelo menos dois coautores devem recolher os dados de forma independente. Este processo rigoroso, embora demorado, é crucial para garantir a fiabilidade da meta-análise. Erros podem ser esperados ao codificar manualmente estudos (que muitas vezes consistem em dezenas de páginas em formato PDF) e ter dois especialistas coletando os dados permite fácil identificação e correção de erros. As dimensões dos efeitos recolhidos para a meta-análise devem ser comparáveis qualitativa e quantitativamente. Isto significa que não só o mesmo sinal estimado deve indicar um efeito na mesma direção, mas também deve ser significativo comparar os tamanhos reais dos efeitos em estudos primários.

Os tamanhos de efeitos quantitativamente comparáveis incluem coeficientes de correlação, razões ímpares, elasticidades, valores em dólares e diferenças médias padronizadas. Os coeficientes de regressão geralmente só são comparáveis quantitativamente com transformações posteriores, porque diferentes estudos primários podem usar diferentes unidades de medida ou formas funcionais das variáveis independentes e dependentes. Uma exceção é representada por regressões em que variáveis de ambos os lados são usadas em logaritmos e, portanto, a regressão produz elasticidades estimadas.

A recolha de todas as estimativas reportadas nos estudos primários é imperativa. Esta abordagem é recomendada para: cinco Razões (Irsova et al., 2023):

1. Ele fornece uma visão abrangente, garantindo que nenhuma informação seja descartada e eliminando a necessidade de julgamento subjetivo. Esta abordagem abrangente à recolha de dados dá aos investigadores confiança no rigor da sua análise. Você sempre pode apresentar uma meta-análise da subamostra correspondente do conjunto de dados para dar maior peso às estimativas preferidas pelos autores.
2. Uma análise exclusiva como esta pode confirmar a força dos resultados ou estabelecer um ponto de partida. No entanto, mesmo neste último cenário, não se justifica ignorar outras estimativas.
3. Ao realizar pesquisas originais, é comum realizar verificações extras para garantir a precisão dos resultados. Ocasionalmente, os próprios pesquisadores consideram essas descobertas menos confiáveis. Ao incorporar todos os achados, é possível avaliar se os resultados "inferiores" diferem consistentemente daqueles preferidos pelos autores.
4. Ao conduzir uma meta-análise de boas práticas, ainda é apropriado dar maior peso aos resultados preferidos dos autores. Por vezes, é difícil determinar objectivamente quais os resultados que favorecem o autor. No entanto, coletar e analisar todos os resultados pode capacitar os pesquisadores a tomar decisões informadas sem a necessidade de julgamentos subjetivos.

Examinar quaisquer valores atípicos e pontos influentes em seus dados é importante. Um método para fazer isso é criar um Figura de funil, um Figura de dispersão de tamanhos de efeitos e sua precisão. Suponha que você observe pontos de dados que se desviam significativamente da forma do funil principal ou levantem preocupações no DFBETA (um método para medir a influência de pontos de dados individuais na análise de regressão)[1]. Nesse caso, é aconselhável rever os estudos primários associados a esses pontos de dados. Esta revisão ajudará a garantir que não haja erros nos dados ou nos estudos primários, podendo também revelar nuances na forma como os estudos foram conduzidos, tornando os seus resultados incomparáveis com o resto da literatura de investigação. Se ainda houver incertezas, entrar em contato com os autores dos estudos primários pode fornecer clareza. É crucial abordar quaisquer pontos influentes ou de alavancagem identificados pelo DFBETA, pois eles podem afetar fortemente os resultados da sua meta-análise. Tal pode implicar a correção ou exclusão destes pontos como último recurso. Além disso, não é apenas recomendado, é essencial que as verificações de robustez sejam relatadas para mostrar o impacto da remoção de outliers ou do emprego de winsorization (substitua observações acima e abaixo de um determinado centil pelo valor desse percentil) nos dados (Zigraiova et al., 2020). Em última análise, seus resultados devem ser impulsionados por descobertas de pesquisa confiáveis e influentes e, se este for o caso, a proeminência dessas descobertas deve ser justificada em detalhes.

Por fim, certifique-se de que, além dos tamanhos de efeitos e erros padrão, você também reúna informações sobre diferenças significativas no contexto em que os tamanhos de efeitos estimados foram obtidos. A maioria das meta-análises deve reunir pelo menos dez variáveis (muitas vezes variáveis binárias fictícias que tomam o valor 0 ou 1) refletindo diferenças nos dados, métodos e características de publicação. Dependendo do tamanho e complexidade do banco de dados, mais variáveis podem ser necessárias, mas é aconselhável manter o número abaixo de 30 para simplificar. Por exemplo, considere se o experimento do estudo primário se concentra em uma amostra representativa da população ou apenas em um grupo específico, o país onde foi conduzido, se um placebo ou um tratamento alternativo foi atribuído ao grupo de controle, data de publicação, fator de impacto do veículo e o número de citações anuais recebidas.

Antes de coletar dados, prepare uma lista de variáveis para codificar cuidadosamente. Esta pode ser a parte mais desafiadora e criativa de uma meta-análise. O número de variáveis potenciais é quase ilimitado, por isso selecionar as mais importantes é essencial com base em discussões na literatura e na sua experiência. Um modelo de linguagem abrangente pode ajudar a identificar algumas das dimensões em que os estudos primários variam. No entanto, é crucial lembrar que a dupla verificação é vital, pois a inteligência artificial às vezes pode fornecer resultados enganosos. Esse cuidado e atenção aos detalhes garantirão a precisão de sua meta-análise.

Considere incluir informações adicionais que complementem o que você coleta de estudos primários. Esta abordagem abrangente, que vai além dos estudos primários, pode proporcionar uma compreensão mais aprofundada do contexto de investigação. Por exemplo, se os estudos primários foram realizados em vários países, incluindo as características do país (ou região) podem ser valiosas como variáveis adicionais. Os resultados dos experimentos podem ser influenciados por fatores como temperatura, umidade ou desenvolvimento financeiro do país, que podem ser impossíveis de analisar apenas por estudos primários individuais. Ao considerar e incluir essas informações adicionais, sua meta-análise pode ser mais abrangente e perspicaz (Irsova et al., 2023).

[1] Visualizar https://blogs.sas.com/content/iml/2019/06/17/influence-regression-dfbeta.html

* Examples of meta-analysis datasets are available at https://www.meta-analysis.cz/.

** See https://blogs.sas.com/content/iml/2019/06/17/influence-regression-dfbeta.html