Parte II. Métodos de Condução de uma Meta-Análise

Globalmente, uma meta-análise começa pela formulação das questões de investigação. As questões de investigação devem ser testadas com base nos estudos publicados. Os estudos publicados precisam de informações suficientes para calcular os tamanhos dos efeitos, o que é essencial para uma meta-análise. Critérios abrangentes de inclusão e exclusão são estabelecidos para determinar quais estudos se qualificam para inclusão na meta-análise. Os dados podem ser submetidos a análise estatística uma vez reunidos os tamanhos dos efeitos e as características do estudo. A etapa subsequente envolve a interpretação dos resultados e a preparação de relatórios para compartilhar os resultados (Cheung, 2015).

A realização de uma meta-análise envolve critérios de elegibilidade predefinidos, variáveis de exposição, resultados primários e secundários de interesse e um plano de análise. Indicações e metodologias adequadas, minimizando o risco de viés e evitando conclusões enganosas são importantes. A meta-análise é reconhecida como a abordagem ideal para avaliar e estudar objetivamente as evidências referentes a uma questão específica, fornecendo um alto nível de evidência e contribuindo para o avanço do conhecimento.

Sen e Yildirim (2022) Organize o processo obrigatório de uma meta-análise nas seguintes etapas:

• Formulação da Pergunta de Investigação e da Equipa: O processo começa com a formulação de uma pergunta de investigação direta e a constituição de uma equipa de investigação.
• Conceber e Executar uma Estratégia de Pesquisa: Uma estratégia de pesquisa sistemática é crucial para encontrar todas as provas disponíveis a partir de fontes publicadas e não publicadas.
• Triagem e extração de dados: Deve ser tomada uma decisão sobre a seleção de estudos apropriados a partir dos estudos coletados. Estudos relevantes são rastreados e os dados são extraídos desses estudos.
• Avaliação e Análise Críticas: Devem ser realizadas análises de sensibilidade/controlo de qualidade. Cada estudo deve ser avaliado criticamente quanto a potenciais enviesamentos, e as evidências devem ser avaliadas e analisadas.
• A dimensão do efeito para os estudos escolhidos deve ser determinada e calculada separadamente para cada estudo.
• Os dados precisam ser agrupados e é importante calcular uma estatística resumida, bem como um intervalo de confiança.
• Análises adicionais (heterogeneidade, viés de publicação) devem ser feitas.
• Devem ser realizadas análises do moderador para as variáveis moderadoras.
• Interpretar os resultados e tirar conclusões (inferências) com base neles.
• Elaboração de relatórios e divulgação de resultados: As etapas mencionadas acima devem ser relatadas juntamente com os resultados da meta-análise.

A Figura 3 mostra a fase inicial do desenvolvimento de uma pergunta e da busca metódica de estudos relevantes na literatura primária (Parte I), bem como a fase em que você coleta dados de publicações, realiza análises estatísticas e apresenta e explica suas descobertas (Parte II).

Os métodos de meta-análise avançaram notavelmente nos últimos anos (Irsova et al., 2023). Realizar uma meta-análise não é conceitualmente diferente de um estudo empírico, porque às vezes problemas estatísticos atrapalham você. No entanto, os pesquisadores geralmente projetam um estudo com suas habilidades estatísticas em mente ou seguem um design estabelecido que lhes permite replicar uma abordagem analítica padrão. A diferença entre um bom e um mau estudo empírico muitas vezes se resume a saber se uma pergunta interessante está sendo feita e a qualidade e quantidade dos dados coletados usando uma técnica de amostragem imparcial. Os mesmos princípios aplicam-se à meta-análise, onde técnicas recentemente desenvolvidas permitem conclusões sólidas, mesmo quando confrontadas com desafios na literatura empírica subjacente (Irsova et al., 2023).

Apesar da aparência linear do esboço do processo (Fig. 2), muitas vezes há incerteza levando a que certas etapas sejam repetidas. Durante a Parte I, o pesquisador pode achar necessário iterar através de vários ciclos de pesquisas de escopo, ajustando as perguntas do estudo e modificando o protocolo e os critérios de pesquisa até ter certeza de que uma pesquisa abrangente produzirá os resultados desejados. Uma breve descrição do que cada etapa envolve cada etapa do processo.

Ao desenvolver uma pergunta de pesquisa para uma revisão sistemática ou meta-análise, é importante garantir que ela seja viável, interessante, nova, ética e relevante. Para examinar uma hipótese teórica, é preciso ter estudos que usam experimentos para testar a causalidade (Tawfik et al., 2019). É crucial distinguir entre os estudos que relatam uma relação observada e aqueles que identificam relações através da manipulação experimental. Combine dados observacionais e experimentais para testar uma relação consistente entre variáveis. Considere o escopo da generalização e o tamanho do conjunto de dados que você pode manipular. Concentrar-se em perguntas dentro da sua área de especialização é útil para uma pesquisa mais acessível. As principais perguntas normalmente giram em torno do efeito médio, diferenças da expectativa nula e explicação da variação do resultado entre diferentes estudos. Os estudos de grupo baseiam-se na população estudada, na metodologia utilizada, na forma como o resultado é medido e na linha de base de comparação. No entanto, muitos moderadores devem ser evitados, pois isso pode levar a um baixo poder estatístico. Por último, é crucial estar atento aos moderadores confusos e decidir como abordá-los nas suas análises. Esta não é apenas uma sugestão, mas uma responsabilidade que vem com a realização de pesquisas. Ser diligente neste aspeto garante a precisão e validade de sua pesquisa results.in suas análises, pois isso garante a precisão e validade de seus resultados de pesquisa (Koricheva et al., 2013).

Depois de formular suas perguntas, você precisa escrever um protocolo que irá (1) especificar formalmente as perguntas que você pretende fazer, (2) especificar uma estratégia de busca objetiva e (3) estabelecer critérios de inclusão no estudo (Davis et al., 2021; Gurevitch et al., 2018; Koricheva et al., 2013).

Especificar as perguntas que você pretende fazer incluirá ser específico sobre potenciais fontes de heterogeneidade em tamanhos de efeito (Côté & Jennions, 2013).

Especificar uma estratégia de pesquisa objetiva implica não enviesar a coleta de dados para artigos relevantes com os quais você já está familiarizado; Caso contrário, isso pode afetar o resultado, pois muitas vezes é mais fácil lembrar artigos com resultados significativos. Trata-se, em primeiro lugar, de fazer uma lista das bases de dados eletrónicas que irá pesquisar e dos termos de pesquisa que irá utilizar. Secundariamente, uma estratégia de busca objetiva envolverá uma decisão sobre quanto esforço despender pesquisando a "literatura cinzenta". Por exemplo, escreverá aos colegas solicitando dados não publicados e, em caso afirmativo, quem e porquê?

Depois de realizar uma pesquisa e compilar uma lista de possíveis artigos, você deve estabelecer critérios de inclusão no estudo. Estes critérios são muitas vezes bastante óbvios e incluem o seguinte:

1. O estudo enquadra-se no âmbito das suas perguntas?
2. A metodologia coaduna-se com a forma como a sua pergunta é definida?
3. Em caso afirmativo, foi de magnitude ou duração suficientes?
4. O estudo contém dados extraíveis, ou seja, há informações suficientes para extrair o tamanho do efeito, sua variância e o tamanho da amostra utilizada?
5. Por vezes, os seus critérios de inclusão terão de considerar a qualidade do estudo. Isto é muito mais difícil de avaliar do que os critérios que enumerámos acima, mas pode ser igualmente importante.

Vale a pena notar, no entanto, que, como na pesquisa primária, seu protocolo para pesquisar literatura e extrair tamanhos de efeitos quase certamente será modificado à medida que você prossegue. A realidade é, portanto, que, em muitos aspetos, o seu protocolo final acabará por descrever o que fez e não o que idealmente queria fazer. Primeiro, deve dizer ao leitor como recolheu os seus dados. Assim, assim como na pesquisa primária, você fornece ao leitor informações suficientes sobre coleta e análise de dados para permitir que sua revisão seja repetida e atualizada no futuro. Em segundo lugar, você deve ter um protocolo que o force a avaliar continuamente se sua amostragem é tendenciosa. Um protocolo aumenta a objetividade com que você compila dados, mas não deve cego-lo para a realidade de que o processo de meta-análise envolve inúmeras decisões subjetivas; Estes são mais evidentes quando se tenta decifrar os resultados de um determinado artigo e se decide se pode extrair os dados necessários para a sua síntese (Côté & Jennions, 2013). Se mais de uma pessoa estiver coletando os dados, um protocolo bem descrito e testado é muito importante para garantir a uniformidade na extração de dados e decisões de codificação sobre moderadores.

Às vezes, se você estiver confiante de que a maioria dos estudos será confinada a algumas fontes-chave, você pode pesquisar apenas um conjunto limitado de revistas. Foi assim que quase todas as sínteses de pesquisa foram feitas antes das bases de dados online. Ninguém mais usa essa abordagem por causa da explosão de acessibilidade de dados (pelo menos para aqueles com acesso a revistas científicas). No entanto, se deve mergulhar em fontes inéditas ou "cinzentas" continua a ser importante (Gurevitch et al., 2018; Koricheva et al., 2013).

Lembre-se de que, durante uma pesquisa de escopo, tente encontrar apenas alguns estudos ou obter uma estimativa preliminar do efeito médio. Os principais objetivos são os seguintes:

1. Considere estimar a quantidade de dados disponíveis para ajudá-lo a tomar decisões informadas sobre se deve expandir ou concentrar suas perguntas de estudo. Isso pode realmente fazer a diferença em sua pesquisa.
2. Descubra quais fatores variam entre os estudos que você pode codificar como potenciais moderadores.
3. Decidir quais critérios marcam um estudo como irrelevante (por exemplo, se sua pesquisa identificar 2000 artigos para ler na íntegra, você terá que tomar algumas decisões de exclusão com base no título, resumo e local de publicação);
4. Determine quais os critérios que cada estudo potencialmente relevante deve cumprir antes de tentar extrair um tamanho de efeito.
5. Estabeleça o formato do seu formulário/folha de cálculo de extração de dados e
6. Decidir sobre as medidas de resultado mais adequadas (tamanhos de efeito).

Esta última decisão dependerá frequentemente de os dados serem reportados como uma relação entre duas variáveis contínuas, caso em que o tamanho do efeito r é a escolha mais popular em ecologia e evolução. Alternativamente, a decisão pode envolver a comparação de dois grupos, caso em que há um leque de opções dependendo se a variável de resposta é discreta ou contínua. Às vezes, é mais simples realizar meta-análises separadas, dividindo os estudos com base no tamanho de efeito mais apropriado.

A realização de uma pesquisa inicial é uma etapa crucial que valida o conceito proposto, evita a duplicação de tópicos previamente discutidos e confirma um número adequado de artigos para análise. Este processo não é apenas uma formalidade, mas uma contribuição significativa para o campo (Tawfik et al., 2019).

Estabelecido o protocolo e o escopo, o próximo passo é uma pesquisa meticulosa e completa. Irá gerar inúmeros estudos, mas muitos serão descartados como irrelevantes usando critérios baseados no título, resumo ou local de publicação do estudo. Os restantes estudos «potencialmente relevantes» devem ser lidos mais atentamente e divididos em relevantes e irrelevantes. Este processo pode levar a uma redução significativa no número de artigos em cada etapa. Esteja preparado para um grande número (muitas vezes a maioria) de estudos que você inicialmente identifica como relevantes para serem inadequados para a meta-análise. A etapa final é extrair as informações necessárias (tamanhos de efeitos e moderadores) de artigos relevantes. Uma planilha de dados finalizada é crucial, garantindo que todas as informações que você deseja extrair sejam incluídas.

Entender o compromisso entre construir uma pilha de papéis relevantes e retornar a eles para extrair o tamanho do efeito depois de ter uma planilha de dados finalizada versus extrair dados de um papel enquanto você lê é essencial. A vantagem do primeiro é que você pode ter mais certeza de que sua planilha contém todas as informações que você deseja extrair. A vantagem deste último é que você pode ler um artigo em profundidade uma vez.

Entender exatamente como um estudo foi projetado e quais dados relevantes são necessários para extrair um tamanho de efeito pode ser surpreendentemente complexo. Uma boa tomada de notas é essencial neste processo e, muitas vezes, não é mais fácil numa segunda leitura. Se estiver confiante de que tem uma boa compreensão das principais características dos estudos relevantes, pode considerar a criação de uma base de dados e a extração de dados assim que classificar um artigo como relevante. A ressalva, é claro, é que você ainda pode ter que retornar a esses artigos se descobrir mais tarde que precisa codificar um termo moderador adicional ou ajustar seus critérios de inclusão no estudo. A extração de informações sobre a leitura inicial é mais viável quando se trata de estudos que seguem de perto um desenho experimental específico e comum.

Papakostidis e Giannoudis (2023) chamam a atenção para o facto de, apesar da última tendência para a melhoria da qualidade nos últimos anos, terem sido encontradas deficiências metodológicas nas meta-análises atualmente publicadas. As revisões sistemáticas e meta-análises devem obedecer a regras rigorosas e transparentes, tais como as orientações PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) (ver Fig. 4), garantindo a reprodutibilidade e robustez do processo de pesquisa, a fiabilidade e validade das suas conclusões e a clareza dos relatórios. Estas diretrizes descrevem as etapas básicas para garantir que todos os requisitos mencionados acima sejam atendidos, incluindo o relatório transparente da estratégia de pesquisa, o processo de seleção do estudo, a extração de dados e a síntese de dados:

1. Um protocolo de estudo prospetivo é a pedra angular de uma revisão sistemática e meta-análise. O seu papel na redução de enviesamentos e na garantia da transparência não pode ser sobrestimado. Este documento bem estruturado e sucinto deve descrever adequadamente todas as etapas do processo de investigação, incluindo potenciais alterações na metodologia de revisão sistemática. Ao fazê-lo, justifica estas alterações e evita a introdução de enviesamentos na seleção dos dados para a revisão.
2. O processo de pesquisa não é apenas uma etapa, mas a espinha dorsal de uma revisão sistemática e meta-análise. A sua robustez e reprodutibilidade garante a inclusão de todos os dados relevantes de estudos elegíveis. Isto envolve a pesquisa de várias bases de dados electrónicas e listas de referência, sendo essenciais bases de dados como PubMed, EMBASE ou SCOPUS. Bases de dados adicionais como Cochrane, Web of Science e ProQuest também devem ser consideradas. Também vale a pena identificar literatura cinzenta potencialmente relevante pesquisando resumos de anais de conferências. No entanto, estratégias de pesquisa inadequadas e restrições linguísticas podem limitar o número de estudos elegíveis, introduzindo uma quantidade significativa de viés de publicação. Esse viés é possível até mesmo com a estratégia de busca mais abrangente, pois espera-se a não publicação de estudos inteiros ou de todos os resultados de um estudo.
3. Validade interna dos estudos primários: O termo "validade interna" refere-se à capacidade de um estudo estabelecer uma relação fiável de causa-efeito entre um tratamento e um resultado, limitando vários fatores de confusão. Trata-se de um aspeto crucial intimamente ligado ao risco de enviesamento e à qualidade metodológica dos estudos incluídos. Várias ferramentas têm sido desenvolvidas para avaliar o risco de viés em estudos primários, tanto para ECRs (ensaios clínicos randomizados e controlados) quanto para estudos observacionais.
4. A última edição da ferramenta Cochrane Collaboration Risk-of-Bias (RoB-2) [1] fornece uma estrutura para avaliar o risco de viés nos resultados de ECRs. Está estruturado em cinco domínios de potencial introdução de enviesamentos nos resultados do estudo: (1) processo de aleatorização; (2) desvios das intervenções previstas; (3) dados de resultados em falta; (4) medição do resultado; (5) seleção dos resultados reportados (Sterne et al., 2019). Dentro de cada domínio de enviesamento, as perguntas de sinalização específicas visam obter informações relevantes para a avaliação do risco de enviesamento[2]. A ferramenta inclui algoritmos que mapeiam as respostas a essas perguntas de sinalização em uma proposta de julgamento de risco de viés para cada domínio. Os possíveis julgamentos de risco de viés são (1) Baixo risco de viés, (2) Algumas preocupações e (3) Alto risco de viés. A ferramenta é descrita como um visor de "semáforos". A ferramenta Risk of Bias in Non-randomized Studies of Interventions (ROBINS-I) descreve sete domínios de potencial ocorrência de enviesamentos (ver Tabela 3): dois na fase "pré-intervenção", um na fase "na intervenção" e quatro na fase "pós-intervenção".
5. Análise de dados e relatórios: Embora a combinação de dados de estudos individuais aumente o tamanho da amostra e o poder estatístico, é crucial explorar a presença de heterogeneidade estatística. Esta inconsistência no efeito do tratamento nos estudos incluídos pode induzir em erro e reduzir a confiança nas conclusões. A quantificação da heterogeneidade estatística é geralmente baseada em testes estatísticos específicos (Higgins-I, teste Q de Cochran). Os autores de meta-análises devem explorar a presença de heterogeneidade estatística, desenhando e realizando adequadamente análises de subgrupos e sensibilidade com base em hipóteses a priori no início do protocolo do estudo. Tais hipóteses envolvem a exploração dos resultados da análise agrupada em subconjuntos de dados potencialmente mais homogêneos (subgrupos) com base, por exemplo, nas características clínicas das amostras, questões metodológicas, desenho do estudo e origem geográfica dos estudos. Dois modelos estatísticos diferentes são usados para produzir estimativas de efeitos combinados. A seleção do modelo estatístico adequado para o agrupamento de dados depende da presença de heterogeneidade entre os estudos. No entanto, não foram definidos valores de corte claros do grau de heterogeneidade que ditaria a seleção de um modelo em detrimento do outro. Por outro lado, os testes estatísticos para heterogeneidade são muitas vezes insuficientes para detetar heterogeneidade significativa:
6. O modelo de efeitos fixos assume um único tamanho de efeito real em todos os estudos, representado pela estimativa de efeito agrupado. Este modelo é normalmente usado quando não há heterogeneidade em uma meta-análise e quando há muitos estudos com grandes tamanhos amostrais. Nesses casos, há confiança de que o teste de heterogeneidade é poderoso o suficiente para detetar diferenças significativas. Os resultados obtidos com este modelo tendem a ter intervalos de confiança mais estreitos. Se houver preocupações com a heterogeneidade, o modelo de efeitos aleatórios (DerSimonian & Kacker, 2007) é considerada uma escolha melhor. Produz intervalos de confiança mais amplos em torno das estimativas pontuais e é uma opção mais cautelosa para a análise. No campo médico, onde se espera que o efeito real varie entre diferentes populações, usar o modelo de efeitos aleatórios com mais frequência é mais apropriado. A utilização do modelo de efeitos fixos é razoável em meta-análises que incluam um número suficientemente grande de estudos com amostras adequadas e em que a heterogeneidade estatística ainda não tenha sido detetada. Finalmente, a qualidade da evidência resumida obtida a partir de uma meta-análise deve ser avaliada usando a estrutura transparente da ferramenta GRADE, AMSTAR ou PRISMA (ver Fig. 4). Eles avaliam a confiança na estimativa de efeito para cada resultado de interesse. A sua não utilização em meta-análises pode resultar numa falta de transparência e conduzir potencialmente a conclusões enganosas.
7. O modelo de efeitos aleatórios assume que a estimativa do efeito real difere entre os estudos originais devido a diferenças em suas características clínicas. Portanto, a estimativa do tamanho do efeito combinado gerada com base neste modelo representa uma estimativa média de todas as estimativas dos estudos individuais.
8. Análise dos resultados de uma meta-análise. É essencial analisar os resultados de uma meta-análise, considerando o seu significado. Uma variância estatisticamente significativa não é significativa se não tiver relevância. Além disso, qualquer diferença pode alcançar significância estatística com um tamanho amostral suficientemente grande. Inversamente, quando é calculada uma estimativa de efeitos globais não significativa, é essencial avaliar cuidadosamente se o que é considerado relevante se enquadra no intervalo de confiança dessa estimativa.
9. A validação dos resultados é um passo significativo. Centros de evidência como o CEBM da Universidade de Oxford, uma instituição de renome na área, desenvolvem importantes ferramentas de avaliação. Eles são fundamentais para estabelecer a confiabilidade, o significado científico e a aplicabilidade das evidências coletadas a partir de uma meta-análise. Com cinco questões-chave, o CEBM é um método confiável para determinar a validade dos resultados do estudo.

[1] https://methods.cochrane.org/bias/resources/rob-2-revised-cochrane-risk-bias-tool-randomized-trials

[2] Ver quadro 1, em https://www.bmj.com/content/366/bmj.l4898.long

Higgins et al. (2023) consideram quatro pontos-chave a este respeito:

1. Como autores da revisão, os pesquisadores provavelmente encontrarão vários tipos de dados de resultados em seu trabalho. Estes incluem dados dicotômicos, contínuos, ordinais, de contagem ou taxa e de tempo até o evento. Ao familiarizar-se com estes tipos, pode melhorar a sua compreensão do processo de investigação e sentir-se mais capacitado.
2. Ao comparar dados de resultados entre dois grupos de intervenção ("medidas de efeito"), existem muitos métodos para cada tipo de dados. As comparações de resultados binários podem utilizar uma razão de risco, uma razão de probabilidades, uma diferença de risco ou um número necessário para tratar. Os resultados contínuos, por outro lado, podem ser comparados usando uma diferença média ou uma diferença média padronizada. Esta diversidade de métodos enriquece a compreensão do processo de investigação por parte dos investigadores.
3. As medidas de efeito vêm em dois tipos: medidas de razão (razão de risco e razão de chances) ou medidas de diferença (como diferença média e diferença de risco). As medidas de razão são geralmente analisadas usando uma escala logarítmica.
4. As informações obtidas a partir de relatórios de pesquisa podem exigir a conversão em um formato consistente ou utilizável para análise.

É desafiador afirmar o número de estudos necessários para uma meta-análise. Os fatores que afetam a decisão podem envolver contexto específico da disciplina, modelos de efeitos fixos ou aleatórios usados na análise, valores populacionais de tamanhos de efeito e outras considerações (Cheung & Vijayakumar, 2016). Projetar um banco de dados é uma arte, um bem projetado pode incutir um senso de preparação e confiança em você.

As regras básicas são as mesmas de um estudo empírico; Deve certificar-se de que a ficha técnica contém todas as informações de que necessita e está definida de forma lógica para que seja fácil de preencher e difícil de introduzir dados no local errado. Use os documentos mais extensos e complicados que você tem para testar sua folha de dados. Se ele pode lidar com eles, você está em um bom começo.

A principal diferença entre um estudo empírico e uma meta-análise é que você deve registrar quais assuntos você coletou e não coletou dados. Em suma, mantenha uma biblioteca bibliográfica de estudos e explique por que alguns foram excluídos (por exemplo, irrelevantes, faltando informações críticas necessárias para satisfazer os critérios de inclusão, não sendo possível extrair uma estimativa de tamanho de efeito e variância).

Um protocolo adequado torna relativamente fácil codificar informações para moderadores de estudo. Ele fornece uma abordagem estruturada que simplifica o processo, tornando-o mais gerenciável. Em contraste, extrair tamanhos de efeitos está entre as partes mais desafiadoras da meta-análise. Pode levar a dúvidas pessoais, especialmente durante a sua primeira meta-análise. Para extrair tamanhos de efeitos, muitas vezes você deve tomar decisões subjetivas. Este processo requer consideração cuidadosa e rigor para garantir a precisão da sua análise.

Finalmente, ter um protocolo em vigor para lidar com estudos que relatam tamanhos de efeitos múltiplos. Especificamente, se os efeitos do tratamento, que são as mudanças no resultado de interesse devido ao tratamento, forem medidos repetidamente ao longo do tempo, uma abordagem estruturada irá ajudá-lo a determinar quais comparações você usará, fornecendo um senso de orientação e controle.

Na realização de meta-análises, é imperativo possuir uma compreensão abrangente do assunto. Isto pode implicar o envolvimento em investigação primária, a autoria de uma revisão narrativa exaustiva da literatura ou a demonstração de uma vasta experiência pedagógica. Caso surja a necessidade de um coautor do subcampo, é essencial contratar um colaborador com experiência semelhante. Se existe uma meta-análise sobre o tema, cabe ao investigador fundamentar o valor acrescentado da sua meta-análise. Isso pode depender de fatores como a ausência de acomodação para viés de publicação ou heterogeneidade na meta-análise original. A mera proliferação de novos estudos primários não é suficiente como justificação (Irsova et al., 2023).

Além disso, é imperativo apresentar um avanço metodológico substancial em relação à meta-análise original. As atualizações superficiais devem ser deixadas como exercícios pedagógicos ou sob a alçada da inteligência artificial. Não obstante, podem justificar-se exceções a estas diretrizes quando avanços significativos nas abordagens e metodologias de investigação tiverem posto em causa a robustez de resultados meta-analíticos anteriores. Além disso, mudanças estruturais dentro das sociedades podem ter tornado os tamanhos de efeitos anteriores não representativos.

Com base no seu conhecimento do tópico, monte uma lista de cinco estudos primários que você deve incluir na meta-análise. Pode recorrer a um modelo linguístico de grande dimensão para garantir que selecionou os cinco estudos mais importantes. Mas tenha cuidado ao confiar demasiado na inteligência artificial, uma vez que os modelos atuais muitas vezes fornecem resultados factualmente incorretos; Verifique sempre e dê prioridade aos seus conhecimentos. Em seguida, crie sua consulta de pesquisa principal usando o Google Acadêmico. Nós preferimos o Google Acadêmico a outras bases de dados porque ele inclui todos os artigos que apareceram on-line e permite que você percorra o texto completo dos artigos, não apenas o título, resumo e palavras-chave. Esta flexibilidade no design da consulta de pesquisa permite-lhe adaptar a sua pesquisa às suas necessidades específicas. O uso de uma única consulta principal para um banco de dados universal torna mais fácil para outros pesquisadores replicarem sua meta-análise. Lembre-se de que os algoritmos do Google Acadêmico estão sujeitos a alterações, portanto, dependendo do seu tópico, pode ser benéfico usar um banco de dados adicional para fortalecer sua abordagem. Use diferentes combinações das palavras-chave empregadas em estudos primários. Você saberá que sua consulta está razoavelmente bem preparada se os cinco estudos primários mais críticos identificados acima estiverem entre os primeiros acertos. Passe vários dias ajustando a consulta (melhorando a porcentagem de estudos primários altamente relevantes retornados entre os primeiros 50 acertos) e preste atenção à sintaxe de pesquisa correta.

A fig. 4 descreve o padrão PRISMA que você pode usar para orientar sua pesquisa e seleção, bem como relatar seus resultados (Haddaway et al., 2022; Kaufmann & Reips, 2024).

Todos os coautores devem recolher dados para meta-análise; não pode ser subcontratada a assistentes de investigação. No futuro, a inteligência artificial (GPT 7?) será capaz de ajudar nesta tarefa demorada. No entanto, no momento, não há alternativa aos autores da meta-análise, que, como especialistas na área, são excepcionalmente qualificados para revisar meticulosamente cada estudo primário e construir metodicamente seu conjunto de dados manualmente, um ponto de dados de cada vez (Irsova et al., 2023).

Ao contrário dos autores da maioria dos estudos econométricos, os meta-analistas não pegam nos dados existentes, mas criam novas bases de dados. Exemplos de conjuntos de dados de meta-análise estão disponíveis em https://www.meta-analysis.cz/.

Pelo menos dois coautores devem recolher os dados de forma independente. Este processo rigoroso, embora demorado, é crucial para garantir a fiabilidade da meta-análise. Erros podem ser esperados ao codificar manualmente estudos (que muitas vezes consistem em dezenas de páginas em formato PDF) e ter dois especialistas coletando os dados permite fácil identificação e correção de erros. As dimensões dos efeitos recolhidos para a meta-análise devem ser comparáveis qualitativa e quantitativamente. Isto significa que não só o mesmo sinal estimado deve indicar um efeito na mesma direção, mas também deve ser significativo comparar os tamanhos reais dos efeitos em estudos primários.

Os tamanhos de efeitos quantitativamente comparáveis incluem coeficientes de correlação, razões ímpares, elasticidades, valores em dólares e diferenças médias padronizadas. Os coeficientes de regressão geralmente só são comparáveis quantitativamente com transformações posteriores, porque diferentes estudos primários podem usar diferentes unidades de medida ou formas funcionais das variáveis independentes e dependentes. Uma exceção é representada por regressões em que variáveis de ambos os lados são usadas em logaritmos e, portanto, a regressão produz elasticidades estimadas.

A recolha de todas as estimativas reportadas nos estudos primários é imperativa. Esta abordagem é recomendada para: cinco Razões (Irsova et al., 2023):

1. Ele fornece uma visão abrangente, garantindo que nenhuma informação seja descartada e eliminando a necessidade de julgamento subjetivo. Esta abordagem abrangente à recolha de dados dá aos investigadores confiança no rigor da sua análise. Você sempre pode apresentar uma meta-análise da subamostra correspondente do conjunto de dados para dar maior peso às estimativas preferidas pelos autores.
2. Uma análise exclusiva como esta pode confirmar a força dos resultados ou estabelecer um ponto de partida. No entanto, mesmo neste último cenário, não se justifica ignorar outras estimativas.
3. Ao realizar pesquisas originais, é comum realizar verificações extras para garantir a precisão dos resultados. Ocasionalmente, os próprios pesquisadores consideram essas descobertas menos confiáveis. Ao incorporar todos os achados, é possível avaliar se os resultados "inferiores" diferem consistentemente daqueles preferidos pelos autores.
4. Ao conduzir uma meta-análise de boas práticas, ainda é apropriado dar maior peso aos resultados preferidos dos autores. Por vezes, é difícil determinar objectivamente quais os resultados que favorecem o autor. No entanto, coletar e analisar todos os resultados pode capacitar os pesquisadores a tomar decisões informadas sem a necessidade de julgamentos subjetivos.

Examinar quaisquer valores atípicos e pontos influentes em seus dados é importante. Um método para fazer isso é criar um Figura de funil, um Figura de dispersão de tamanhos de efeitos e sua precisão. Suponha que você observe pontos de dados que se desviam significativamente da forma do funil principal ou levantem preocupações no DFBETA (um método para medir a influência de pontos de dados individuais na análise de regressão)[1]. Nesse caso, é aconselhável rever os estudos primários associados a esses pontos de dados. Esta revisão ajudará a garantir que não haja erros nos dados ou nos estudos primários, podendo também revelar nuances na forma como os estudos foram conduzidos, tornando os seus resultados incomparáveis com o resto da literatura de investigação. Se ainda houver incertezas, entrar em contato com os autores dos estudos primários pode fornecer clareza. É crucial abordar quaisquer pontos influentes ou de alavancagem identificados pelo DFBETA, pois eles podem afetar fortemente os resultados da sua meta-análise. Tal pode implicar a correção ou exclusão destes pontos como último recurso. Além disso, não é apenas recomendado, é essencial que as verificações de robustez sejam relatadas para mostrar o impacto da remoção de outliers ou do emprego de winsorization (substitua observações acima e abaixo de um determinado centil pelo valor desse percentil) nos dados (Zigraiova et al., 2020). Em última análise, seus resultados devem ser impulsionados por descobertas de pesquisa confiáveis e influentes e, se este for o caso, a proeminência dessas descobertas deve ser justificada em detalhes.

Por fim, certifique-se de que, além dos tamanhos de efeitos e erros padrão, você também reúna informações sobre diferenças significativas no contexto em que os tamanhos de efeitos estimados foram obtidos. A maioria das meta-análises deve reunir pelo menos dez variáveis (muitas vezes variáveis binárias fictícias que tomam o valor 0 ou 1) refletindo diferenças nos dados, métodos e características de publicação. Dependendo do tamanho e complexidade do banco de dados, mais variáveis podem ser necessárias, mas é aconselhável manter o número abaixo de 30 para simplificar. Por exemplo, considere se o experimento do estudo primário se concentra em uma amostra representativa da população ou apenas em um grupo específico, o país onde foi conduzido, se um placebo ou um tratamento alternativo foi atribuído ao grupo de controle, data de publicação, fator de impacto do veículo e o número de citações anuais recebidas.

Antes de coletar dados, prepare uma lista de variáveis para codificar cuidadosamente. Esta pode ser a parte mais desafiadora e criativa de uma meta-análise. O número de variáveis potenciais é quase ilimitado, por isso selecionar as mais importantes é essencial com base em discussões na literatura e na sua experiência. Um modelo de linguagem abrangente pode ajudar a identificar algumas das dimensões em que os estudos primários variam. No entanto, é crucial lembrar que a dupla verificação é vital, pois a inteligência artificial às vezes pode fornecer resultados enganosos. Esse cuidado e atenção aos detalhes garantirão a precisão de sua meta-análise.

Considere incluir informações adicionais que complementem o que você coleta de estudos primários. Esta abordagem abrangente, que vai além dos estudos primários, pode proporcionar uma compreensão mais aprofundada do contexto de investigação. Por exemplo, se os estudos primários foram realizados em vários países, incluindo as características do país (ou região) podem ser valiosas como variáveis adicionais. Os resultados dos experimentos podem ser influenciados por fatores como temperatura, umidade ou desenvolvimento financeiro do país, que podem ser impossíveis de analisar apenas por estudos primários individuais. Ao considerar e incluir essas informações adicionais, sua meta-análise pode ser mais abrangente e perspicaz (Irsova et al., 2023).

[1] Visualizar https://blogs.sas.com/content/iml/2019/06/17/influence-regression-dfbeta.html

* Examples of meta-analysis datasets are available at https://www.meta-analysis.cz/.

** See https://blogs.sas.com/content/iml/2019/06/17/influence-regression-dfbeta.html

Dominar a arte da meta-análise pode parecer simples, mas alcançar a excelência neste campo é verdadeiramente desafiador. Determinar tamanhos de efeitos é um dos aspetos mais assustadores da realização de uma meta-análise.

O primeiro passo de uma meta-análise envolve a revisão sistemática da literatura e a extração de dados. Os investigadores utilizam pesquisas em bases de dados, listas de referências e consultas de peritos para identificar estudos relevantes. Os critérios de inclusão e exclusão são aplicados para garantir que apenas os estudos que abordem a questão de pesquisa e atendam aos padrões de qualidade sejam incluídos.

Ao combinar dados de várias fontes, a meta-análise pode aumentar o poder estatístico, fornecer estimativas mais precisas dos tamanhos dos efeitos e identificar padrões ou moderadores em todos os estudos. Este ensaio explora os métodos quantitativos usados na meta-análise, incluindo coleta de dados, estimativa do tamanho do efeito, seleção de modelos e avaliação da heterogeneidade (Haddaway et al., 2022).

O foco de qualquer meta-análise é o tamanho do efeito, que mede a força de como uma variável ou grupo de variáveis influencia outra. Os tamanhos dos efeitos são cruciais para compreender o impacto dos tratamentos experimentais ou a relação entre variáveis em estudos não experimentais. No entanto, calcular tamanhos de efeitos pode ser um desafio devido à ampla gama de desenhos de pesquisa e ao relatório inadequado de informações estatísticas em relatórios de pesquisa primária. As medidas d e r são comumente usadas e práticas para calcular tamanhos de efeitos, fornecendo aos pesquisadores ferramentas valiosas para meta-análise.

Uma vez identificados os estudos relevantes, a extração e padronização dos tamanhos dos efeitos é a próxima. O tamanho do efeito é uma medida numérica que indica a força do resultado experimental. As métricas comuns de tamanho de efeito incluem:

1. Cohen's d: Mede a diferença entre duas médias divididas pelo desvio padrão agrupado.
2. Odds Ratio (OR): Usado em resultados binários para medir as chances de um evento ocorrer em um grupo em comparação com outro.
3. Coeficiente de Correlação (r): Analisar a intensidade e orientação da ligação entre duas variáveis.

A padronização dos tamanhos dos efeitos é crucial porque permite combinar resultados de estudos que usam diferentes escalas ou medidas de resultado.

Lembre-se de que existem dois modelos de agregação distintos: efeitos fixos e modelos de efeitos aleatórios. O modelo de efeitos fixos pressupõe que todos os estudos na meta-análise provenham da mesma população e que o tamanho real do efeito permaneça consistente em todos os estudos. Assim, presume-se que a variação no tamanho do efeito decorra de diferenças dentro de cada estudo, como erro amostral. Em contraste, o modelo de efeitos aleatórios é mais intrincado, se os efeitos na população variarem de estudo para estudo. Este pressuposto baseia-se na ideia de que os estudos observados são uma seleção de amostras retiradas de um universo mais amplo de estudos. Os modelos de efeitos aleatórios englobam duas fontes de variação em um determinado tamanho de efeito: dentro e entre estudos. (Kaufmann e Reips, 2024).

Ao conduzir meta-análises, os tamanhos dos efeitos são combinados usando modelos de efeito fixo ou aleatórios. A escolha de utilizar um desses modelos baseia-se na suposição sobre a distribuição dos tamanhos de efeito:

1. Modelo de efeito fixo: Este modelo assume que todos os estudos estimam o mesmo tamanho de efeito verdadeiro e que as variações observadas se devem apenas ao erro amostral. Dá mais peso a estudos mais extensos e é apropriado quando os estudos são muito semelhantes em relação aos participantes, intervenções e resultados.
2. Modelo de efeitos aleatórios: Este modelo assume que os tamanhos dos efeitos variam entre os estudos devido ao erro amostral dentro do estudo e à heterogeneidade entre os estudos. Ele incorpora um componente de variância adicional, permitindo uma inferência mais generalizada sobre o tamanho do efeito. O modelo de efeitos aleatórios provavelmente produzirá uma estimativa mais cautelosa, com um intervalo de confiança mais amplo, levando a uma abordagem consciente dos resultados. No entanto, as conclusões dos dois modelos normalmente se alinham quando não há heterogeneidade. É mais apropriado quando há heterogeneidade significativa entre os estudos incluídos.