Três interpretações inadequadas do valor P (Parte 2)

Três interpretações inadequadas do valor P (Parte 2)

Esse texto possui a Parte 1 (introdutória). Se quiser ler, clique aqui.

Os três pontos a seguir abordam erros bastante comuns na interpretação dos testes de hipóteses. Saliento que as três críticas são extraídas/baseadas no artigo “A Dirty Dozen: Twelve P-Value Misconceptions“, escrito pelo Dr. Steven Goodman (Stanford University). Conforme o título do artigo descreve, o texto do Dr. Goodman consiste de 12 críticas à difícil (e limitada) interpretação e comunicação dos resultados de valor P (também chamado de P-valor, P value, ou probabilidade de significância estatística).

Então, abaixo, estão três erros muito comuns.

Interpretação inadequada #1: Uma diferença não significativa (por exemplo, P>0.05) significa que não há diferença real entre os grupos.

Na minha opinião (Daniel), esse é o erro mais frequente e possivelmente o mais DANOSO em relação às inferências pelo P valor. Uma diferença não estatística indica unicamente que um efeito nulo (numérico, não “clínico/prático”) é estatisticamente consistente com os resultados observados (números obtidos) pelas mensurações de um estudo. Isso não faz com que o efeito nulo seja o mais provável. Ou seja, ausência de evidência (P>0,05) NÃO É evidência de ausência.

Os efeitos observados (resultados obtidos) são tão, ou mais, importantes do que os níveis de significância estatística.

Interpretação inadequada #2: Estudos com valores de P em lados opostos do 0,05 são conflitantes.

Os estudos podem ter níveis diferentes de significância (probabilidade) mesmo quando as estimativas de efeitos do tratamento (ou do fator em estudo) são idênticas. Esse exemplo está representado na Figura 1A.
Isso ocorre devido à precisão/dispersão da estimativa, a qual é usualmente influenciada pelo tamanho de amostra.

Estudos conflitam estatisticamente quando a diferença dos resultados é improvável de ter ocorrido devido ao acaso, indicado por intervalos de confiança com mínima ou sem sobreposição numérica, e testado formalmente através de um teste de heterogeneidade.

Interpretação inadequada #3: Estudos com os mesmos valores P fornecem a mesma evidência contra a hipótese nula.

Efeitos muito diferentes podem ter o mesmo valor P. A Figura 1B mostra o resultado de dois ensaios clínicos, um com efeito do tratamento em 3% (intervalo de confiança[IC] de 0% a 6%), e o outro com efeito de 19% (IC, 0% a 38%). Ambos tem um valor P de 0,05; porém, facilmente é possível demonstrar que são duas coisas bem diferentes. Se nós considerarmos que um efeito de no mínimo 10% é suficiente para sobrepujar os efeitos adversos do que está em teste, nós poderíamos usar o tratamento com base no estudo de maior efeito (19%). Ou nós poderíamos rejeitar totalmente a terapia, simplesmente usando o estudo com menor efeito (3%).

 

Figura 1. Representação de como os valores P com significância muito diferentes podem ser gerados de estudos com efeitos similares e precisões diferentes (painel A), e como os valores P podem ser parecidos/iguais mesmo com efeitos muito distintos (painel B). Adaptado de Steven Goodman (2008).

A interpretação do P é de extrema dificuldade e as inferências devem ser feitas com muita atenção.  Erros de interpretações (e de bioestatística em geral) podem ser frequentes, o que não indica que houve má intenção dos pesquisadores. Talvez, uma mensagem final simples seja de não sair reproduzindo algum “fato” científico baseado em um único estudo. Como as informações se complementam em diferentes estudos, estudar mais profundamente um assunto consiste em compor diferentes fontes de evidências.

 

Artigo sugerido para leitura:

Goodman S. A Dirty Dozen: Twelve P-Value Misconceptions. Semin Hematol 2008, 45:135-140. Link para acesso.

Professor, pesquisador, e pai. Sócio-fundador do Evidência Saúde. Interessado em exercício em grupos especiais, metodologia científica, e disseminação científica.

1 comentário

Esse site utiliza o Akismet para reduzir spam. Aprenda como seus dados de comentários são processados.

  • Obrigado Prof. Daniel. Sempre muito explicativo e coerente. Abraço

    Gustavo Ferreira Resposta

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Esse site utiliza o Akismet para reduzir spam. Aprenda como seus dados de comentários são processados.