O limiar de p < 0,05

Imagine que você está testando uma receita nova de bolo. A receita diz que o bolo vai crescer 5 cm. Você faz o bolo, e ele cresce 6 cm. E agora? A receita está errada? Ou foi só sorte?

Na ciência, usamos métodos quantitativos de forma semelhante. Temos uma receita (a hipótese nula H₀), que é uma suposição padrão, como “esse ingrediente não faz efeito para o bolo crescer”. Realizamos o experimento e observamos o resultado.

O valor de p < 0,05 funciona como um alarme se o resultado se desviar significativamente do previsto. Se o bolo crescer 10 cm, o alarme soa: “opa, algo estranho aconteceu!”.

O valor de p representa a probabilidade de observar os dados obtidos (ou resultados mais extremos) sob a condição de que a hipótese nula seja verdadeira. Essa probabilidade é calculada a partir de uma distribuição de probabilidade apropriada para o teste estatístico utilizado (como a distribuição t ou qui-quadrado). É fundamental entender que o valor de p quantifica a probabilidade dos dados, dado que a hipótese nula é verdadeira, e não a probabilidade da hipótese nula em si.

Hipótese Nula (H₀): É a suposição padrão, geralmente expressando “nenhum efeito”, “nenhuma diferença” ou “nenhuma relação”.

Hipótese Alternativa (H₁): É a afirmação que os pesquisadores buscam sustentar, indicando a existência de um efeito.

Portanto, se p < 0,05, há menos de 5% de chance de os resultados observados serem devidos ao acaso, assumindo que a hipótese nula é verdadeira.

Limitações do Valor de p

No entanto, p < 0,05 não prova que a receita (hipótese nula) está 100% errada. Indica apenas que é improvável que o bolo crescesse 10 cm se a receita estivesse correta.

Assim como ganhar na loteria é improvável, mas possível, existe uma chance (pequena) de o resultado ter sido apenas sorte.

A Convenção de 0,05

O limiar de 0,05 é uma convenção amplamente adotada, principalmente por razões históricas e sem uma justificativa matemática rigorosa. É como um limite de velocidade: sabemos que exceder um pouco não é o fim do mundo, mas é melhor evitar.

A escolha desse número busca equilibrar dois tipos de erro:

• O risco de ver “fantasmas”: achar que há um efeito quando não há (Erro do Tipo I ou Falso Positivo). A probabilidade desse erro é representada por α (alfa), e o limiar de 0,05 limita esse risco a 5%.
• O risco de ser “cego”: não ver um efeito real (Erro do Tipo II ou Falso Negativo). A probabilidade desse erro é representada por β (beta), e o poder estatístico (1 – β), que é a probabilidade de detectar corretamente um efeito real, está inversamente relacionado a esse risco. Estudos com baixo poder estatístico, frequentemente devido a amostras pequenas, aumentam a chance de erros do Tipo II.

Armadilhas na Interpretação

É crucial evitar interpretações errôneas do valor de p:

• Não é um limiar mágico: 0,049 não é fundamentalmente diferente de 0,051.
• O tamanho da amostra importa: amostras grandes podem gerar valores de p pequenos para efeitos triviais, enquanto amostras pequenas podem falhar em detectar efeitos significativos (devido ao baixo poder estatístico).
• “P-hacking” é inaceitável: manipular dados ou realizar múltiplos testes até obter p < 0,05 aumenta drasticamente a probabilidade de falsos positivos.
• O contexto é essencial: o valor de p é apenas uma peça do quebra-cabeça. Deve ser sempre interpretado em conjunto com o tamanho do efeito, os intervalos de confiança (que fornecem uma faixa de valores plausíveis para o verdadeiro efeito na população) e a relevância prática.

Exemplo Prático

Considere um ensaio clínico de um medicamento. Se p = 0,03 para a redução da pressão arterial:

• Estatisticamente, é improvável que o efeito observado seja aleatório (se H₀ fosse verdadeira).
• Praticamente, é necessário verificar se o tamanho do efeito (por exemplo, uma queda de 1 mmHg) é clinicamente significativo, e considerar o intervalo de confiança para avaliar a precisão da estimativa.

A Crise da Replicação e a Necessidade de Alternativas

As recentes discussões na comunidade científica, exemplificadas pela declaração da American Statistical Association em 2016 e pela “crise da reprodutibilidade” em psicologia e medicina, evidenciaram as limitações da superdependência no limiar de p < 0,05. Muitos resultados publicados com p < 0,05 não se replicam em estudos subsequentes, devido a fatores como viés de publicação, p-hacking e baixo poder estatístico.

Para mitigar esses problemas, muitos defendem a adoção de métodos complementares ou alternativos aos valores de p. As abordagens mais frequentemente recomendadas incluem:

• Tamanho do efeito: quantifica a magnitude do efeito observado (por exemplo, usando o d de Cohen ou o eta quadrado).
• Intervalos de confiança: fornecem uma faixa de valores plausíveis para o verdadeiro efeito na população e indicam a precisão da estimativa.
• Abordagens Bayesianas: calculam a probabilidade da hipótese de interesse dado os dados, em vez da probabilidade dos dados dada a hipótese nula.

A Arbitrariedade de 0,05 e a Busca por Limiares Mais Rigorosos

A natureza convencional do limiar de 0,05 é um ponto central de debate. Há um crescente argumento para adotar limiares de significância mais rigorosos, especialmente em campos onde os falsos positivos podem ter consequências graves. Algumas áreas da ciência, por exemplo, propõem o uso de p < 0,005 como critério para “evidência forte,” buscando reduzir a probabilidade de conclusões incorretas.

O Problema das Comparações Múltiplas

Um problema importante a ser considerado é o das comparações múltiplas. Quando muitos testes estatísticos são realizados em um único conjunto de dados, a probabilidade de obter pelo menos um valor de p < 0,05 por puro acaso aumenta significativamente. Por exemplo, se 20 ingredientes diferentes forem testados para seu efeito no crescimento de um bolo, é provável que pelo menos um deles apresente um resultado “significante” mesmo que nenhum deles tenha realmente efeito. Para corrigir esse problema, existem métodos estatísticos, como a correção de Bonferroni, que ajustam o limiar de significância para levar em conta o número de testes realizados.

Considerações a pensar

O valor de p < 0,05 indica que os dados são inconsistentes com a hipótese nula, mas é apenas uma peça de evidência, não uma prova definitiva. A interpretação dos resultados deve sempre considerar outros fatores estatísticos e práticos, como o tamanho do efeito, os intervalos de confiança, o poder estatístico do estudo e o contexto geral da pesquisa.