Poder estatístico: por que estudos pequenos falham

A maioria das discussões sobre estatística gira em torno de uma pergunta: o resultado deu significativo? Mas existe uma pergunta anterior, feita antes de coletar o primeiro dado, que decide o destino de um estudo. É esta: se o efeito que eu procuro existe de verdade, qual é a chance de o meu estudo consegui-lo detectar? Essa chance é o poder estatístico. Quando ela é baixa, o estudo nasce fadado a não encontrar nada — ou, pior, a encontrar coisas que não vão se repetir. Este texto explica o que é o poder, por que ele importa tanto quanto o valor de p e como planejá-lo antes de começar.

O que é poder estatístico

Todo teste de hipótese parte de uma hipótese nula: a de que não há efeito, não há diferença, não há associação. O estudo tenta reunir evidência para rejeitá-la. O poder estatístico é a probabilidade de o estudo fazer isso quando a nula é de fato falsa — ou seja, quando o efeito existe.

Dito de outro modo: o poder é a chance de o teste dizer "sim, há efeito" nos casos em que há mesmo. Um estudo com 80% de poder tem 80% de probabilidade de acender a luz verde se o efeito real for do tamanho que você assumiu no planejamento. Nos outros 20% das vezes, o efeito estaria lá, mas o estudo não o veria.

Essa definição já entrega o ponto central. O poder não é uma propriedade do resultado. É uma propriedade do desenho do estudo, fixada antes da coleta. Ele depende de quanto dado você vai reunir, de quão grande é o efeito que procura e de quanto ruído existe na medida. Nada disso muda depois que os dados chegam.

Os dois erros que todo estudo pode cometer

Para entender o poder, é preciso separar os dois tipos de erro que uma decisão estatística pode ter. Eles são a origem de quase toda confusão sobre significância.

Erro tipo I (alfa): o falso positivo

O erro tipo I acontece quando o estudo conclui que há efeito, mas não há. É o alarme falso. A probabilidade desse erro é o alfa, e é ela que você controla ao escolher o nível de significância. Quando se adota alfa de 5%, aceita-se uma chance de 5% de gritar "achei" sem que exista nada. Esse é o mesmo alfa que aparece no valor de p: o resultado é declarado significativo quando o p fica abaixo desse limite.

Erro tipo II (beta): o falso negativo

O erro tipo II é o oposto. O efeito existe, mas o estudo não o encontra. É o alarme que deixa de tocar. A probabilidade desse erro é o beta. E aqui está a ligação que fecha o raciocínio:

Poder = 1 − beta

Se o beta é a chance de deixar passar o efeito, o poder é a chance de capturá-lo. Um beta de 20% corresponde a um poder de 80%. Por isso as duas coisas são a mesma moeda vista de lados diferentes: reduzir o erro tipo II é aumentar o poder.

A tabela abaixo organiza os quatro cenários possíveis de uma decisão estatística.

Repare que a tradição estatística trata os dois erros de forma assimétrica. O alfa costuma ser fixado em 5% e o beta em 20%. Ou seja, aceita-se um falso negativo quatro vezes mais provável que um falso positivo. Isso reflete uma postura conservadora: historicamente, prefere-se não afirmar um efeito à toa a arriscar afirmá-lo por acaso. É uma escolha de valores, não uma verdade matemática, e vale conhecê-la para decidir se ela cabe no seu contexto.

Os quatro ingredientes do poder

O poder de um estudo não sai do nada. Ele resulta de quatro fatores que se entrelaçam. Mexer em um mexe nos outros, e entender essa mecânica é o que permite planejar bem.

1. O nível de significância (alfa)

Quanto mais rígido o alfa, mais difícil declarar significância — e, mantendo o resto igual, menor o poder. Exigir p < 0,01 em vez de p < 0,05 reduz o falso positivo, mas também torna mais fácil deixar passar um efeito real. Há uma troca embutida entre os dois erros.

2. O tamanho do efeito

Efeitos grandes são fáceis de ver; efeitos pequenos, difíceis. Detectar uma diferença gritante entre dois tratamentos exige poucos participantes. Detectar uma diferença sutil exige muitos. O tamanho do efeito é, em geral, o ingrediente mais decisivo do cálculo — e o mais delicado, porque você precisa assumir um valor antes de conhecê-lo. Voltaremos a isso.

3. A variabilidade dos dados

Quanto mais espalhados os dados (maior o desvio-padrão), mais ruído há para atrapalhar. Um desfecho medido com precisão dá mais poder que um desfecho ruidoso. Por isso escolher um bom instrumento de medida, padronizar a coleta e reduzir erro de mensuração aumentam o poder sem custar um participante a mais.

4. O tamanho da amostra

É o ingrediente que você mais controla. Aumentar o número de participantes aumenta o poder, porque reduz a incerteza em torno da estimativa. Mas a relação não é linear: dobrar o poder não significa dobrar a amostra, e ganhar os últimos pontos percentuais de poder costuma exigir um número desproporcional de participantes. É por isso que o cálculo formal existe — para achar o ponto de equilíbrio entre poder suficiente e amostra viável. O passo a passo desse cálculo está no informativo sobre como calcular o tamanho amostral.

Os quatro fatores formam um sistema fechado. Fixados três, o quarto está determinado. Na prática, isso significa duas rotas de cálculo. Na primeira, você fixa alfa, poder e efeito esperado e pergunta: de quantos participantes preciso? Na segunda, o número de participantes é limitado de antemão (por orçamento, tempo ou pela população disponível), e você pergunta: com este n, que poder eu tenho? A segunda rota é honesta e útil, mas às vezes revela a verdade incômoda de que o estudo planejado não terá poder para responder à pergunta.

Por que 80% virou o padrão (e o que isso custa)

Se você já leu um projeto de pesquisa, viu a frase "com poder de 80%". Esse número tem origem prática, não teórica. Ele foi proposto como um patamar razoável: alto o bastante para dar uma chance real de detectar o efeito, baixo o bastante para não exigir amostras impraticáveis. Com o tempo, virou convenção, e convenções tendem a ser seguidas sem serem questionadas.

Vale entender o que 80% de poder de fato significa. Se o seu efeito é real e do tamanho assumido, você ainda tem uma em cada cinco chances de o estudo não o encontrar. Isso é bastante. Em pesquisas de grande impacto, ou quando um falso negativo tem custo alto (deixar de identificar um tratamento eficaz, por exemplo), mira-se 90% ou mais. A escolha deve seguir o que está em jogo, não o hábito.

O erro comum não é escolher 80%. É tratar o número como uma formalidade a preencher no projeto, calculado para trás a partir da amostra que já se tem, em vez de para frente a partir da pergunta. O poder é uma ferramenta de decisão, não um item de checklist.

O estudo subdimensionado: o problema silencioso

Um estudo subdimensionado (ou underpowered) é aquele cuja amostra é pequena demais para o efeito que investiga. O poder fica baixo, e as consequências vão além do óbvio.

A primeira consequência é a esperada: o estudo tende a não achar nada. Um resultado "não significativo" surge, e é fácil interpretá-lo como "não há efeito". Mas ausência de significância não é prova de ausência de efeito. Pode ser apenas ausência de poder. O estudo pode ter falhado em ver algo que estava lá o tempo todo.

A segunda consequência é menos intuitiva e mais perigosa. Quando um estudo de baixo poder consegue um resultado significativo, esse resultado tende a superestimar o tamanho do efeito. O motivo é estatístico. Com amostra pequena, a estimativa varia muito de estudo para estudo. Para cruzar o limiar da significância com poucos participantes, é preciso que o acaso tenha ajudado — que aquela amostra específica tenha calhado de mostrar um efeito grande. Assim, os únicos resultados que passam no filtro da significância são justamente os exagerados.

Esse fenômeno tem nome: a maldição do vencedor (winner's curse) ou inflação do efeito. Ele explica por que achados iniciais empolgantes, obtidos em estudos pequenos, tantas vezes encolhem ou desaparecem quando estudos maiores tentam replicá-los. Não é que a natureza mudou. É que o primeiro estudo, subdimensionado, nunca teve como medir o efeito de forma confiável.

A soma dos dois problemas é ruim para a literatura. Estudos pequenos enchem os arquivos de falsos negativos silenciosos e de falsos positivos inflados. É por isso que o poder não é só uma questão do seu estudo individual — é uma questão de higiene da evidência que você produz.

A falácia do poder pós-hoc

Há uma prática comum que parece sensata e é, na verdade, um equívoco: calcular o poder depois de o estudo terminar, usando o efeito que foi observado nos próprios dados. É o chamado poder pós-hoc ou poder observado. Revisores às vezes pedem, e softwares às vezes entregam, mas isso não informa o que se imagina.

O problema é que o poder pós-hoc não traz nenhuma informação nova. Ele é apenas uma tradução do valor de p em outra escala. Sempre que o resultado é não significativo, o poder observado será baixo — por construção matemática, não por descoberta. Dizer "o resultado não deu significativo e o poder observado foi de 30%" é dizer duas vezes a mesma coisa. Não é uma explicação para o resultado; é uma reformulação dele.

Pior: o poder pós-hoc pode dar uma falsa sensação de rigor. Um estudo que não achou efeito e depois "mostra" poder baixo parece estar se justificando, quando na verdade está apenas repetindo que não achou efeito.

O que fazer depois do estudo, então? Olhar para o intervalo de confiança. Ele diz, na escala do efeito, quais valores são compatíveis com os dados. Um intervalo estreito em torno de zero sugere que, se há efeito, ele é pequeno. Um intervalo largo mostra que o estudo foi inconclusivo — não descartou nem um efeito nulo nem um efeito grande. Essa é a informação que o poder pós-hoc tenta, sem sucesso, fornecer. O poder pertence ao planejamento; o intervalo de confiança, à interpretação.

Como planejar o poder na prática

Planejar o poder é decidir os quatro ingredientes antes de coletar. O passo mais difícil é sempre o mesmo: definir o tamanho de efeito que se quer detectar. Como ainda não há dados, esse valor precisa vir de outra fonte. As opções, em ordem de preferência:

1. A menor diferença clinicamente relevante. Esta é a melhor âncora. A pergunta não é "que efeito eu espero encontrar?", e sim "qual é o menor efeito que valeria a pena detectar?". Se uma diferença abaixo de certo ponto não mudaria a conduta clínica, não faz sentido dimensionar o estudo para captá-la. Ancorar no relevante evita tanto o estudo grande demais quanto o pequeno demais.
2. Estimativas de estudos anteriores. Meta-análises e trabalhos semelhantes dão uma faixa plausível. Aqui vale um cuidado: se a literatura for feita de estudos pequenos, as estimativas podem estar infladas pela maldição do vencedor, e planejar com elas leva a subdimensionar. Prefira o limite conservador da faixa.
3. Estudo piloto. Útil para estimar variabilidade e testar a logística, mas ruim para estimar o tamanho do efeito — justamente porque um piloto é pequeno e sua estimativa de efeito é instável. Use o piloto para o desvio-padrão e para a viabilidade, não para o efeito.

Definido o efeito, fixe o alfa (em geral 5%) e o poder-alvo (80% ou 90%), escolha a fórmula correta para o seu desenho e obtenha o tamanho de amostra. Alguns cuidados fecham o planejamento:

• Some as perdas. O número calculado é o de participantes que chegam ao fim com dados completos. Se você espera 15% de perda de seguimento, precisa recrutar mais para compensar. Divida o n pela fração que espera reter.
• Confira o desfecho. A fórmula muda conforme o desfecho é uma média, uma proporção, um tempo até evento ou uma correlação. Usar a fórmula errada invalida o cálculo, por mais caprichado que seja.
• Faça a análise de sensibilidade do cálculo. Repita a conta com valores de efeito um pouco maiores e menores. Se a amostra necessária dispara com uma pequena mudança de suposição, o plano é frágil e merece revisão.
• Registre tudo. Guarde as suposições, a fonte de cada número e o código usado. Isso torna o cálculo defensável diante da banca, do comitê de ética e do revisor.

Um exemplo numérico, passo a passo

A mecânica fica mais clara com números. Imagine um ensaio que compara dois grupos quanto a uma taxa de complicação. No grupo controle, a taxa histórica é de 30%. Você quer detectar uma redução para 20% com o novo manejo — uma diferença absoluta de 10 pontos percentuais, que a equipe considera clinicamente relevante.

Com alfa bicaudal de 5% e poder de 80%, o cálculo para comparação de duas proporções pede cerca de 290 participantes por grupo, ou seja, 580 no total. Agora veja como cada ingrediente move esse número, mantendo os demais fixos:

• Se você aceitar detectar só uma diferença maior — digamos, cair de 30% para 15% (15 pontos em vez de 10) —, o efeito procurado fica maior e a amostra cai para cerca de 120 por grupo. Efeitos grandes custam pouco.
• Se quiser detectar uma diferença menor — de 30% para 25% (5 pontos) —, o efeito fica sutil e a amostra dispara para mais de 1.100 por grupo. Cada ponto percentual a menos de diferença cobra caro.
• Se elevar o poder para 90% mantendo os 10 pontos, a amostra sobe de 290 para cerca de 390 por grupo. Os últimos pontos de poder são os mais caros.
• Se apertar o alfa para 1%, a amostra também cresce, porque exigir mais evidência para declarar significância deixa o efeito mais difícil de capturar.

A lição do exercício não são os números exatos, que dependem da fórmula e das suposições. É a sensibilidade: a amostra necessária reage de forma brusca a pequenas mudanças no efeito que você decide procurar. Por isso a definição do tamanho de efeito não é um detalhe técnico — é a decisão que mais pesa no orçamento do estudo.

Poder e comparações múltiplas

O cálculo de poder dimensiona o estudo para um desfecho — o primário. Isso não é uma limitação a contornar; é uma disciplina a respeitar. Quando um estudo testa muitos desfechos ou muitos subgrupos, dois problemas aparecem ao mesmo tempo.

O primeiro é a inflação do erro tipo I. Cada teste extra carrega sua própria chance de falso positivo, e vários testes juntos elevam a probabilidade de ao menos um resultado significativo por acaso. A resposta usual é corrigir o alfa (por exemplo, com Bonferroni), tornando o limiar de significância mais rígido.

O segundo problema é o efeito colateral dessa correção: alfa mais rígido significa menos poder. Ao dividir o alfa entre muitos testes, cada teste individual perde força para detectar o efeito. Um estudo desenhado para ter 80% de poder no desfecho primário pode ficar bem abaixo disso nos secundários, sobretudo se estes forem tratados como coprimários com correção.

A saída é hierarquizar. Defina um desfecho primário, dimensione o estudo para ele e trate os demais como exploratórios, geradores de hipótese — sem prometer poder que não existe. Analisar dez desfechos e destacar o único que deu significativo é uma forma clássica de produzir um falso positivo com aparência de descoberta.

O que dimensiona o poder em cada desenho

O tamanho de efeito relevante muda de nome conforme o desenho, e com ele muda a fórmula. Saber qual quantidade dirige o cálculo evita o erro de aplicar a conta errada.

Repare no caso da sobrevida: o que dimensiona o poder é o número de eventos, não o de participantes. Um estudo com muitos pacientes mas poucos desfechos observados pode ter poder baixo apesar do n grande. Por isso, em desfechos raros ou seguimentos curtos, aumentar o tempo de acompanhamento às vezes rende mais poder do que recrutar mais gente. Para escolher a análise certa antes de dimensionar, vale o roteiro de qual teste estatístico usar.

Erros frequentes no cálculo de poder

Alguns deslizes aparecem repetidamente em projetos e reprovam bancas. Vale conhecê-los para não repeti-los:

• Usar o efeito que se espera encontrar em vez do menor efeito relevante. Superestimar o efeito reduz a amostra no papel e deixa o estudo sem poder na prática.
• Ancorar em estudos pequenos. Efeitos vindos de trabalhos subdimensionados já vêm inflados; planejar com eles subdimensiona o novo estudo.
• Esquecer as perdas. O n calculado é o de casos completos. Sem margem para desistências e dados faltantes, o estudo termina com menos poder do que o planejado.
• Ignorar o agrupamento dos dados. Em desenhos com clusters (por médico, por centro, por família), as observações não são independentes, e a fórmula simples superestima o poder. É preciso corrigir pelo efeito de design.
• Dimensionar para o desfecho errado. O poder deve ser calculado para o desfecho primário, não para o mais fácil de atingir.
• Confundir "não significativo" com "sem efeito". É o erro de interpretação que fecha o ciclo: um estudo sem poder não prova ausência de efeito, apenas não conseguiu vê-lo.

Como reportar o poder e o tamanho amostral

Um relato transparente do cálculo de poder contém, em poucas linhas, tudo o que permite reproduzi-lo. O leitor deve conseguir refazer a conta com o que você escreveu. Inclua:

• O desfecho primário em que o cálculo foi baseado (o poder é dimensionado para um desfecho, não para o estudo inteiro).
• O tamanho de efeito assumido e a sua justificativa (relevância clínica, literatura ou piloto).
• O alfa, se o teste é uni ou bicaudal, e o poder-alvo.
• A variabilidade assumida (desvio-padrão, proporção de base ou taxa de evento, conforme o caso).
• O tamanho de amostra resultante, já com o acréscimo para perdas, e o software ou fórmula usado.

Um exemplo de redação enxuta: "Para detectar uma diferença de 10 pontos no escore X entre os grupos (desvio-padrão assumido de 20, com base em [referência]), com alfa bicaudal de 5% e poder de 80%, seriam necessários 64 participantes por grupo. Prevendo 15% de perda de seguimento, a meta de recrutamento foi de 75 por grupo." Curto, específico e reproduzível.

Se o estudo já terminou, não substitua isso por poder observado. Reporte o efeito estimado com seu intervalo de confiança e discuta o que ele permite concluir. E se o estudo ficou aquém do tamanho planejado, diga com clareza — um resultado inconclusivo apresentado como tal é honesto; um inconclusivo vendido como negativo, não.