Concordância e reprodutibilidade: Kappa, ICC e Bland-Altman

Quase todo estudo em saúde depende de uma pergunta silenciosa: a medida é confiável? Quando dois radiologistas leem a mesma tomografia, chegam ao mesmo laudo? Quando um novo aparelho portátil mede a pressão arterial, ele concorda com o método de referência? Quando o mesmo examinador repete uma medida no mesmo paciente, obtém o mesmo número? Essas perguntas são de concordância e reprodutibilidade, e respondê-las bem é o que separa um dado em que se pode confiar de um número que apenas parece objetivo. Este guia percorre as três ferramentas centrais — kappa, ICC e Bland-Altman —, quando usar cada uma, como interpretá-las e como relatá-las de forma defensável perante um revisor.

Antes de tudo, vale separar dois conceitos que costumam se misturar. Confiabilidade (reliability) é a capacidade de a medida distinguir sujeitos entre si apesar do erro de medição — é uma propriedade relativa, que depende da variabilidade da amostra. Concordância (agreement) é o quanto duas medidas do mesmo objeto são de fato próximas em valor absoluto — uma propriedade que independe de quão heterogênea é a população. O kappa e o ICC pertencem mais à família da confiabilidade; o Bland-Altman, à da concordância absoluta. Confundir as duas é a raiz de metade dos erros neste tema.

Concordância não é correlação

Este é o ponto mais importante de todo o assunto, e o mais frequentemente errado. A correlação de Pearson mede se dois conjuntos de valores variam juntos; a concordância mede se eles são iguais. São coisas diferentes, e a diferença é fatal.

Imagine dois termômetros medindo a mesma série de temperaturas, mas um deles sempre marca exatamente 2 °C a mais que o outro. A cada subida real da temperatura, os dois sobem juntos, em perfeita sincronia: a correlação de Pearson entre eles é 1,0, o máximo possível. E, no entanto, eles nunca concordam — há sempre um erro sistemático de 2 °C. A correlação é cega a esse deslocamento, porque ela avalia o padrão de variação, não a igualdade dos valores. Foi exatamente essa armadilha que Bland e Altman denunciaram em 1986, num dos artigos mais citados da história da estatística médica: usar a correlação para validar um método de medida é um erro metodológico, não uma questão de gosto.

O mesmo raciocínio vale para o teste t pareado. Um teste t que não encontra diferença entre dois métodos não prova que eles concordam — apenas que a diferença média não é estatisticamente significativa, o que pode acontecer mesmo com discordâncias enormes que se cancelam (um método ora mede muito acima, ora muito abaixo). Ausência de diferença significativa não é evidência de concordância. Para avaliar concordância, é preciso ferramentas feitas para isso.

Três perguntas, três ferramentas

A escolha da ferramenta correta decorre quase inteiramente do tipo de variável e do que se quer saber:

Note que ICC e Bland-Altman convivem: o ICC dá um número de confiabilidade e o Bland-Altman mostra a magnitude e o padrão da discordância em unidades reais. Num estudo de comparação de métodos, o ideal é reportar os dois. Vamos a cada ferramenta.

Kappa de Cohen: concordância além do acaso

Quando dois observadores classificam os mesmos objetos em categorias, a primeira medida que ocorre a todo mundo é a concordância bruta: a proporção de casos em que eles deram a mesma resposta. O problema é que parte dessa concordância aconteceria por puro acaso, mesmo que os dois estivessem chutando. Se dois patologistas classificam lâminas como "benigna" ou "maligna" e, por acaso, ambos tendem a dizer "benigna" na maioria das vezes, eles vão coincidir muito só pela distribuição — sem que isso reflita real capacidade de concordar.

O kappa de Cohen corrige isso. Ele parte da concordância observada (p_o) e subtrai a concordância esperada ao acaso (p_e), normalizando pelo máximo possível de concordância acima do acaso:

κ = (p_o − p_e) / (1 − p_e)

O resultado varia, na prática, de 0 a 1: κ = 1 é concordância perfeita; κ = 0 significa que a concordância observada é apenas a que se esperaria ao acaso; valores negativos indicam concordância pior que o acaso (raros e geralmente sinal de algo errado). A escala de interpretação mais citada é a de Landis e Koch (1977):

Como todo limiar convencional, esses cortes são orientações, não leis. Um kappa de 0,65 pode ser excelente para uma classificação difícil e insuficiente para uma decisão de alto risco. E, como veremos, o kappa tem armadilhas que os rótulos escondem.

Um exemplo numérico

Suponha que dois patologistas classifiquem 100 biópsias como "benigna" ou "maligna" e concordem em 90 delas — uma concordância bruta de 0,90. Isso é bom? Depende de como as classificações se distribuem. Considere dois cenários com a mesma concordância bruta de 90%.

Cenário 1 — categorias equilibradas. Os dois classificam metade como benigna e metade como maligna: 45 casos "benigna" por ambos, 45 "maligna" por ambos e 10 de desacordo. A concordância esperada ao acaso é p_e = (0,50 × 0,50) + (0,50 × 0,50) = 0,50. Então κ = (0,90 − 0,50) / (1 − 0,50) = 0,80 — concordância "quase perfeita".

Cenário 2 — categoria rara. Agora 85 casos são "benigna" por ambos, apenas 5 são "maligna" por ambos e há os mesmos 10 de desacordo. A concordância bruta continua 0,90, mas cada observador diz "maligna" em só 10% das vezes. A concordância esperada ao acaso sobe muito: p_e = (0,90 × 0,90) + (0,10 × 0,10) = 0,82. Então κ = (0,90 − 0,82) / (1 − 0,82) = 0,44 — apenas "moderada".

Mesma concordância bruta de 90%, dois kappas radicalmente diferentes: 0,80 e 0,44. A diferença não está na competência dos observadores, e sim na distribuição das categorias. É esse comportamento que dá origem aos chamados paradoxos do kappa.

Os paradoxos do kappa

O kappa carrega dois comportamentos contraintuitivos, descritos por Feinstein e Cicchetti em 1990, que já enganaram muito pesquisador. O primeiro é o efeito da prevalência: quando quase todos os casos caem em uma única categoria, o kappa despenca mesmo com concordância bruta altíssima. Se 95% das biópsias são benignas e os dois observadores acertam a categoria em 90% das vezes, o kappa pode ficar surpreendentemente baixo — porque, com a categoria "maligna" tão rara, sobra pouca concordância além daquela que o acaso já produziria. O valor baixo não significa que os observadores discordam muito; significa que a distribuição extrema deixa pouca margem informativa.

O segundo é o efeito do viés (bias): quando os dois observadores distribuem suas respostas de forma assimétrica entre as categorias — um diz "maligna" com muito mais frequência que o outro —, o kappa pode, paradoxalmente, subir. Por isso, um kappa isolado é insuficiente. Reporte sempre, ao lado dele, a concordância bruta e a tabela 2×2 completa, e considere apresentar os índices de prevalência e de viés, ou o PABAK (kappa ajustado por prevalência e viés), como análise complementar. É a leitura conjunta que evita a conclusão errada.

Kappa ponderado e múltiplos observadores

O kappa de Cohen clássico trata todo desacordo como igualmente ruim — o que não faz sentido em escalas ordinais. Se um estadiamento vai de I a IV, discordar entre "I e IV" é muito pior do que entre "I e II". O kappa ponderado resolve isso atribuindo pesos aos desacordos conforme sua gravidade. Há dois esquemas usuais: pesos lineares, em que a penalidade cresce proporcionalmente à distância entre as categorias, e pesos quadráticos, em que ela cresce com o quadrado da distância (penalizando muito os desacordos grandes). A escolha do esquema muda o valor final, então ela precisa ser declarada — reportar "kappa ponderado = 0,72" sem dizer o tipo de peso é ambíguo.

Um fato elegante liga este guia ao próximo: o kappa ponderado quadrático é numericamente equivalente ao ICC de concordância absoluta quando aplicado aos mesmos dados ordinais. Kappa e ICC, portanto, não são universos separados — são a mesma ideia de concordância além do acaso, especializada para cada tipo de variável.

Quando há três ou mais observadores, o kappa de Cohen (definido para dois) não serve; usa-se o kappa de Fleiss, que generaliza a ideia para qualquer número de avaliadores. E, para além do interobservador, a mesma lógica avalia a concordância intraobservador (o mesmo avaliador em duas ocasiões) — a reprodutibilidade teste-reteste de uma classificação.

Coeficiente de correlação intraclasse (ICC)

Quando a medida é quantitativa contínua — um diâmetro em milímetros, um escore, uma dosagem —, a ferramenta de confiabilidade é o coeficiente de correlação intraclasse (ICC). Diferente da correlação de Pearson (que é "interclasse", entre duas variáveis distintas), o ICC trata as medidas como intercambiáveis e pergunta: da variabilidade total observada, quanto se deve a diferenças reais entre os sujeitos e quanto ao erro de medição? Um ICC alto significa que a maior parte da variância vem dos sujeitos, e não do ruído — ou seja, a medida separa bem quem é quem.

O ICC varia de 0 a 1. A interpretação mais usada hoje é a de Koo e Li (2016):

Assim como a AUC de uma curva ROC, o ICC é uma estimativa e precisa vir com intervalo de confiança de 95%. Aliás, Koo e Li recomendam interpretar a confiabilidade pelo limite inferior do intervalo, não pela estimativa pontual: um ICC de 0,90 com IC de 0,60 a 0,97 não autoriza dizer "excelente", porque o dado é compatível com confiabilidade apenas moderada.

As formas do ICC: por que "ICC = 0,85" não basta

Aqui mora a maior fonte de erro. Não existe um ICC: existem dez formas, e reportar o número sem dizer qual foi usada torna o resultado impossível de reproduzir. As formas resultam de três decisões, sistematizadas por Shrout e Fleiss (1979) e por McGraw e Wong (1996):

• Modelo — Um fator, aleatório (cada sujeito é avaliado por observadores diferentes, sorteados); Dois fatores, aleatório (os mesmos observadores avaliam todos, e você quer generalizar para outros observadores); Dois fatores, misto (os mesmos observadores avaliam todos e são os únicos de interesse, sem intenção de generalizar).
• Tipo — Medida única (a confiabilidade de uma só medição, o caso mais comum na prática clínica) ou média de k medidas (a confiabilidade da média de várias medições, geralmente mais alta).
• Definição — Concordância absoluta (as medidas precisam ter o mesmo valor) ou consistência (basta manterem a mesma ordenação, ignorando um deslocamento sistemático entre observadores).

Essas escolhas mudam o resultado, às vezes bastante. A definição de concordância absoluta quase sempre é a correta em estudos de confiabilidade de medida — afinal, se dois observadores devem produzir o mesmo laudo, um erro sistemático entre eles importa. A forma de consistência ignora esse deslocamento e pode inflar o ICC. A regra prática: descreva a forma em texto (por exemplo, "ICC de dois fatores, efeitos aleatórios, medida única, concordância absoluta") e na notação, para que qualquer leitor reproduza o cálculo.

A análise de Bland-Altman

O ICC entrega um número entre 0 e 1, mas não diz, em unidades reais, o quanto dois métodos diferem nem onde eles diferem. Essa é a função do gráfico de Bland-Altman, a ferramenta padrão para comparação de métodos de medida: um novo aparelho contra o de referência, uma técnica manual contra uma automatizada, dois ensaios laboratoriais.

A construção é simples e genial. Para cada sujeito, calcule dois valores: a média das duas medidas (a melhor estimativa do valor verdadeiro, no eixo horizontal) e a diferença entre elas (no eixo vertical). O gráfico dessas duplas revela de imediato três coisas:

• O viés (bias) — a média das diferenças. Se um método lê sistematicamente acima do outro, a nuvem de pontos se desloca para cima ou para baixo do zero. Idealmente, o viés é próximo de zero.
• Os limites de concordância (limits of agreement) — o viés ± 1,96 vez o desvio-padrão das diferenças. Espera-se que cerca de 95% das diferenças caiam nessa faixa. São eles, e não o viés sozinho, que dizem quão distantes duas medidas do mesmo paciente podem estar na prática.
• O padrão da discordância — se a dispersão dos pontos aumenta conforme a magnitude da medida (viés proporcional), se há outliers, se a diferença depende do nível. Um funil que se abre indica que os limites fixos não valem em toda a faixa.

O passo decisivo — e o mais esquecido — é anterior à análise: definir, com base clínica, qual a diferença máxima aceitável entre os dois métodos. Só então se compara: se os limites de concordância estiverem dentro desse intervalo clinicamente tolerável, os métodos podem ser considerados intercambiáveis; se estiverem fora, não são, por mais que o viés médio pareça pequeno. Essa decisão não é estatística — é clínica —, e defini-la depois de ver os dados invalida a conclusão. Convém ainda apresentar os intervalos de confiança dos próprios limites de concordância, que em amostras pequenas são surpreendentemente incertos.

Quando o estudo mede a repetibilidade de um único método (a mesma medida repetida nas mesmas condições), o análogo do limite de concordância é o coeficiente de repetibilidade, aproximadamente 2,77 vez o desvio-padrão intrassujeito — a diferença que separaria duas medidas do mesmo indivíduo em 95% das vezes.

ICC alto com limites de concordância largos: a aparente contradição

Uma cena que confunde muita gente: o ICC de um estudo vem alto — digamos, 0,95 — mas o gráfico de Bland-Altman mostra limites de concordância largos, clinicamente inaceitáveis. Como os dois convivem? Porque medem coisas diferentes. O ICC é uma medida relativa: ele compara o erro de medição com a variabilidade entre os sujeitos. Se a amostra é muito heterogênea — pacientes com valores espalhados por uma faixa enorme —, mesmo um erro absoluto grande parece pequeno em proporção, e o ICC fica alto. Já os limites de concordância são uma medida absoluta, em unidades reais, indiferente a quão heterogênea é a população.

A lição prática é direta: um ICC alto não garante que dois métodos sejam intercambiáveis na clínica, sobretudo se o estudo foi feito numa amostra muito variada. É por isso que, em comparação de métodos, o ICC sozinho engana e o Bland-Altman é indispensável — ele traduz o erro para a escala em que a decisão realmente acontece. Reporte os dois e interprete o Bland-Altman contra o limite clínico definido a priori.

Qual usar: um resumo

Quantos sujeitos e quantos observadores?

Estudos de concordância são, com frequência, subdimensionados. Um kappa ou um ICC calculado em 20 ou 30 sujeitos vem com um intervalo de confiança tão largo que mal distingue "moderada" de "excelente" — e um limite inferior baixo derruba qualquer conclusão. Como em qualquer estudo, o tamanho amostral deve ser calculado antes de coletar, não justificado depois.

Duas dimensões contam aqui, e não apenas uma: o número de sujeitos e o número de observadores (ou de repetições) por sujeito. Existem fórmulas e tabelas específicas — baseadas no coeficiente esperado e na largura de intervalo de confiança desejada — para dimensionar as duas. Para o kappa, o cálculo também depende da prevalência esperada das categorias, justamente por causa do efeito de prevalência discutido acima. Planejar isso evita o desfecho frustrante de um estudo de confiabilidade cujo resultado é "inconclusivo por intervalo largo".

Erros comuns

• Usar correlação de Pearson para validar um método — ignora o viés sistemático; é o erro clássico que o Bland-Altman existe para corrigir.
• Usar teste t para "provar" concordância — não significância não é concordância; diferenças que se cancelam passam despercebidas.
• Reportar "ICC = 0,85" sem dizer a forma — torna o resultado irreprodutível; informe modelo, tipo e definição.
• Interpretar o kappa sem olhar a prevalência — o paradoxo faz um kappa baixo parecer má concordância quando não é.
• Reportar o coeficiente sem intervalo de confiança — em amostras pequenas, a incerteza é o dado mais importante.
• Definir "diferença aceitável" depois de ver o Bland-Altman — transforma uma análise objetiva num exercício de justificação.
• Usar kappa não ponderado em escala ordinal — trata "estádio I vs II" e "I vs IV" como igualmente errados.
• Escolher a forma de consistência do ICC quando o certo é concordância absoluta — infla a confiabilidade ao ignorar o erro sistemático.

Como se calcula na prática

Todas essas medidas estão prontas nos pacotes estatísticos usuais. Em R, o pacote irr traz kappa2 (Cohen, com pesos), kappam.fleiss (Fleiss) e icc, permitindo especificar modelo, tipo e definição; o pacote psych tem a função ICC, que devolve as seis formas de Shrout-Fleiss de uma vez com seus intervalos de confiança; e o blandr ou o BlandAltmanLeh geram o gráfico de Bland-Altman com viés e limites. Em Python, o pingouin oferece intraclass_corr e cohen_kappa, e o statsmodels cobre o kappa. Em Stata, os comandos kap/kappa e icc resolvem os casos categórico e contínuo. O cálculo em si é trivial; o que separa um resultado publicável de um número solto é a escolha correta da ferramenta e da forma, o intervalo de confiança e o relato completo.

O que reportar

A diretriz GRRAS (Guidelines for Reporting Reliability and Agreement Studies) organiza o relato desses estudos. Em síntese, um estudo de concordância bem relatado descreve:

• Quem são os observadores, sua experiência e treinamento, e quantos são.
• O desenho: quantas medidas por sujeito, o intervalo de tempo entre medidas repetidas (relevante no teste-reteste) e o cegamento entre observadores.
• A forma exata do coeficiente: para o ICC, o modelo, o tipo e a definição; para o kappa, se é simples, ponderado (com qual peso) ou de Fleiss.
• A estimativa com intervalo de confiança de 95%, interpretada preferencialmente pelo limite inferior.
• Para dados contínuos, o gráfico de Bland-Altman com viés e limites de concordância, e a diferença clinicamente aceitável definida a priori.

Vale revisar também nossos guias de como relatar resultados estatísticos e de qual teste estatístico usar.

Checklist antes de reportar sua concordância

• A ferramenta corresponde ao tipo de variável (categórica → kappa; contínua → ICC/Bland-Altman)?
• Você evitou correlação de Pearson e teste t como medidas de concordância?
• Para o ICC, a forma (modelo, tipo, definição) está declarada em texto e notação?
• Para o kappa, a prevalência e a concordância bruta estão reportadas ao lado do coeficiente?
• Escala ordinal usa kappa ponderado, com o tipo de peso informado?
• O coeficiente vem com intervalo de confiança de 95%?
• No Bland-Altman, o viés e os limites de concordância estão no gráfico, e a diferença aceitável foi definida antes?
• O tamanho amostral (sujeitos e observadores) foi calculado na fase de desenho?