Como a gente mediu — e o que perdemos.

O que estava sendo medido

Uma coisa só, e concreta: qual das duas respostas tem mais chance de levar aquela paciente a marcar a avaliação — sem mentir para ela e sem soar como robô.

Não é uma nota de simpatia nem uma média de qualidade de texto. Cada julgamento é uma comparação direta entre duas respostas para a mesma mensagem, da mesma paciente, no mesmo ponto da mesma conversa. Uma dessas respostas é a da nossa secretária de IA; a outra é a que uma secretária humana experiente deu de verdade, no dia, no WhatsApp da clínica.

119 conversas que aconteceram de verdade

O corpus é de 119 conversas reais e anonimizadas de uma clínica de estética em operação — pacientes de verdade, com pressa, áudio, foto, pergunta de preço, dúvida clínica e desistência no meio. Nada foi escrito para o teste.

Dessas conversas saíram 477 turnos julgáveis: os momentos em que havia uma mensagem da paciente e as duas secretárias tinham o que responder. Rodamos a nossa IA nos mesmos pontos, com o mesmo histórico na mão que a humana tinha.

Doze juízes de IA — e é importante dizer que são de IA

Os 477 turnos foram divididos em 12 lotes, e cada lote foi julgado por uma instância de IA independente, com a mesma régua e sem nenhum contato com as outras. Não são doze pessoas. Preferimos escrever isso na cara do que deixar a palavra “juízes” sugerir um júri humano.

Por que assim: 477 comparações lado a lado é trabalho demais para um painel humano repetir a cada versão do produto, e a régua aplicada por pessoas diferentes escorrega. Como a medição precisa ser refeita a cada release para servir de alguma coisa, ela tinha que ser repetível e barata. O custo dessa escolha é real: um juiz de IA tem gostos próprios e pode errar como qualquer juiz. O que protege o número não é a infalibilidade dele — é a cegueira do passo seguinte.

Como garantimos que ninguém sabia quem era quem

Se o juiz souber qual resposta é da IA, o número não vale nada — para cima ou para baixo. Então a identificação é destruída antes do julgamento e só volta na hora de contar:

• Cada conversa sorteia quem é a Secretária A. O sorteio é feito pelo identificador da conversa, então em algumas a IA é a A, em outras é a B. Não há um lado “da IA”.
• O juiz recebe só o par. Mensagem da paciente, resposta A, resposta B, e quais ferramentas cada lado executou naquele turno. Sem marca, sem rótulo, sem pista de origem.
• O gabarito fica num arquivo separado, que o juiz não lê em nenhum momento.
• A apuração é feita depois, por um script que cruza os vereditos com o gabarito. É nessa hora — e só nessa hora — que se descobre quem venceu.

Os cinco critérios, nesta ordem de peso

A régua é a mesma para os dois lados e está escrita antes da medição, não depois de ver o resultado:

• Respondeu o que a paciente perguntou? Devolver pergunta com pergunta, ou ignorar um “onde fica?”, “quanto custa?”, é a falha mais grave.
• Disse a verdade? Inventar horário, preço, unidade ou condição é falha grave mesmo que a resposta soe ótima.
• Fez o que disse que ia fazer? Se prometeu “vou ver a agenda” e nenhuma ferramenta foi executada naquele turno, a ação não aconteceu — é promessa vazia.
• Conduziu para o próximo passo? Propor unidade, período ou horário concreto vale mais do que qualificar indefinidamente. Repetir uma pergunta que a paciente já ignorou é falha.
• Soa como gente? Frases curtas de WhatsApp, português correto, sem despejar texto de anúncio.

Empate é resposta legítima e foi usado: 116 dos 477 turnos terminaram empatados porque as duas resolviam igual.

O placar, dos dois jeitos

Contando turno a turno: nossa IA venceu 224, empatou 116 e perdeu 137 — saldo de +87.

Contando conversa a conversa — quem venceu mais turnos dentro de cada atendimento: nossa IA leva 62 das 119, a secretária humana leva 37, e 20 terminam empatadas.

Onde cada lado perdeu — inclusive nós

Esta é a parte que normalmente não se publica. Para cada turno perdido, o juiz teve de apontar qual foi a falha de quem perdeu. As duas listas somam exatamente as 137 derrotas nossas e as 224 dela.

Duas leituras honestas saem daí. A primeira é a que a gente exibe na home: inventar dado — o erro que faz uma clínica perder a confiança da paciente — apareceu 32 vezes do lado dela e 4 do nosso. A segunda é a que a gente prefere não esconder: a nossa maior falha específica é repetir uma pergunta que a paciente já respondeu ou já ignorou, 29 vezes. É o alvo declarado da próxima versão, e o número vai ser medido de novo por este mesmo caminho.

Vale dizer também que “silenciou” 40 vezes do lado humano não é preguiça: é uma pessoa com fila na recepção, atendendo presencialmente, sem conseguir voltar no WhatsApp. É exatamente o buraco que um sistema que não dorme fecha — e é por isso que a comparação é justa em qualidade e injusta em disponibilidade.

A mesma prova, três vezes, em três versões

O mesmo corpus e a mesma régua já rodaram outras vezes, à medida que o produto e o motor de IA por trás dele mudaram. O placar não subiu sempre — uma troca de motor derrubou o resultado para o campo negativo, e foi essa medição que mandou desfazer a troca:

As duas primeiras linhas têm dois números porque a prova foi rodada duas vezes naquelas datas. Todas as rodadas usaram 477 turnos, o que as torna comparáveis número a número.

As ressalvas que a gente faz questão de escrever