Chip Huyen: avaliar é o gargalo real da IA em produção

Há uma frase de Chip Huyen que devolve o debate sobre IA ao lugar certo. A IA facilita construir, mas a parte difícil continua sendo saber o que construir. Ela aparece citada em textos de produto por toda a indústria, e resume a tese que a autora vem defendendo em livro: o gargalo da IA em produção não é mais o modelo nem a infraestrutura, é a avaliação. Quando qualquer time consegue gerar uma funcionalidade de IA numa tarde, o que separa produto de brinquedo passa a ser a capacidade de medir se aquilo é bom.

Quem é Chip Huyen e por que ouvi-la

Chip Huyen é engenheira e autora de AI Engineering: Building Applications with Foundation Models, publicado pela O'Reilly e que se tornou um dos títulos mais lidos da plataforma. Antes disso escreveu Designing Machine Learning Systems, referência de quem coloca aprendizado de máquina em operação. O ângulo dela não é o do pesquisador que treina modelo do zero, é o do engenheiro que constrói aplicação sobre modelo de fundação, que é exatamente onde a maioria das empresas está hoje. Por isso ela vale como voz nesta editoria: fala de dentro do problema de produção, não da tese de laboratório.

A distinção que ela faz entre engenharia de IA e engenharia de aprendizado de máquina é mais do que semântica. No mundo antigo, o trabalho duro era treinar e ajustar o modelo. No mundo dos modelos de fundação, o modelo vem pronto, e o trabalho duro migra para outro lugar: escolher o problema certo, montar o contexto certo e, sobretudo, avaliar se a saída serve. É uma realocação de onde mora a dificuldade, e quem não percebeu isso continua otimizando a etapa que deixou de ser o gargalo.

A avaliação como gargalo

O ponto mais forte de Huyen é incômodo para muito time: avaliação é a parte mais difícil e mais negligenciada da IA em produção. É fácil entender por quê. Avaliar código tem gabarito, o teste passa ou falha. Avaliar a resposta aberta de um modelo não tem resposta única. A saída pode estar certa de dez formas e errada de mil, e medir isso exige critério explícito, dado de referência e método. Como dá trabalho, a maioria pula essa etapa e confia no olho, o que funciona na demonstração e desmorona na escala.

A IA facilita construir, mas a parte difícil continua sendo saber o que construir.

É aqui que a tese dela conversa com o desconforto do mercado. O setor inteiro percebeu que a IA aumenta a velocidade de entrega sem aumentar, na mesma proporção, a qualidade do resultado. Marty Cagan chamou isso de paradoxo da produtividade da IA e citou justamente Huyen ao explicá-lo. A leitura das duas vozes se encaixa: se construir ficou barato, o diferencial se desloca para saber o que construir e para conseguir provar que o que foi construído funciona. Avaliação é o instrumento dessa prova.

Desenvolvimento guiado por avaliação

A resposta prática que Huyen propõe é inverter a ordem de trabalho. Em vez de construir a funcionalidade e testar no fim, você define primeiro como vai medir se a saída é boa, e só então constrói. É o desenvolvimento guiado por avaliação, um paralelo direto ao desenvolvimento guiado por teste que a engenharia de software já conhece. A avaliação deixa de ser uma etapa final de controle de qualidade e passa a guiar o produto, dizendo a cada iteração se você está indo para frente ou para trás.

Na prática, isso significa ter um conjunto de casos de referência antes de escrever a primeira chamada ao modelo. Significa definir o que conta como resposta aceitável para o seu caso de uso específico, com números, não com sensação. E significa medir de novo a cada mudança de prompt, de modelo ou de contexto, porque uma troca que melhora um caso costuma piorar outro, e sem avaliação você nem percebe.

Para as saídas abertas, onde montar gabarito é caro, Huyen documenta a abordagem crescente de usar IA como juiz: um modelo avalia a saída de outro segundo critérios definidos. É útil e escala, mas ela é honesta sobre o limite. O juiz também erra, também tem viés, e precisa ser calibrado contra julgamento humano em uma amostra. Não é botão mágico, é uma ferramenta que exige o mesmo rigor de qualquer instrumento de medição.

Nossa leitura para quem opera IA no Brasil

A tese de Huyen aterrissa em três decisões concretas para um time brasileiro colocando IA em produção.

A primeira é começar pela régua. Antes de aprovar um projeto de IA, exija a definição de como o sucesso será medido, com casos de referência e um número mínimo aceitável. Se o time não consegue descrever como vai avaliar a saída, ele ainda não entendeu o problema, e construir agora só vai gerar retrabalho caro.

A segunda é tratar avaliação como ativo, não como tarefa. Um bom conjunto de avaliação, específico do seu domínio, é o que permite trocar de modelo sem medo, testar um prompt novo em minutos e provar valor para quem paga a conta. Ele se valoriza com o tempo, enquanto o modelo do momento se desvaloriza. Investir nele é investir na autonomia da operação.

A terceira é desconfiar da velocidade sem medida. A facilidade de construir com IA é real e é uma boa notícia, mas ela seduz o time a correr sem saber para onde. Como Huyen deixa claro, o gargalo não é mais a mão de obra de construir, é o discernimento de saber o que vale construir e a disciplina de comprovar que funciona. Essa parte a IA não faz por você.

Se você quer montar um conjunto de avaliação para os seus casos de uso de IA e parar de decidir no olho, fale com a AI Boutique no WhatsApp. A gente ajuda a transformar sensação em número.