Error budget: o orçamento de falhas da sua IA em produção

Todo time que coloca IA em produção esbarra na mesma parede: o modelo vai errar, e ninguém combinou o quanto de erro é aceitável. Sem esse número, cada falha vira briga. Produto quer lançar, operação quer travar, e a discussão acontece no pior momento possível, no meio do incêndio. O SRE, a engenharia de confiabilidade que o Google popularizou, resolveu esse impasse para software tradicional com uma ideia simples chamada error budget, o orçamento de erro. Ela se aplica a IA quase sem tradução, e resolve um problema que a IA torna ainda mais agudo.

O que é um error budget

A conta é elementar. Você define uma meta de confiabilidade, o SLO, digamos 99,9% de requisições bem-sucedidas por mês. O complemento dessa meta, os 0,1% que faltam para 100%, é o seu error budget: a quantidade de falha que você tem permissão para gastar naquele período. Não é uma falha que você quer, é uma falha que você aceita, contabilizada como um orçamento finito.

A genialidade do conceito, descrita no livro de SRE do Google, é o que ele faz com os incentivos. Enquanto sobra orçamento, o time de produto tem liberdade total para lançar, experimentar e arriscar, porque há margem para absorver tropeço. No momento em que o orçamento acaba, a regra combinada de antemão entra em vigor: congela lançamento e todo mundo foca em estabilizar até o orçamento se recompor no período seguinte. Ninguém precisa negociar no calor da hora. A política foi decidida com a cabeça fria, antes da crise, e vira um contrato entre quem constrói e quem opera.

Por que IA precisa disso mais do que software comum

Software tradicional é determinístico: dada a mesma entrada, ele devolve a mesma saída. Quando erra, é bug, e bug se conserta até sumir. IA é outra natureza. Um modelo de linguagem é probabilístico por construção. Ele não tem um estado "sem bug" para onde convergir. Ele tem uma distribuição de acertos e erros que você pode melhorar, mas nunca zerar. Perseguir 100% de acerto num sistema de IA não é ambição, é desperdício: cada nono adicional de confiabilidade custa exponencialmente mais e, ainda assim, não elimina a falha.

O error budget aceita essa realidade de frente. Em vez de perguntar "como faço a IA nunca errar?", ele pergunta "quanto erro este caso de uso tolera, e o que acontece quando eu chegar lá?". Um assistente que sugere resposta a atendente humano tolera muito erro, porque tem gente no loop. Um agente que aprova crédito ou dispara comunicação a cliente tolera pouquíssimo. O mesmo modelo, os mesmos 96% de acerto, significam coisas opostas nesses dois contextos. O orçamento força você a decidir isso explicitamente, por caso de uso, em vez de fingir que existe uma régua única de qualidade.

Sem error budget, cada erro da IA vira uma discussão. Com ele, o erro vira um número que você sabe quando ainda cabe e quando já estourou.

Como montar o seu, na prática

Comece escolhendo o indicador certo, o SLI. Não é "acurácia" no vácuo, é a métrica que representa sucesso para aquela tarefa: proporção de respostas factualmente corretas, taxa de extração sem alucinação, fração de tickets resolvidos sem escalar. O indicador precisa ser mensurável em produção, não só no laboratório. Depois defina o SLO, a meta, ancorada no que o negócio realmente aguenta, não no que soa bonito em slide. O orçamento é o que sobra.

O passo que a maioria pula é definir o gatilho de estouro e o que ele aciona. Aqui está a diferença entre IA e software comum. Quando um site estoura o orçamento, você congela deploy. Quando uma IA estoura, o gatilho deve ligar mecanismos específicos: aumentar a fração de saídas que passam por revisão humana, reduzir a autonomia do agente, cair para um modelo mais conservador ou acionar rollback para a versão anterior do prompt ou do modelo. O estouro não deveria disparar uma reunião, deveria disparar uma ação automática combinada.

Acompanhe também a taxa de queima, o burn rate. Gastar o orçamento do mês inteiro em dois dias é um alarme diferente de gastá-lo devagar ao longo de trinta. Queima rápida sinaliza regressão, mudança de dado ou fornecedor que degradou, e merece atenção imediata mesmo com orçamento ainda no positivo. Essa disciplina de instrumentar e observar ao longo do tempo é prima das métricas DORA aplicadas a IA: você para de medir esforço e passa a medir resultado e estabilidade.

Há uma razão mais profunda para adotar o orçamento, e ela conversa com o paradoxo da confiabilidade de Cassie Kozyrkov. Quando a IA fica muito boa, o time relaxa e para de conferir, e a falha rara chega sem vigilância. O error budget é a defesa estrutural contra isso: ele mantém a verificação viva por contrato, não por disciplina individual. Enquanto há orçamento, você confia; quando ele aperta, o sistema obriga todo mundo a voltar a olhar. A confiança deixa de depender do humor da equipe e passa a depender de um número.

Nada disso exige ferramenta cara nem time de SRE dedicado. Exige a decisão, tomada antes do incêndio, sobre quanto erro cada caso de uso aceita e o que fazer quando esse limite chegar. Empresas que operam IA de verdade não são as que prometem que a IA nunca erra. São as que sabem, com precisão, quanto erro ainda cabe no mês e têm um plano escrito para o dia em que não couber mais.

Se você quer definir o error budget dos seus casos de uso de IA e a política de estouro que aciona revisão e rollback automaticamente, fale com a AI Boutique no WhatsApp. A gente ajuda a transformar qualidade vaga em um número que o time sabe operar.