Qual a diferença entre um OKR de output e um de outcome em IA?

Um OKR de output mede que você fez uma coisa: lançar o chatbot, integrar o modelo, treinar a base. Um OKR de outcome mede que a coisa mudou a realidade: reduzir o tempo médio de atendimento, aumentar a taxa de resolução no primeiro contato, cortar o custo por ticket. Output você controla e é fácil de marcar como feito, mas não prova valor. Outcome é mais difícil de mover e é exatamente por isso que ele diz se a sua IA serve para alguma coisa.

Acurácia do modelo pode ser um key result?

Como key result de negócio, não. Acurácia, precisão e recall são métricas de saúde do sistema, importam para operar, mas não são o motivo pelo qual alguém quer o produto. Um modelo com 94% de acurácia que não muda nenhuma métrica de negócio é um projeto de ciência de dados bem-sucedido e um investimento fracassado. Use acurácia como métrica de acompanhamento e reserve os key results para o efeito que o negócio sente.

OKRs para IA: como medir resultado e não entrega de feature

OKRs existem para medir resultado, não atividade. Veja como escrever objetivos e key results para uma iniciativa de IA que precisa provar valor em produção.

Toda empresa que coloca IA em produção acaba, mais cedo ou mais tarde, na mesma reunião difícil: alguém pergunta se o investimento valeu a pena, e a resposta é uma lista de coisas que foram feitas. Lançamos o assistente. Integramos o modelo. Treinamos a base com os documentos. Tudo verdade, tudo entregue, e nenhuma dessas frases responde à pergunta. É exatamente para fechar esse buraco que servem os OKRs, e é exatamente em iniciativas de IA que eles são mais mal usados.

O que é um OKR, de verdade

OKR quer dizer Objectives and Key Results. O objetivo é qualitativo e inspirador, ele diz para onde você vai: "tornar o suporte da empresa rápido a ponto de o cliente não precisar mais ligar". Os key results são de dois a cinco resultados mensuráveis que provam que você chegou lá: números com meta e prazo, que ou você bate ou não bate, sem espaço para interpretação.

O método nasceu com Andy Grove na Intel, nos anos 1970, e ganhou o mundo quando John Doerr o levou ao Google e depois o descreveu no livro "Measure What Matters". A ideia central é velha e teimosa: o que separa uma organização que executa de uma que se agita é a capacidade de distinguir movimento de progresso. E o mecanismo que faz essa distinção é o key result, desde que ele meça a coisa certa.

O pecado original em IA: medir entrega

Aqui está o erro que quase todo time de IA comete. Ao escrever os key results de uma iniciativa, ele lista entregas: "lançar o chatbot no site", "colocar o modelo em produção", "cobrir 100% das categorias de ticket". Parece rigoroso, tem número e prazo. Mas é uma armadilha, porque tudo isso é output, atividade que você controla e marca como feita, e nada disso é outcome, o efeito no mundo que você quer causar.

A diferença é brutal na prática. Você pode bater todos esses key results de entrega, lançar o chatbot, colocar o modelo no ar, cobrir todas as categorias, e ainda assim não ter mudado nada que o negócio sinta. O tempo de atendimento continua igual, o cliente continua ligando, o custo continua subindo. Você "atingiu os OKRs" e falhou no que importava. Esse é o mecanismo silencioso por trás de tanta iniciativa de IA que parece um sucesso no relatório e um fracasso no caixa.

Output é o que você faz. Outcome é o que muda porque você fez. OKR que mede output dá a sensação de progresso sem o progresso.

Como fica um key result de IA que presta

Volte ao objetivo e pergunte: se isso der certo, o que muda que dá para medir? Para uma iniciativa de suporte com IA, os key results de outcome seriam algo como reduzir o tempo médio de resolução de 18 para 6 minutos, elevar a taxa de contenção (tickets resolvidos sem humano) de 20% para 55%, cortar o custo por ticket em 40%, mantendo a satisfação do cliente acima de um piso definido. Repare em dois detalhes. Primeiro, cada um mede um efeito, não uma tarefa. Segundo, há uma métrica de contrapeso, a satisfação, para você não "ganhar" o número principal degradando a experiência. Key result de IA sem métrica de guarda vira incentivo para automatizar de qualquer jeito.

E a acurácia do modelo, onde entra? Como métrica de saúde, não como key result de negócio. Acurácia, precisão e recall importam para operar o sistema, mas ninguém contrata a sua empresa nem economiza um centavo porque o modelo tem 94% de acerto. Um modelo lindo de acurácia que não move nenhuma métrica de negócio é um projeto de ciência de dados bem-sucedido e um investimento fracassado. Mantenha essas métricas no painel de acompanhamento e reserve os key results para o que o negócio sente.

O encaixe com o resto do método

OKR não vive sozinho, ele conversa com as outras ferramentas de quem opera IA com seriedade. Antes de escrever o objetivo, vale ter clareza de qual tarefa você está de fato contratando a IA para fazer, senão você mede o resultado errado com precisão. E depois de definir os key results, eles viram o critério concreto para responder à pergunta que decide se a sua IA serve para alguma coisa: a IA está adequada ao propósito se, e só se, ela move os números que você prometeu mover.

Há também uma disciplina de cadência. OKR não é planejamento anual que dorme na gaveta, é ciclo curto, tipicamente trimestral, com checagem frequente. Em IA isso é ainda mais importante porque o terreno muda rápido: modelo novo, custo que cai, comportamento que deriva. Revisar os key results a cada poucas semanas te dá a chance de perceber cedo que o número não está se movendo, e de agir enquanto ainda dá tempo, em vez de descobrir no fim do trimestre que o piloto não virou nada. Não à toa, medir outcome desde o primeiro dia é uma das poucas coisas que separa os pilotos de IA que viram produção dos que morrem no caminho.

O resumo que cabe numa reunião

Escreva o objetivo como o destino que o negócio quer alcançar. Escreva os key results como os efeitos mensuráveis que provam que você chegou, nunca como as tarefas que você vai executar. Ponha ao menos uma métrica de guarda para não ganhar o número errado. Trate acurácia e afins como saúde do sistema, não como meta de negócio. E revise em ciclo curto, porque em IA o chão se mexe. Feito isso, a reunião difícil do começo deste texto muda de tom: em vez de uma lista de coisas feitas, você chega com uma frase que ninguém contesta, "reduzimos o custo por atendimento em 40% mantendo a satisfação", e essa é a única resposta que a pergunta sobre valor aceita.

Se a sua empresa tem uma iniciativa de IA rodando e você não consegue dizer em uma frase qual número ela moveu, fale com a gente no WhatsApp para desenhar OKRs de outcome que provem o valor.