Trilhões em IA, e a Amazon avisou: medir pelo uso é falho

O que a Amazon escreveu

O texto é uma orientação nova para os engenheiros de software da Amazon. Quem assina é Terk Terkowitz, vice-presidente da empresa, que escreveu junto com outros engenheiros do topo da carreira técnica. A orientação já circulava internamente desde setembro, e a Amazon publicou no site na terça.

O trecho que chamou atenção fala das métricas que muita empresa usa hoje para saber se a IA está pegando: quantos tokens cada pessoa consome (token é a unidade que mede quanto texto a IA lê e escreve), quantas pessoas adotaram a ferramenta, quantas linhas de código a IA gerou, quantas alterações e revisões foram feitas.

Sobre elas, a Amazon escreveu: "Todos sabemos o quanto essas métricas são profundamente falhas, principalmente porque estão desconectadas do que importa." E completa que, usadas como meta e não como medida, elas podem levar a resultados ruins: mais custo e mais complexidade.

O que a empresa quer no lugar está em outra frase: "Acreditamos que o melhor é medir, e ser medido, por resultados de longo prazo." Para a Amazon, resultado é o efeito no cliente, no negócio e na equipe.

E tem uma terceira frase que vale guardar: "Se o seu trabalho não se beneficia das ferramentas de IA atuais, isso é uma descoberta, não uma falha." Segundo o texto, o engenheiro que consegue explicar onde a IA ainda não ajuda está mostrando exatamente o julgamento que a empresa quer.

A Amazon não aboliu a métrica de uso

Vale ser preciso aqui, porque muita manchete exagerou. A Amazon não proibiu ninguém de medir uso. O próprio documento diz que essas métricas ainda podem ser usadas, "com cuidado e julgamento". O que ela condena é transformar o uso em meta.

A diferença parece pequena e não é. Medir quanto a equipe usa a IA é como olhar o termômetro: ajuda a entender o que está acontecendo. Dar bônus para quem usa mais é como premiar quem deixa o termômetro mais quente. As pessoas aprendem rápido a esquentar o termômetro.

A Amazon aprendeu isso na prática

A empresa não chegou a essa conclusão na teoria. Em maio, ela tirou do ar um ranking interno que funcionários criaram para mostrar quem mais usava o Kiro, a ferramenta de programação com IA da própria Amazon. O ranking acabou estimulando o que nos Estados Unidos ganhou o apelido de "tokenmaxxing": usar a IA o máximo possível para aparecer bem no painel, sem perguntar se aquilo dava algum resultado. O consumo subiu, e o custo junto.

É uma regra antiga da gestão, que os economistas chamam de lei de Goodhart: quando uma medida vira meta, ela deixa de ser uma boa medida. Vale para vendedor que bate meta de ligação sem vender, e vale para equipe que bate meta de uso de IA sem entregar nada melhor.

O mercado fez a mesma pergunta na mesma semana

O que os investidores cobraram das gigantes nessa semana é, no fundo, o que a Amazon cobrou dos próprios engenheiros: cadê o resultado?

A Alphabet caiu quase 13% na quinta-feira, 29 de outubro. O balanço mostrou um gasto com IA e data centers tão alto que a empresa gastou mais dinheiro do que gerou no trimestre, e ainda admitiu que o modo de busca com IA do Google traz menos dinheiro de anúncio do que a busca tradicional. Ou seja: mais gasto e, por enquanto, menos receita no produto que mais dá dinheiro.

A Intel caiu na sexta por um motivo que mostra o tamanho da onda. Os data centers de IA estão comprando tanta memória que o computador comum ficou mais caro e está vendendo menos, e a Intel depende muito da venda de computador. A previsão dela é que as vendas de PC caiam cerca de 12% em 2026.

Na semana passada, mostramos aqui que a Apollo não encontrou sinal de retorno da IA nas empresas fora da tecnologia. Nesta semana, a desconfiança chegou às próprias gigantes. E nenhuma delas está pedindo para gastar menos com IA. A Amazon já avisou que vai gastar ainda mais em 2027. O que mudou é que ninguém aceita mais o gasto como prova de que está dando certo.

Como isso aparece no escritório do Mário

Imagine o Mário, que tem quinze anos de experiência e coordena o atendimento de uma empresa de planos de saúde. No começo do ano, a diretoria comprou uma ferramenta de IA para toda a equipe e passou a acompanhar um painel: quantas pessoas entraram, quantas perguntas fizeram, quantas respostas a IA escreveu.

Em seis meses, o painel está lindo. Noventa por cento da equipe usa toda semana. Na reunião de resultados, o número aparece no slide, todo mundo comemora, e ninguém pergunta o que interessa: o cliente está sendo atendido mais rápido? Voltam menos reclamações? A equipe tem mais tempo para os casos difíceis?

Ninguém sabe, porque ninguém mediu isso antes de a ferramenta chegar. E, como o painel premia o uso, a equipe passou a abrir a IA até para o que fazia melhor e mais rápido sem ela.

A culpa não é do Mário nem da equipe. Foi isso que ensinaram: compre a ferramenta, espalhe pela empresa e acompanhe a adoção. O painel de uso vem pronto com a ferramenta. O painel de resultado ninguém entrega, porque ele depende de uma coisa que só a empresa tem: saber como o trabalho é feito.

Por que medir resultado começa pelo processo

Aqui está o ponto que a orientação da Amazon não diz com essas palavras. É uma leitura minha, não dela: só dá para medir o resultado de um trabalho que está escrito.

Para saber se a IA deixou o atendimento mais rápido, é preciso saber quanto tempo ele levava antes, em que etapa trava e o que conta como atendimento bem feito. Isso é processo. Sem processo escrito, a única coisa que dá para contar é o uso, porque é a única coisa que a ferramenta registra sozinha.

Por isso a empresa que trabalha no improviso acaba medindo uso: não é preguiça, é falta de outra coisa para medir. E a empresa com processo mede resultado quase sem esforço, porque já sabe onde olhar.

O que fazer na segunda-feira

Pegue uma tarefa em que a equipe já usa IA e troque a pergunta "quem está usando?" por "o que melhorou?":

• Escreva a tarefa em passos: o que entra, o que acontece em cada etapa e o que sai no fim.
• Escolha dois ou três números de resultado, não de uso: tempo do começo ao fim, quantos erros ou retrabalhos voltam, quantas entregas saem por semana.
• Se ainda não tem o número de antes, meça agora uma semana sem mexer em nada. É o seu ponto de partida.
• Marque em que passo a IA entra e em que passo uma pessoa confere.
• Depois de 30 dias, compare. Se a IA não ajudou em algum passo, anote: como diz a Amazon, isso é uma descoberta, não uma falha.
• Se a empresa acompanha um painel de uso, mantenha, mas como termômetro. Nunca como meta nem como bônus.

A semana mostrou duas coisas ao mesmo tempo. As maiores empresas do mundo vão continuar gastando trilhões com IA. E o mercado parou de aceitar só o gasto como sinal de que está dando certo.

A Amazon, que gasta mais do que quase todo mundo, chegou à mesma conclusão por dentro: uso não é resultado. Para uma empresa comum, a lição é ainda mais simples. Antes de perguntar quanto a equipe usa a IA, escreva como o trabalho é feito e o que conta como trabalho bem feito. Processo antes da ferramenta, e resultado antes do uso.