Há alguns dias, agentes de inteligência artificial em fase de testes na Anthropic, um dos três maiores laboratórios de IA do mundo, fizeram algo que nenhum engenheiro tinha pedido: enviaram uma denúncia falsa de homicídio à polícia da Filadélfia e cerca de 20 pedidos de visto ao Departamento de Estado americano, segundo o Axios. A empresa cortou o acesso desses sistemas à internet. A Casa Branca respondeu que notificar e corrigir incidentes desse tipo “não é opcional”.
Seria fácil tratar o episódio como curiosidade do Vale do Silício. Seria também um erro. A IA que a sua empresa está contratando agora já não se limita a escrever um texto para alguém revisar. Ela responde ao cliente, preenche cadastro, dispara e-mail, aprova reembolso. A pergunta deixou de ser “a IA acerta?” e passou a ser outra: quando ela age sozinha e erra, quem responde?
Em quase toda empresa que acompanho, a resposta a essa pergunta é um silêncio constrangido. E o silêncio costuma nascer de três erros de gestão, nenhum deles técnico.
Erro 1: tratar a alucinação como defeito que a próxima versão vai consertar
Em 2023, um advogado americano foi multado por entregar a um juiz uma petição com jurisprudência inventada por IA. Número de processo, nome das partes, tribunal, ano: tudo no formato perfeito. Só que os processos não existiam.
Isso não foi pane. Um modelo de linguagem não consulta um banco de fatos antes de responder. Ele calcula, palavra por palavra, a continuação mais provável para o que recebeu. E, nos bilhões de textos com que foi treinado, perguntas quase sempre são seguidas de respostas, quase nunca de “não sei”. Uma resposta plausível é estatisticamente mais provável do que uma admissão de ignorância. O tom confiante também é só mais uma previsão.
Os modelos novos erram menos, mas o mecanismo que produz o erro é o mesmo que produz tudo o que eles acertam. A decisão de gestão, portanto, não é esperar a versão sem erro. É mapear, em cada processo, onde o erro é barato e onde ele é caro. Rascunho, resumo interno, brainstorm: erro barato, use à vontade. Contrato, crédito, saúde, comunicação pública: erro caro, e ali a IA propõe e uma pessoa valida. Quem define essa fronteira é a liderança, antes do incidente. Não o estagiário, depois dele.
Erro 2: comprar “uma IA que conhece a minha empresa” pelo caminho mais caro
É o pedido que mais escuto de empresários, e a primeira proposta que chega costuma ser a mais cara: treinar um modelo exclusivo. Na maioria dos casos, não precisa. Existe uma escada de três degraus. O primeiro é o pedido bem feito, com contexto e exemplos. O segundo é entregar ao modelo, na hora da pergunta, o documento certo da empresa. Só o terceiro é ajustar o próprio modelo, e ele serve para mudar comportamento, não para ensinar fatos.
O degrau do meio resolve a maior parte das demandas e traz uma vantagem que pouca gente percebe: quando a política muda, você troca o documento e a resposta muda no dia seguinte. Mas ele também revela uma verdade incômoda. Se os seus documentos estão desatualizados ou se contradizem, a IA vai responder com a mesma confiança de sempre em cima do material errado. A IA vai ser tão boa quanto a sua gaveta de documentos. Antes de comprar tecnologia, arrume a gaveta. E pergunte a quem quer começar pelo topo da escada: o que foi testado nos dois primeiros degraus, e qual foi o resultado medido?
Erro 3: colocar um humano no circuito só para carimbar
A resposta padrão ao risco dos agentes é “um humano aprova antes”. Parece prudente. Na prática, costuma virar ritual. Um artigo recente de pesquisadores da Hugging Face, publicado na IEEE Spectrum, mostra o mecanismo: quando a pessoa recebe o plano pronto do agente e só precisa clicar em “aprovar”, a aprovação vira automática. Os autores propõem o oposto: atrito deliberado, como pedir que a pessoa registre a própria decisão antes de ver a sugestão da máquina.
A Justiça europeia já chegou à mesma conclusão por outro caminho. Em 2023, um tribunal de Amsterdã decidiu, em ações contra Uber e Ola, que a revisão humana “carimbada” de desligamentos automáticos de motoristas não conta como intervenção humana real. Supervisão não é ter uma pessoa no fluxo. É ter uma pessoa com poder real de entender, questionar e reverter.
Isso pesa ainda mais porque o direito ainda não decidiu quem paga a conta. A ACM, maior associação de profissionais de computação do mundo, publicou em junho um documento técnico afirmando que a adoção de agentes avança mais rápido do que as regras e que ainda não há jurisprudência sobre quem responde por seus danos. Nos Estados Unidos, o processo contra a Workday mostrou que o fornecedor de uma ferramenta de triagem de currículos pode ser responsabilizado. Mas quem usa a ferramenta responde sempre.
O que fazer na segunda-feira
Nada disso pede esperar o marco legal da IA, que segue parado na Câmara. Pede três decisões que cabem numa reunião de diretoria.
Primeira: mapear onde a IA já decide ou age sobre pessoas e recursos da empresa, em contratação, crédito, atendimento, pagamentos e comunicação com cliente. Esse é o território que toda lei de IA do mundo chama de alto risco.
Segunda: para cada um desses pontos, dar nome a um responsável. Não um departamento: uma pessoa, com autoridade para desligar o sistema.
Terceira: redesenhar a aprovação humana para que ela seja decisão, não clique. Se o aprovador nunca discorda da máquina, você não tem supervisão. Tem decoração.
A IA vai continuar ganhando autonomia, e isso é bom: é daí que vem o ganho de produtividade. Mas a autonomia da máquina sem dono humano não é inovação. É passivo esperando data. Automatize a tarefa, nunca a responsabilidade.
– Victoria Luz é especialista em Inteligência Artificial aplicada a negócios, fundadora da Mind AI, integrante da Google IA Community e mestranda em Inteligência Artificial Aplicada pela University of Warwick (Reino Unido).
