Um estudo da Tech for Humans identificou uma fragilidade na forma como empresas vêm implementando inteligência artificial no atendimento ao cliente. Segundo o levantamento, a combinação de instruções de negócio com regras técnicas de segurança pode levar a erros em até 57,7% dos casos quando o usuário sai do tema principal da conversa.
A análise considerou dezenas de milhares de execuções experimentais com o objetivo de entender por que assistentes baseados em modelos de linguagem apresentam comportamentos distintos: em alguns casos, permitem tentativas sofisticadas de manipulação; em outros, bloqueiam usuários legítimos por excesso de restrição.
Para Fernando Wolff, CEO da Tech for Humans, o problema não está apenas no modelo adotado, mas na estrutura que orienta a tomada de decisão. “O mercado está focado em escolher o modelo mais avançado, mas ignora a engenharia de decisão. Quando você mistura regra de negócio com regra de segurança, você cria um conflito interno no sistema. A IA passa a julgar relevância como se fosse ameaça”, afirma.
De acordo com o estudo, a falha ocorre quando a camada de segurança — conhecida como Guardrail — passa a atuar também como filtro de escopo comercial. Em vez de se limitar à mitigação de riscos técnicos, como tentativas de manipulação ou vazamento de dados, ela passa a definir o que é ou não pertinente ao negócio.
“Guardrail não é filtro de assunto. Ele existe para proteger a integridade técnica do sistema. Quando você delega a ele a lógica de negócio, a chance de erro cresce exponencialmente”, diz Wolff.
Na prática, esse acúmulo de funções torna o sistema mais restritivo e aumenta a ocorrência de falsos positivos, ou seja, bloqueios indevidos de usuários legítimos. Em operações de atendimento em larga escala, esse tipo de situação pode afetar indicadores como conversão, retenção e percepção de marca.
“O maior dilema das empresas hoje não é apenas evitar ataques. É escalar atendimento sem criar uma IA que bloqueia clientes legítimos por medo de errar”, analisa o executivo. “Se o sistema fica conservador demais, ele protege, mas prejudica a experiência. E experiência ruim tem impacto direto na receita”, acrescentou.
Como alternativa, o estudo sugere a separação das funções: a camada de segurança deve atuar exclusivamente na mitigação de riscos técnicos, enquanto o agente principal fica responsável por gerenciar escopo, regras de negócio e a utilidade da interação.
“Segurança precisa ser binária e técnica. Escopo é decisão semântica. Quando você separa essas duas dimensões, você reduz atrito e aumenta robustez ao mesmo tempo”, afirma Wolff. “A grande descoberta do estudo é que proteger melhor não significa bloquear mais. Significa arquitetar melhor”, concluiu.
