Uma IA que responde uma pergunta pode errar e produzir uma resposta ruim. Uma IA que age dentro de um sistema pode errar e cancelar um pagamento, alterar um cadastro, disparar uma mensagem para a base errada ou abrir uma solicitação que ninguém aprovou.

Essa é a diferença entre usar IA como interface e usar IA como parte da operação.

Nos últimos dias, empresas de segurança passaram a tratar esse segundo cenário como uma categoria própria. A Cisco anunciou recursos de red teaming e observabilidade para agentes. A CrowdStrike apresentou um mecanismo de interrupção e controle para ações de IA. O recado por trás das novidades é simples: quando um modelo ganha ferramentas, permissões e capacidade de executar, ele precisa ganhar também limites técnicos.

A pergunta certa não é se a empresa deve usar agentes. É esta:

quem consegue interromper a IA quando a execução sai do previsto?

Um agente não é apenas um modelo

Uma LLM, ou Large Language Model, é um modelo que interpreta contexto e produz texto, código ou uma decisão provável. Ela não é, por si só, uma aplicação com autoridade para mudar um sistema.

O agente aparece quando essa capacidade de raciocínio é conectada a um conjunto de ferramentas. Ele pode buscar um cliente, consultar estoque, montar um relatório, criar uma tarefa, enviar uma mensagem ou chamar uma API.

Na prática, um agente em produção reúne pelo menos cinco camadas:

O modelo trabalha com probabilidade. A ferramenta, porém, executa uma ação determinística. Se o agente chama cancelar_pagamento(id), o sistema não interpreta intenção: ele cancela ou bloqueia.

Por isso, uma boa arquitetura separa duas coisas que frequentemente são misturadas: a IA pode propor uma ação; a aplicação precisa autorizar essa ação.

Kill switch não é um botão vermelho

O termo kill switch parece dramático, mas descreve uma necessidade bem prática: interromper a capacidade de execução antes que um comportamento inesperado vire impacto operacional.

Em um sistema real, isso não deveria ser apenas um botão na tela. Precisa ser um conjunto de controles capazes de:

O detalhe importante é que a interrupção deve ocorrer fora do modelo. Pedir para a própria IA "pare de agir" é uma instrução. Revogar a permissão dela para chamar uma API é um controle.

Essa diferença é a mesma que existe entre esconder um botão no navegador e validar a permissão no servidor. A interface pode orientar o uso. A regra que protege a operação precisa estar onde a execução acontece.

Menor privilégio também vale para IA

O princípio do menor privilégio diz que uma identidade deve receber apenas o acesso necessário para cumprir sua função. Não é uma regra nova de cibersegurança. O que mudou é que agora o agente também precisa ter uma identidade própria.

Um agente que responde dúvidas de clientes não precisa ter acesso ao financeiro. Um agente que gera rascunhos de relatório não deve editar dados de produção. Um agente que cria tarefas não precisa apagar projetos.

Na prática, isso pede decisões arquiteturais claras:

Em vez de entregar executar_sql(query) a um agente, é mais seguro oferecer funções como listar_pedidos_em_atraso() ou criar_solicitacao_de_compra(dados). A segunda opção reduz o espaço de ações possíveis e deixa a intenção auditável.

Nem toda ação merece a mesma autonomia

Autonomia não é uma escolha binária. Ela pode variar conforme o impacto da decisão.

Uma classificação simples ajuda a desenhar o fluxo:

  1. Consulta: o agente lê dados e responde. Não altera nada.
  2. Ação reversível: cria uma tarefa ou prepara um rascunho, com possibilidade de correção.
  3. Ação sensível: atualiza um cadastro relevante, envia comunicação externa ou movimenta uma fila. Exige regra adicional e registro.
  4. Ação crítica: aprova pagamento, exclui dados, altera permissão ou fecha um contrato. Exige aprovação humana e autenticação reforçada.

É aqui que entram dois termos úteis. Human in the loop significa que uma pessoa aprova antes de a ação ser executada. Human on the loop significa que a IA executa dentro de limites, enquanto uma pessoa acompanha, recebe alertas e pode intervir.

O primeiro faz sentido para decisões de alto impacto. O segundo pode ser adequado para ações repetitivas, reversíveis e bem delimitadas.

Observabilidade é mais do que saber se funcionou

Em software, observabilidade é a capacidade de entender o comportamento interno de um sistema a partir de seus registros, métricas e rastros. Para agentes de IA, isso não se resume a guardar a resposta final.

Uma execução precisa registrar, de maneira protegida e proporcional:

Esses dados ajudam a descobrir se um agente falhou, repetiu uma tarefa, recebeu uma instrução maliciosa ou tentou uma ação fora do seu escopo. Também permitem melhorar o processo sem depender de impressão ou memória de quem acompanhou o caso.

Há um cuidado necessário: observar não significa armazenar tudo sem critério. Prompts, documentos e respostas podem conter dados pessoais ou informações estratégicas. A trilha de auditoria precisa seguir retenção, mascaramento, controle de acesso e LGPD.

O teste real começa antes da produção

Antes de liberar um agente, a empresa precisa testá-lo como testaria qualquer parte exposta da operação. Isso inclui simular situações que não aparecem na demonstração:

Esse exercício é chamado de red teaming. Em vez de esperar que alguém encontre uma falha na operação, a própria empresa tenta provocar o desvio em ambiente controlado. O objetivo não é provar que a IA é perfeita. É descobrir onde o sistema precisa de uma barreira, aprovação ou regra melhor.

A autonomia precisa de dono

Agentes podem reduzir trabalho repetitivo, responder mais rápido e preparar decisões com mais contexto. Esse valor aparece quando a IA é colocada perto do processo real, não quando recebe acesso ilimitado a tudo.

Antes de delegar uma ação a um agente, vale responder três perguntas:

quais decisões ele pode apoiar, quais ações ele pode executar e quem consegue interrompê-lo?

A IA pode ser autônoma. A responsabilidade não.

Referências