O que é preciso para confiar um trabalho real a um agente de IA

A maioria dos produtos de segurança para IA parte de uma lista de ameaças e adiciona um recurso para cada uma. As listas de ameaças crescem todo mês, então um produto construído assim está sempre um passo atrás. Há um ponto de partida mais firme: o próprio agente, o que ele é e o que precisaria ser verdade para que uma empresa pudesse confiar a ele um trabalho real.

Um agente lê, decide e age. Ele envia o e-mail, atualiza o registro, chama o serviço de pagamentos, usando as credenciais que a sua empresa lhe deu.

Por isso, o risco de um agente não está no que ele diz. Está no que ele consegue alcançar, na velocidade com que age e em quanto tempo alguém leva para perceber quando algo dá errado.

Essa única observação descarta muita coisa. Um filtro que só lê o que uma pessoa digita em um chat deixa de ver a parte que importa, que é o que o agente faz depois.

Nenhuma ferramenta consegue ler o propósito por trás de uma ação. O que pode ser lido, de forma confiável e sempre, é a própria ação: a ferramenta chamada e com quais argumentos, o destino de uma requisição de saída, o conteúdo de uma chamada a um modelo.

Por isso o Excubitor controla no ponto da ação.

Dentro da aplicação, ou em um gateway diante dos servidores de ferramentas, cada chamada é checada antes de ser executada: contra a política do agente, contra os destinos que a empresa permitiu e em busca de instruções escondidas no que o agente recebeu. As checagens são determinísticas e rápidas, porque um controle que acrescenta segundos a cada ação não continua ligado.

Daí decorre que o conteúdo que um agente lê não é confiável. Um documento, um e-mail ou a resposta de uma ferramenta podem trazer instruções escritas por outra pessoa. O Excubitor trata isso assim: uma ferramenta cuja descrição esconde uma instrução é retirada da lista do agente, e uma resposta que traz uma é retida antes que o agente a leia.

Se um agente pode agir por conta própria, alguém precisa poder pará-lo por conta própria, e essa parada não pode depender de o agente concordar.

No Excubitor, uma execução que entra em loop ou dispara é contida por regra. Qualquer pessoa da equipe pode congelar um agente, e a próxima chamada dele é recusada. Liberá-lo exige um administrador e uma nota. Tudo o que não pode ser desfeito, como um pagamento ou uma exclusão, aguarda a aprovação de uma pessoa identificada. Parar é automático apenas onde pode ser revertido.

Depois de um incidente, ou diante de um auditor, a pergunta é o que aconteceu. Um log que as pessoas sob análise poderiam ter alterado não responde nada.

Por isso cada ação entra em um livro de registros em que cada entrada é encadeada à anterior, e a cadeia é assinada a cada hora.

No nosso serviço hospedado, qualquer entrada individual vem com uma prova curta que qualquer pessoa pode checar offline com a nossa chave pública, sem acesso ao console e sem confiar em nós. As entradas guardam impressões digitais do que foi enviado e recebido, nunca o conteúdo, para que o registro de segurança não vire uma segunda cópia dos dados da empresa.

Gerenciado com evidência, nunca na base da fé.

Algumas empresas podem enviar registros a um serviço hospedado. Outras não podem deixar nada sair da própria nuvem, e algumas operam redes sem nenhuma saída. Um controle que só funciona na nuvem do fornecedor é um controle que essas empresas não podem usar.

O Excubitor roda hospedado, na nuvem do próprio cliente ou totalmente isolado, a partir de um pacote assinado que é checado antes da instalação.

Sem acesso permanente do fornecedor, nunca.

Resta uma pergunta: o que acontece quando a própria checagem não pode rodar. Uma ferramenta de segurança precisa então escolher entre parar o negócio ou deixar o trabalho seguir.

Por padrão, o Excubitor deixa o agente continuar e registra a lacuna, para que a queda de uma ferramenta de segurança nunca seja a queda da empresa.

Uma equipe que prefira parar pode configurá-lo para falhar fechado.

O que tudo isso soma

Juntos, eles descrevem o produto:

• Controle na ação: chamadas de ferramentas, conexões de saída e chamadas ao modelo, checadas antes de acontecerem.
• Parar sem cooperação: contenção por regra, congelamento por uma pessoa, ações irreversíveis retidas até a aprovação.
• Evidência que não depende de confiança: um livro de registros encadeado e assinado, com provas por entrada no nosso serviço hospedado.
• Implantação onde os dados estão: hospedado, na nuvem do cliente ou isolado.
• Falhas que não derrubam o negócio: a lacuna é registrada e o trabalho continua, a menos que o cliente escolha outra coisa.

O que ele não faz

O mesmo raciocínio define os limites. O Excubitor registra o que um agente fez e nunca afirma julgar o que o agente quis fazer. Suas checagens pegam os padrões que conhecem; um atacante paciente o bastante para ficar dentro do comportamento normal não vai disparar um limite em tempo real, e por isso cada agente também é comparado com o próprio comportamento habitual ao longo do tempo. E ele roda dentro da aplicação, então é combinado com a política de rede, não oferecido no lugar dela.

Se você está decidindo se a sua empresa pode confiar trabalho real a agentes de IA, comece pelo agente, não pela lista de ameaças. Teremos prazer em mostrar como o Excubitor se comporta com um agente da sua própria empresa.