Autonomia em excesso
Dê ao agente só as ferramentas e as permissões que ele precisa; o executor é que decide o que roda, nao o modelo.
Um agente é um LLM ligado a ferramentas: funções que o app roda quando o modelo pede (consultar um pedido, enviar um e-mail, emitir um reembolso). O modelo nao executa nada sozinho; ele devolve "use a ferramenta X com o argumento Y", e um executor do app roda a função. Autonomia em excesso é dar ao agente mais ferramentas, mais alcance ou mais permissão do que a tarefa dele exige.
O perigo é a soma com a injeção de prompt. Se o modelo pode ser levado a pedir qualquer ferramenta, e o executor roda o que o modelo pedir, entao uma entrada maliciosa chega a uma ação perigosa. Um assistente que devia ser só de leitura, mas cujo executor também aceita "emitir reembolso", é um reembolso a uma frase de distância.
O conserto nao é no prompt, é no executor: uma lista de permissão do que aquele agente pode chamar, cada ferramenta com o menor escopo (só leitura, só este cliente), e humano no circuito para o que é irreversivel. Mesmo que o modelo seja enganado, o executor recusa a ferramenta que nao devia existir ali.