Confiança cega na resposta
O modelo afirma coisas com confiança mesmo quando nao sabe; nao use a resposta como fonte de verdade.
Um modelo de linguagem produz o texto mais plausivel, nao o verdadeiro. Quando nao sabe, ele raramente diz "nao sei": ele preenche a lacuna com uma resposta que soa segura. E modelos tendem a concordar com o que o usuário afirma com firmeza. As duas coisas juntas fazem o modelo dar um veredito errado com toda a confiança.
O problema de segurança aparece quando o sistema confia nessa resposta. Se o app usa o modelo como porteiro ("este pedido pode ser reembolsado? responda SIM ou NAO") e age no que ele responde, basta o cliente afirmar com convicção que tem direito para o modelo concordar e o reembolso sair, contra a politica real.
A defesa nao é um prompt melhor, é nao tratar o modelo como autoridade. Para uma decisão que importa, confira a resposta contra a fonte canônica (a politica, o banco de dados, a regra escrita), peça que o modelo cite de onde tirou, e mantenha um humano no circuito para o que tem consequência. O modelo sugere; o sistema confere.