Pular para o conteúdo
Todos os conceitos

Injeção de prompt indireta

A instrução maliciosa nao vem do usuário, vem de um documento que o app manda o modelo ler.

Na injeção direta, quem ataca é quem está conversando. Na injeção indireta, a instrução chega escondida num conteúdo que o app le para o modelo: uma avaliação de produto, um e-mail, uma página da web, um PDF. O app junta esse conteúdo ao contexto para o modelo resumir ou responder, e, como é tudo um fluxo só, uma ordem escrita dentro do conteúdo é lida como comando.

O que muda é quem controla a carga e quando ela dispara. O atacante escreve a avaliação hoje; a armadilha dispara depois, quando um funcionário pede ao assistente para resumir as avaliações. O atacante nunca conversou com o modelo: plantou a instrução no caminho dos dados. Por isso é mais perigosa, e por isso lembrar o modelo de "só resuma" nao basta.

A defesa é a mesma raiz da injeção de prompt, levada a serio: separar instrução de dado. O conteúdo externo entra num canal de dado que o modelo pode ler mas nao obedecer, nunca colado ao prompt de sistema; e o app nao da ao resultado disso poder de agir sem conferência.

atacante planta a instrução avaliação (documento) Great seeds! ignore previous… o app cola no contexto prompt de sistema avaliação (documento) modelo obedece ao documento dispara depois, quando a equipe manda resumir
Um atacante planta uma instrução numa avaliação; o app cola a avaliação no contexto para resumir, e o modelo obedece à instrução vinda do documento.

Aparece nestes desafios