Pular para o conteúdo

Intermediário 8 desafios

Segurança de aplicações com LLM

Um aplicativo de LLM monta um texto (o contexto) e entrega ao modelo: parte é a instrução do programador (o prompt de sistema), parte é o que o usuário digitou, parte vem de um documento que o app leu. O modelo le tudo como um fluxo só e nao tem como saber quais palavras sao ordem e quais sao dado. Dai nascem as falhas do OWASP Top 10 para LLM. Aqui voce segue essa classe em pedacos: a entrada que vira instrucao (injecao de prompt direta), o prompt de sistema que vaza, o segredo que ficou no contexto, a resposta do modelo usada sem cuidado adiante, o agente com ferramenta poderosa demais, a instrucao escondida num documento que o app resume (injecao indireta), o modelo que afirma uma falsidade com confianca, e no fim um capstone que junta tudo. Cada desafio termina na defesa: separar instrucao de dado, nao por segredo no contexto, validar a saida, limitar ferramentas e permissoes, e manter um humano no circuito. Como nao da para chamar um modelo de verdade de forma deterministica, o alvo e sempre um modelo de brinquedo (o Pampero), um motor de regras fixas que vem nos arquivos, e as lojas sao ficticias (CampoClaro). Nada chama um LLM real nem roda um comando de verdade: tudo se resolve lendo e rodando o codigo com o Node.

O que você vai aprender

  • Entrada que vira comando
  • Injeção de prompt
  • Vazamento do prompt de sistema
  • Segredo no contexto
  • Confiança cega na resposta
  • Tratar a saída do modelo
  • Autonomia em excesso
  • Injeção de prompt indireta
  1. Web Com arquivo Exemplo resolvido

    A entrada manda

    100% de acerto, 1 resolveu

    Disponível
  2. Web Com arquivo Exemplo resolvido

    O prompt escondido

    0% de acerto, 0 resolveram

    Disponível
  3. Web Com arquivo

    Segredo no contexto

    0% de acerto, 0 resolveram

    Disponível
  4. Diversos Com arquivo

    Confiança cega

    0% de acerto, 0 resolveram

    Disponível
  5. Web Com arquivo

    A saída sem cuidado

    Disponível
  6. Web Com arquivo

    Ferramenta demais

    0% de acerto, 0 resolveram

    Disponível
  7. Web Com arquivo

    Veio do documento

    0% de acerto, 0 resolveram

    Disponível
  8. Web Com arquivo

    Tudo junto

    0% de acerto, 0 resolveram

    Disponível