Définition simple
Une injection de prompt tente de faire suivre à un assistant des instructions malveillantes placées dans des données ou sources non fiables.
Objectif et usage
Une injection de prompt tente de faire traiter des contenus non fiables comme des instructions capables de détourner le comportement d’une application d’IA.
Comment ça fonctionne ?
Le contenu peut arriver dans une requête, un document, une page ou un résultat d’outil, puis entrer en conflit avec la tâche et les règles de l’application.
Exemple et vérification
Pour évaluer les protections, tester les canaux de données externes avec des données fictives et observer les décisions et actions réellement exécutées.
Points d’attention
Un filtre de mots ou une consigne au modèle ne suffit pas à garantir l’isolation. Les autorisations d’outils et les restrictions de sortie doivent être appliquées hors du modèle.
En résumé
La défense exige une séparation de confiance et des contrôles sur les effets, en complément de la résistance du modèle aux consignes adverses.