Des chercheurs de Microsoft et de Salesforce ont mis en évidence une faille de sécurité préoccupante dans les grands modèles de langage (LLM), révélant qu’ils peuvent être manipulés pour divulguer des informations confidentielles contenues dans leurs données d’entraînement. Cette vulnérabilité, baptisée « prompt injection », pourrait avoir des conséquences importantes pour la protection des données et la confidentialité.
Le problème réside dans la capacité de certains utilisateurs à contourner les mécanismes de sécurité intégrés aux LLM en utilisant des instructions spécialement conçues, appelées « prompts ». Ces prompts malveillants peuvent inciter le modèle à ignorer ses consignes initiales et à révéler des données sensibles qu’il a apprises lors de sa phase d’entraînement.
Selon les chercheurs, la faille est particulièrement critique car elle affecte des modèles de langage de grande envergure, utilisés dans une variété d’applications, notamment les chatbots, les assistants virtuels et les outils de génération de contenu. Ils ont démontré que, dans certains cas, il était possible d’extraire des fragments de code source, des adresses e-mail et d’autres informations confidentielles.
« Nous avons découvert que les LLM sont susceptibles d’être manipulés par des prompts qui les amènent à révéler des informations qu’ils ne devraient pas divulguer », ont expliqué les chercheurs dans leur rapport. À ce stade, les détails précis des techniques d’injection de prompts et des modèles affectés ne sont pas entièrement publics, mais les chercheurs insistent sur la nécessité d’une vigilance accrue et de mesures de protection renforcées.
Les équipes de Microsoft et de Salesforce travaillent actuellement à développer des solutions pour atténuer cette vulnérabilité. Par ailleurs, la communauté scientifique s’intéresse de près à ce problème, et des recherches sont en cours pour identifier des méthodes de défense efficaces contre les attaques par injection de prompts.