Des chercheurs du Spark Research Lab de l’Université du Texas à Austin, sous la supervision du professeur Mohit Tiwari, également PDG de Symmetry Systems, ont découvert une méthode pour manipuler les systèmes d’IA utilisant le RAG, comme le célèbre Microsoft 365 Copilot.

Ce qui est inquiétant, c’est que cette attaque peut cibler tous les systèmes RAG importants, y compris ceux basés sur Llama, Vicuna et OpenAI, et qu’elle ne nécessite qu’un accès basique pour être mise en œuvre. Je vous explique tout cela en détail.

Imaginez que vous travaillez dans une entreprise qui utilise l’IA pour vous assister au quotidien. Vous posez une question à votre assistant virtuel, et il vous répond en se basant sur les documents internes de l’entreprise. Pratique, non ?

Et bien avec ConfusedPilot, une personne mal intentionnée peut injecter des informations erronées dans ces documents, faussant ainsi les réponses de l’IA. Et c’est ainsi que la désinformation pourra se propager au sein même de votre entreprise, entraînant potentiellement des prises de décision compromises.

ConfusedPilot exploite le fonctionnement des systèmes basés sur le RAG. Ces systèmes améliorent la qualité de leurs réponses en récupérant des informations à partir de bases de données ou de documents existants, évitant ainsi la nécessité de reconfigurer ou de réentraîner entièrement le modèle d’IA. L’attaquant introduit alors un document apparemment anodin contenant des chaînes de caractères spécifiques dans l’environnement de l’entreprise. Il n’est pas nécessaire d’être un expert en piratage … un simple accès pour ajouter ou modifier des documents suffit.

Lorsque vous posez une question à l’IA, le système RAG va alors rechercher des documents pertinents pour formuler sa réponse. Si le document malveillant est jugé pertinent, il sera utilisé dans la génération de la réponse. Le contenu de ce document contient des instructions qui peuvent manipuler l’IA de plusieurs façons :

• Suppression de contenu légitime : Les instructions malveillantes peuvent amener l’IA à ignorer d’autres informations pertinentes.
• Génération de désinformation : L’IA peut produire des réponses basées uniquement sur le contenu corrompu.
• Attribution erronée : La réponse peut être faussement attribuée à des sources crédibles, augmentant sa fiabilité perçue.

Et même si le document malveillant est supprimé par la suite, les effets peuvent perdurer pendant un certain temps, car l’IA conserve les instructions précédemment intégrées.

Cette attaque potentielle concerne toutes les organisations utilisant des systèmes d’IA basés sur le RAG, en particulier celles qui permettent à plusieurs utilisateurs ou départements de contribuer à la base de données utilisée par l’IA. Plus le nombre de personnes ayant accès pour ajouter ou modifier des documents est élevé, plus le risque d’introduction de contenu malveillant augmente.

Par exemple :

• Systèmes de gestion des connaissances d’entreprise : Un employé mal intentionné ou négligent pourrait introduire un document corrompu dans la base de connaissances, entraînant la diffusion de fausses informations dans toute l’organisation.
• Systèmes d’aide à la décision assistés par l’IA : Si l’IA fournit des recommandations basées sur des données biaisées, cela peut mener à des décisions stratégiques erronées.
• Services d’IA destinés aux clients : Si l’IA interagit avec vos clients en se basant sur des informations corrompues, cela peut entraîner une perte de confiance et des conséquences légales.

Mais alors, comment se protéger contre ConfusedPilot ?

Face à cette menace, plusieurs mesures peuvent être mises en place pour renforcer la sécurité de vos systèmes d’IA :

1. Contrôles d’accès aux données : Limitez et surveillez strictement qui peut ajouter, modifier ou supprimer des documents ou des données que le système RAG utilise. La mise en place de politiques de gouvernance des données rigoureuses est essentielle.
2. Audits réguliers de l’intégrité des données : Effectuez des vérifications périodiques pour détecter rapidement toute modification non autorisée ou l’introduction de contenu malveillant.
3. Segmentation des données : Isolez les données sensibles du reste de la base de données pour empêcher la propagation d’informations corrompues dans tout le système. Par exemple, en séparant les données critiques des contributions des utilisateurs.
4. Outils de sécurité spécifiques à l’IA : Utilisez des solutions spécialisées dans la sécurité de l’IA, telles que des systèmes de détection d’anomalies qui surveillent et analysent les réponses de l’IA pour identifier les irrégularités résultant de données empoisonnées.
5. Supervision humaine : Maintenez une supervision humaine sur les contenus générés par l’IA, en particulier dans les contextes décisionnels critiques, pour valider l’exactitude des informations avant de les utiliser.
6. Formation des équipes : Sensibilisez vos collaborateurs aux risques associés à l’IA et à l’importance de la sécurité des données. Encouragez-les à évaluer de manière critique les contenus générés par l’IA.

ConfusedPilot met en évidence la relation indissociable entre la sécurité des données et celle de l’IA dans les RAG. En effet, on a tendance à se concentrer sur la sécurité des algorithmes ou des modèles d’IA eux-mêmes, mais on oublie souvent que l’IA dépend fortement de la qualité et de l’intégrité des données qu’elle utilise. Si ces données sont corrompues, les réponses de l’IA le seront également.

Sachant que 65 % des entreprises du Fortune 500 mettent en œuvre ou prévoient d’implémenter des systèmes d’IA basés sur le RAG, l’impact potentiel de cette attaque est considérable.

Heureusement, des acteurs majeurs comme Microsoft ont réagi positivement en collaborant avec l’équipe de recherche pour développer des stratégies de mitigation pratiques.

Pour plus d’informations détaillées, vous pouvez consulter le site officiel de ConfusedPilot.

Source