Soyez prudent avec les images que vous téléchargez vers Gemini: elles pourraient cacher cette attaque

Lorsque ces images sont chargées dans des systèmes d'IA qui grimpent automatiquement les images pour l'analyse, les commandes cachées sont activées sans que l'utilisateur soit conscient. C'est ce qui peut provoquer la filtration des données privées et même exécuter des actions dangereuses pour les utilisateurs, telles que l'envoi de nos informations aux troisième acteurs.

Cette méthode profite des vulnérabilités dans les algorithmes d'escalade utilisés et utilise des outils spécialisés pour insérer ces commandes dans des zones sombres des images. En fait, la menace est si réelle qu'elle peut se propager même à travers des mèmes, des réseaux sociaux ou des e-mails. Par conséquent, les experts en cybersécurité conseillent à des précautions extrêmes lors du téléchargement d'images provenant de sources inconnues. Et de la même manière, contrôlez les permis que nous donnons aux applications AI afin de ne pas tomber dans ce piège.

Le vrai danger dans les images que nous partageons avec l'IA

Selon la publication du blog de The Trail of Bits, les chercheurs en sécurité ont révélé un nouveau type d'attaque destiné aux systèmes multimodaux tels que Gemini, qui combine le traitement de texte et les images. Cette technique consiste à insérer des invites malveillantes dans les images à travers des marques d'eau invisibles. Et ces images, lorsqu'elles sont traitées par l'IA, sont résolues à s'adapter à une norme formée. C'est au cours de cette mise à l'échelle que les commandes cachées deviennent visibles pour les systèmes AI, qui les interprètent comme des commandes valides et les exécutent sans intervention de l'utilisateur.

Après la diffusion de l'enquête, un porte-parole de Google a déclaré que c'était un défi important pour l'ensemble de l'industrie, mais que l'entreprise n'a pas détecté des cas d'exploitation dans des environnements réels. Malgré cela, il reconnaît l'utilité et la véracité de l'enquête. Cette vulnérabilité a été communiquée à Google en privé dans le programme Mozilla 0din, spécialisée dans la récompense pour les défaillances de sécurité en génératif.

L'attaque est basée sur la profit des vulnérabilités dans les trois algorithmes d'escalade les plus utilisés:

• VIENTAIQUE LA plus proche: Une méthode qui copie la valeur du pixel le plus proche sans interpolations. Il est rapide, mais il peut produire des images pixélisées.
• Interpolation bilinéaire: calculer la valeur d'un nouveau pixel en moyenne les valeurs des quatre pixels voisins les plus proches, qui produit une image plus douce.
• Interpolation cubique: utilise 16 pixels voisins pour calculer la valeur d'un nouveau pixel appliquant une fonction cubique. Offrant des résultats plus doux que les deux précédents.

Les attaquants insérent des invites à gérer les zones sombres des images pour camoufler le contenu malveillant. Et pour cela, ils utilisent des outils open source tels que Anamorpher, qui vous permet d'analyser et d'adapter les instructions de manière cachée, selon la méthode d'escalade utilisée.

Conséquences de la méthode

Parmi les expériences réalisées, les chercheurs ont montré qu'avec cette technique, il était possible de filtrer les données du calendrier Google et de les envoyer à des adresses e-mail externes sans que l'utilisateur ne puisse les détecter. De plus, les outils d'automatisation tels que Zapier peuvent également être activés pour effectuer des actions plus approfondies. Qui étend la puissance de cette attaque contre plus de services.

Il s'agit d'un risque, en particulier pour l'imprévisibilité et la nouveauté de l'attaque. À l'heure actuelle, les experts conseillent de limiter les permis et d'accès que nos applications AI ont à nos données et outils. De plus, nous devons superviser les fonctions activées pendant le traitement des données.