Een recent ontdekte kwetsbaarheid in Google Gemini for Workspace maakt het mogelijk voor kwaadwillenden om misleidende e-mailsamenvattingen te genereren die gebruikers naar phishingwebsites leiden. Bovendien zonder dat er bijlagen of zichtbare links aan te pas komen. De aanval maakt gebruik van zogeheten prompt-injecties die onzichtbaar in het e-mailbericht zijn verwerkt, maar wél worden opgepikt door Gemini tijdens het samenvatten.
De ontdekking werd openbaar gemaakt via het 0din-platform, Mozilla’s bug bounty-programma voor generatieve AI-tools. Onderzoeker Marco Figueroa, manager van het GenAI Bug Bounty Program bij Mozilla, demonstreerde hoe aanvallers HTML en CSS gebruiken om kwaadaardige instructies aan het einde van een e-mail te verstoppen. Deze tekst wordt weergegeven in wit op witte achtergrond en met lettergrootte nul, onzichtbaar voor de lezer, maar niet voor Gemini.
E-mailsamenvattingen
Zodra een gebruiker Gemini vraagt om een samenvatting van het bericht, interpreteert het AI-model ook de verborgen instructies. In een voorbeeld genereerde Gemini een zogenaamd beveiligingsalarm, waarin stond dat het Gmail-wachtwoord van de gebruiker gecompromitteerd zou zijn, compleet met een ‘ondersteuningsnummer’, een valstrik van de aanvaller.
Hoewel Google sinds 2024 beveiligingsmaatregelen heeft getroffen tegen dit soort aanvallen, blijft deze techniek effectief. Dit is zorgwekkend, aangezien veel gebruikers vertrouwen op Gemini’s samenvattingen als een betrouwbare functie binnen Google Workspace.
Verborgen inhoud
Figueroa stelt dat organisaties hun beveiliging kunnen verbeteren door verborgen inhoud in e-mails op te sporen en te neutraliseren. Ook kunnen samenvattingen van Gemini automatisch gescand worden op verdachte meldingen, zoals alarmwoorden, telefoonnummers of URL’s.
Volgens Google is er vooralsnog geen bewijs dat deze aanvalsmethode actief is misbruikt. Wel bevestigt het bedrijf dat het continu werkt aan het verbeteren van de beveiliging van zijn AI-systemen. In reactie op vragen van techsite BleepingComputer benadrukte een woordvoerder dat nieuwe verdedigingsmaatregelen in voorbereiding zijn of binnenkort worden uitgerold.
Tot die tijd geldt: blijf kritisch bij het lezen van AI-gegenereerde waarschuwingen, ook als ze afkomstig zijn van een vertrouwde bron als Google Gemini.