Het beveiligen van AI-toepassingen blijkt een puzzel. Zo’n 30 tot 50 startups bieden securityoplossingen aan, maar een volwassen platform bestaat nog niet. Dat concludeert Dennis Xu, VP Analyst bij Gartner, deze week tijdens een RSAC webinar.
De versnipperde AI-beveiligingsmarkt maakt het voor security teams lastig om grip te krijgen op de risico’s. “Je ziet dat iedereen een stukje van de markt voor AI security wil hebben”, zegt Xu. “Van traditionele CNAPP-vendors tot nieuwe startups, iedereen probeert een positie te veroveren.” Het resultaat is een onoverzichtelijke markt waarin organisaties zelf moeten puzzelen welke oplossingen ze nodig hebben. Uit recent onderzoek blijkt dat vrijwel alle organisaties te maken hebben gehad met aanvallen op hun AI-systemen.
Gartner verwacht dat de markt snel zal consolideren naar geïntegreerde platforms, maar dat punt is nog niet bereikt. Daardoor moeten security teams nu kiezen tussen gespecialiseerde tools die elk een deelprobleem oplossen, of wachten tot er een volwassen platform is, met alle risico’s van dien. AI security platformen staan dit jaar op Gartners lijstje van strategische technologietrends.
Tweedeling in AI-beveiliging
Xu maakt onderscheid tussen twee fundamenteel verschillende beveiligingsvraagstukken. Het eerste is het gebruik van externe AI-diensten zoals ChatGPT, Microsoft Copilot of Google Gemini door medewerkers. Het tweede is de beveiliging van door organisaties zelf gebouwde AI-applicaties. “Deze twee categorieën vereisen compleet andere beveiligingscontroles”, legt Xu uit.
Voor externe AI-diensten gaat het vooral om toegangscontrole en datapreventie. Organisaties moeten bijvoorbeeld bepalen of medewerkers ChatGPT Enterprise wel mogen gebruiken, maar ChatGPT Plus niet. Ook het voorkomen van datalekken via prompts is cruciaal. Een belangrijk risico is dat medewerkers bedrijfsgevoelige informatie in hun prompts stoppen. Xu: “We willen DLP uitvoeren op de prompt die naar buiten gaat, en ook op de response die terugkomt.”
Bij zelfgebouwde AI-applicaties verschuift de focus naar ontwikkelveiligheid. Denk aan het scannen van AI-modellen op kwaadaardige code, het beveiligen van RAG-pipelines en het implementeren van guardrails tegen prompt injection-aanvallen. “Dit is nog vrijwel onontgonnen gebied”, zegt Xu. “In tegenstelling tot de beveiliging van externe AI-diensten, waar je traditionele proxy-vendors hun mogelijkheden ziet uitbreiden, is dit een compleet nieuw speelveld met alleen maar startups.”
Concrete risico’s in de praktijk
Een van de meest onderschatte risico’s is volgens Xu indirect prompt injection via AI-agents. Deze agents halen informatie op uit verschillende bronnen, waarvan sommige onbetrouwbaar zijn. “Als je informatie ophaalt uit je mailbox, beschouw je die data dan als vertrouwd of onvertrouwd? Je kunt email ontvangen van overal”, illustreert hij. “Ongeveer 90 tot 95 procent van alle onderzoeken naar gecompromitteerde agents die je ziet, gaan over indirecte prompt injection.”
Ook het beveiligen van coding agents zoals Cursor en Windsurf baart hem zorgen. Deze tools draaien lokaal op de laptops van ontwikkelaars en kunnen veel autonomie krijgen. Xu noemt het voorbeeld van de zogenaamde YOLO-mode: “Sommige vendors kunnen al identificeren wanneer iemand Cursor in auto-run mode draait. Maar hoe je dat controleert, dat is nog steeds een onopgelost probleem.” Experts pleiten daarom voor striktere governance van AI-agents.
Bij vectordatabases, die vaak worden gebruikt voor RAG-implementaties, ontbreekt het volgens Xu aan basale toegangscontrole. “Vectordatabases zoals Pinecone hebben van nature geen idee van role-based access control”, waarschuwt hij. “Autorisatie gebeurt op chunk-niveau, en er zijn maar een handvol externe producten die een autorisatielaag over deze databases kunnen leggen.”
Het testen van AI-beveiliging blijkt ook complexer dan traditionele applicatietesten. De Gartner-analist wijst op een fundamenteel probleem: “Er zijn oneindig veel manieren om een AI-applicatie te jailbreaken. Als een vendor zegt dat hun testbibliotheek 50.000 of 100.000 testprompts bevat, wat betekent dat dan echt?” Hij heeft die vraag aan tientallen startups gesteld, maar nog niemand kon er goed op antwoorden.
Bestaande tools blijven nodig
Naast nieuwe AI-specifieke oplossingen blijven traditionele securitycontroles relevant. Xu benadrukt dat organisaties hun bestaande mogelijkheden moeten uitbreiden. Voor het beveiligen van externe AI-diensten betekent dat bijvoorbeeld het gebruik van SaaS Security Posture Management (SSPM) om te controleren of een ChatGPT Enterprise-tenant veilig is geconfigureerd.
Ook de third-party risk management-checklist heeft aanpassing nodig. “Zorg er minimaal voor dat je vraagt: train je niet op mijn data, en bewaar je mijn data niet zonder mijn toestemming”, adviseert Xu. Veel diensten bewaren data standaard 30 dagen voor troubleshooting. “In dat geval open je je hele datasecurity-checklist: encryptie, anomaly detection, authenticatie, autorisatie.”
Voor zelfgebouwde applicaties zijn klassieke maatregelen als het beveiligen van de onderliggende cloud-infrastructuur onverminderd belangrijk. “Als je dit in de cloud ontwikkelt en je gebruikt CNAPP om je cloud-infrastructuur te beveiligen, dan moet je dat blijven doen”, zegt Xu.
Marktconsolidatie verwacht
Hoewel Gartner verwacht dat de markt naar platformoplossingen zal evolueren, is dat stadium nog niet bereikt. “Je ziet nog niet veel vendors met echt goed geïntegreerde platforms”, constateert Xu. “Maar we verwachten dat de markt zeer snel naar een platform zal consolideren.”
Grote Security Service Edge (SSE) vendors hebben al een voorsprong aan de kant van externe AI-diensten, omdat ze beschikken over proxy-technologie en DLP-mogelijkheden. “Ze hoeven alleen hun content inspection engine uit te breiden om natuurlijke taal te begrijpen”, legt Xu uit. Voor de andere kant van het spectrum, het beveiligen van zelfgebouwde apps, ziet hij vooral overnames: “Veel prominente SSE-vendors hebben al de AI application security-kant van de stack overgenomen.”
Voor security teams betekent dit een lastige afweging. Wachten op volwassen platforms kan betekenen dat je te laat bent met het beveiligen van AI-initiatieven die nu al draaien. Investeren in gespecialiseerde tools brengt het risico met zich mee dat je straks moet migreren naar platforms. Xu’s advies is om te beginnen met inventariseren. “Security kan nooit beginnen zonder inventarisatie”, zegt hij. Organisaties moeten eerst in kaart brengen welke AI-diensten medewerkers gebruiken en welke AI-applicaties ontwikkelaars bouwen. Pas dan kun je bepalen welke beveiligingscontroles prioriteit hebben.