Kunstmatige intelligentie is inmiddels breed doorgedrongen tot het bedrijfsleven, maar de beheersing van de bijbehorende risico’s loopt daar duidelijk bij achter. Uit wereldwijd onderzoek van onderzoeksbureau Barc blijkt dat 97 procent van de ondervraagde organisaties inmiddels ten minste één AI-toepassing in productie heeft. Tegelijkertijd zegt ongeveer twee derde in de afgelopen twaalf maanden met minstens één AI-gerelateerd incident te maken te hebben gehad.
De cijfers komen uit het rapport The State of Data and AI Governance, waarvoor Barc 234 leidinggevenden en professionals op het gebied van data, AI, IT en bedrijfsvoering ondervroeg.
AI-governance
Volgens Barc kunnen gebrekkige governance en onvoldoende controle op AI-systemen aanzienlijke gevolgen hebben. Van de respondenten noemt 44 procent verlies van klantvertrouwen en reputatieschade als mogelijk zwaarste gevolg. Boetes en andere sancties volgen met 40 procent, terwijl 37 procent directe financiële schade als belangrijk risico ziet.
Kevin Petrie, vice-president research bij Barc US, stelt dat organisaties daarom afdwingbare controles nodig hebben die verder gaan dan alleen de onderliggende data. Ook modellen, applicaties, AI-agents en infrastructuur moeten volgens hem structureel worden bewaakt.
Controle op modellen
Op het gebied van datagovernance lijkt de basis bij veel organisaties redelijk op orde. Zo zegt 58 procent actief de kwaliteit van data te beheren en past 62 procent governancecontroles toe op de datalaag.
Bij AI-modellen en agents liggen de percentages aanzienlijk lager. Slechts 26 procent gebruikt monitoring- en observabilitytechnologie voor modellen. Nog geen kwart, 23 procent, beschikt over modelregisters of inventarissen. Een speciaal platform voor AI-governance wordt door 20 procent gebruikt, terwijl slechts 10 procent technologie heeft ingericht voor governance van AI-agents.
Menselijk toezicht blijft ondertussen een belangrijke rol spelen. Bij 59 procent van de organisaties is menselijke goedkeuring vereist wanneer AI-agents gevoelige handelingen willen uitvoeren.
Koplopers
Barc rekent 29 procent van de deelnemers tot de zogenoemde AI leaders. Begin 2024 was dat nog 20 procent. Deze organisaties hebben volgens het onderzoeksbureau een volwassen AI-programma opgebouwd op zeven onderdelen, waaronder beveiliging, betrokkenheid van de directie en toezicht op projecten.
Deze koplopers melden in de meeste categorieën minder incidenten en gebruiken vaker technologie die specifiek is bedoeld voor AI-governance. Barc onderscheidt bij hun aanpak vier belangrijke kenmerken: duidelijke verantwoordelijkheid voor AI-risico’s, controle over de volledige keten, continue monitoring en beter beheer van ongestructureerde informatie die generatieve AI en agents als context gebruiken.
Risico op overschatting
Tegelijkertijd waarschuwt het onderzoeksbureau voor overmoed. Zestig procent van de respondenten beoordeelt de eigen governance als beter dan die van sectorgenoten, terwijl slechts 29 procent daadwerkelijk als AI-leider wordt aangemerkt.
Ook verschillen de waarnemingen binnen organisaties. IT-respondenten rapporteren bij verschillende typen incidenten vaker problemen dan medewerkers uit de business. Volgens Barc kunnen zakelijke gebruikers daardoor onbewust bijdragen aan AI-fouten zonder deze altijd zelf als incident te herkennen.
Tegenstelling
Het onderzoek laat daarmee een duidelijke tegenstelling zien: AI wordt snel gemeengoed, maar de controlemechanismen groeien niet in hetzelfde tempo mee. Naarmate bedrijven meer modellen en autonome agents inzetten, neemt de noodzaak toe om governance niet als beleidsdocument, maar als technisch en organisatorisch controlesysteem in te richten.