Zorgverleners gebruiken steeds vaker AI-tools zoals ChatGPT om elektronische patiëntendossiers samen te vatten of medische vragen te beantwoorden. Hun organisaties hebben vaak geen idee dat dit gebeurt. Ondertussen ontstaan er risico’s die veel verder gaan dan alleen cybersecurity – van juridische aansprakelijkheid tot verlies van cruciale medische kennis.
Deze waarschuwing klonk deze week in een webinar van het Centre of Expertise Veiligheid & Veerkracht van Avans Hogeschool, waar de resultaten werden gepresenteerd van een verkennend onderzoek naar AI-risico’s in de zorg. De bevindingen zijn vastgelegd in twee rapporten: ‘Artificial Intelligence – Kansen benutten in de gezondheidszorg: Werken aan vertrouwen’ en ‘Artificial Intelligence – Kansen benutten in de veiligheidszorg: Gebruik AI en werk aan vertrouwen’. Rick van der Kleij, lector Cyberweerbare Organisaties, en Peter van Eck, docent-onderzoeker binnen hetzelfde lectoraat, presenteerden tijdens het webinar voor het eerst hoe breed de impact is van ongecontroleerd AI-gebruik.
“We zien steeds meer van dit soort berichten over AI in de gezondheidszorg,” stelt Van der Kleij. “Maar organisaties beseffen vaak niet welke kwetsbaarheden ontstaan als medewerkers deze tools gebruiken zonder dat daar beleid voor is.” Organisaties zijn vaak onvoldoende voorbereid op ongecontroleerd AI-gebruik en het ontbreken van duidelijk beleid voor deze nieuwe technologie.
Vier risico’s, één probleem
Het onderzoek onderscheidt vier risicogebieden die zorgorganisaties over het hoofd zien. Ten eerste sociale risico’s: AI kan leiden tot minder menselijk contact tussen zorgverlener en patiënt. Ten tweede individuele risico’s door gebrek aan kennis – zorgverleners kunnen AI-uitkomsten vaak niet verklaren. Daarnaast technische risico’s rond dataveiligheid, en juridische onduidelijkheden over wie aansprakelijk is als AI-systemen foute adviezen geven.
De onderzoekers baseerden hun bevindingen op focusgroepen met achttien professionals uit gezondheidszorg en veiligheidszorg, aangevuld met een literatuuronderzoek . Uit beide bronnen komt naar voren dat zorgorganisaties vooral investeren in technische beveiligingsmaatregelen, terwijl de werkelijke uitdagingen veel breder zijn.
Organisaties worstelen met de snelheid waarmee AI-ontwikkelingen gaan en hebben geen duidelijk zicht op wat ze daadwerkelijk nodig hebben voor hun zorgprocessen. “Het gaat niet alleen over wat mogelijk is, maar ook over wat willen wij nou eigenlijk?” aldus Van Eck. Bestuurders stellen prioriteiten terwijl ze eigenlijk niet weten welke concrete AI-behoeften hun organisatie heeft – een probleem dat wordt versterkt doordat AI-gebruik buiten hun zicht gebeurt.
Onzichtbaar AI-gebruik met zichtbare gevolgen
Het onderzoek toont concrete voorbeelden van hoe zorgverleners AI inzetten. Artsen gebruiken ChatGPT om elektronische patiëntendossiers te vertalen of samen te vatten, verpleegkundigen laten AI complexe medische informatie in begrijpelijke taal omzetten voor patiënten, en administratief personeel gebruikt AI-tools voor verslaglegging. Maar het gaat verder dan alleen tekst: specialisten experimenteren met VR-simulaties om complexe medische beelden beter te interpreteren, en in de thuiszorg worden AI-systemen ingezet die op afstand patiëntgegevens monitoren en automatisch afwijkingen signaleren.
Dit lijkt onschuldig, maar kan organisaties in juridische problemen brengen. Wanneer patiëntgegevens via externe AI-diensten worden verwerkt, kunnen zorgorganisaties in conflict komen met de AVG, de Medical Device Regulation en de nieuwe AI Act. “En je hebt de Cyber Resilience Act, Digital Services Act, Product Liability Act, en nog meer Europese wet- en regelgeving waar je aan moet voldoen,” somt Van der Kleij op.
Daarnaast ontstaat het risico van afhankelijkheid zonder dat organisaties dit doorhebben. “Kijk maar naar je eigen telefoon. Als je je navigatieapparatuur gebruikt en het kaartje valt uit. Hoe kom je dan op je bestemming aan?” vraagt Van Eck zich af. “Op het moment dat we zo afhankelijk worden van de AI dat we het niet meer zelf kunnen, dat wordt echt als risico gezien.”
Een ander, meer strategisch risico dat uit het onderzoek naar voren komt, is de technologische afhankelijkheid. De krachtige berekeningen die moderne AI-systemen vereisen, kunnen alleen worden uitgevoerd op gespecialiseerde chips die door een handjevol, voornamelijk niet-Europese bedrijven worden geproduceerd. Het onderzoek wijst erop dat Europa hierdoor steeds afhankelijker wordt van een beperkt aantal hardwareleveranciers. Als die toegang wegvalt of beperkt wordt, kunnen hele zorgsystemen die op AI leunen, plotseling stil komen te liggen. Dit maakt de Nederlandse zorg kwetsbaar voor geopolitieke spanningen en leveringsproblemen die ver buiten de invloedssfeer van individuele zorgorganisaties liggen.
De paradox van voorzichtigheid
Maar, toont het onderzoek, organisaties die helemaal geen AI gebruiken, lopen eveneens risico’s. Organisaties die AI uit voorzichtigheid mijden, kunnen volgens Van der Kleij verlamd raken door angst en daardoor belangrijke innovatiekansen mislopen. “AI kan echt bijdragen tot grote stappen vooruit in onderzoek, kennisoverdracht en zorgverlening,” stelt hij.
Zo kan AI bijvoorbeeld helpen bij het vroeg herkennen van zeldzame ziektebeelden, het efficiënter plannen van zorglogistiek, of het ondersteunen van patiënten in thuiszorgsituaties. “AI kan patiëntgegevens analyseren en signaleren wanneer er medische aandacht nodig is, ook thuis, en dat maakt mensen zelfredzamer” legt Van Eck uit over de mogelijkheden van AI in thuiszorg.
De uitdaging voor bestuurders is dus tweeledig: enerzijds voorkomen dat medewerkers ongecontroleerd experimenteren met AI-tools, anderzijds zorgen dat de organisatie niet stilstaat in innovatie. Van Eck benadrukt dat organisaties AI-gebruik juist moeten stimuleren om risico’s te beheersen. “Als je AI helemaal niet gebruikt, loop je nauwelijks technische risico’s, maar dan mis je wel alle voordelen,” stelt hij. Het grootste gevaar voor zorgorganisaties is volgens hem stilstand: niet meegaan met innovaties die de zorgkwaliteit kunnen verbeteren.
Vertrouwen als grootste hindernis
Van alle uitdagingen die het onderzoek identificeerde, blijkt gebrek aan vertrouwen de grootste belemmering voor verantwoorde AI-implementatie. “We horen zaken als angst om AI te gebruiken, twijfels over of de uitkomsten wel juist zijn,” stelt Van Eck. Die onzekerheid wordt volgens de onderzoekers gevoed door eerdere ervaringen met geautomatiseerde systemen die fout gingen.
Hij haalt de toeslagenaffaire aan als afschrikwekkend voorbeeld. Van Eck: “Misschien heeft dat ook wel bijgedragen aan het gebrek aan vertrouwen in ICT-toepassingen.” Zorgorganisaties vrezen dat AI-systemen net zo kunnen ontsporen als de algoritmes die duizenden gezinnen ten onrechte als fraudeurs bestempelden.
Dit wantrouwen wordt versterkt door de complexiteit van moderne AI-systemen. “AI is inmiddels al zo complex dat dat bijna niet meer te bevatten is,” waarschuwt Van Eck. “Hoe zit dat nou eigenlijk in elkaar? Want uiteindelijk gaat het wel om het voorspellen van ziektes en behandelingen daarvan. En je wil wel zeker weten dat die opbouw van die modellen zodanig vormgegeven is dat dat ook tot de juiste uitkomsten gaat komen.”
Vijf wegen naar verantwoorde AI
De onderzoekers bieden tijdens het webinar concrete handvatten voor organisaties die uit de impasse willen komen. Ten eerste: houd mensen eindverantwoordelijk. “Stimuleer kritisch denken. Als ik kijk naar onze eigen opleiding, dit is wat wij dagelijks doen met onze studenten,” stelt Van Eck. AI mag ondersteunen en adviseren, maar de eindverantwoordelijkheid voor medische beslissingen moet altijd bij de zorgverlener blijven.
Ten tweede: deel kennis tussen organisaties. “Als je niet weet wat het is, is er eigenlijk maar één manier. En dat is het gaan gebruiken om dat te ervaren,” adviseert Van Eck. Organisaties die al ervaring hebben opgedaan met AI-toepassingen, kunnen andere helpen door hun ervaringen te delen – zowel successen als fouten.
Een derde cruciale stap is het opstellen van duidelijk beleid. Bestuurders moeten regels formuleren over wanneer en hoe AI gebruikt mag worden, wie daarvoor verantwoordelijk is, en welke waarborgen gelden. “Waar moet ik aan voldoen? Op het moment dat wij binnen Avans AI willen toepassen, dan moeten wij met de use case komen zodat daar met elkaar over gepraat kan worden,” legt Van Eck uit.
Ten vierde benadrukken de onderzoekers het belang van samenwerking. “Betrek alle stakeholders vanaf het begin. Dus als je het over patiënten hebt en je gaat een zorgtoepassing maken, betrek dan de client, de medicus, de verpleegkundige, de jurist, de financiële administratie, het bestuur en de leverancier.” Door alle betrokkenen vroegtijdig bij AI-projecten te betrekken, kunnen organisaties voorkomen dat belangrijke risico’s over het hoofd worden gezien.
Een vijfde, praktische aanbeveling die uit het onderzoek naar voren komt, is het gefaseerd invoeren van AI. Het onderzoek suggereert een aanpak die vergelijkbaar is met leren autorijden: begin in een beschermde omgeving waar medewerkers veilig kunnen experimenteren met eenvoudige AI-toepassingen. Pas wanneer de basisvaardigheden en het bewustzijn zijn ontwikkeld, kan de organisatie opschalen naar complexere tools en uiteindelijk AI volledig integreren in de kernprocessen. Deze gefaseerde aanpak helpt organisaties om stap voor stap vertrouwen op te bouwen en risico’s beheersbaar te houden.
Mensen als sterkte, niet zwakte
Het onderzoek nuanceert ook het beeld dat mensen de zwakste schakel zijn in AI-veiligheid. Van der Kleij wijst op het tegenovergestelde: goed getrainde medewerkers kunnen juist de sterkste verdediging vormen. Hij noemt het voorbeeld van een bank waar een medewerker een overtuigende deepfake-video van de CEO ontving met het verzoek om geld over te maken. “Omdat de bank processen hanteert die als vangnet dienen en de medewerkers goed waren getraind, werd de fraude snel ontdekt. Dan zie je hoe de mens de sterkste schakel kan zijn.”
De boodschap is helder: investeer in je mensen en maak hen onderdeel van de oplossing in plaats van het probleem. Goed getrainde zorgverleners die kritisch kunnen nadenken over AI-uitkomsten, vormen de beste waarborg tegen de risico’s van deze technologie.
Voor zorgorganisaties die de uitdaging aangaan, geldt de boodschap van de onderzoekers: de basis is informatie – al het andere is ruis. Met de juiste kennis, beleid en samenwerking kunnen de voordelen van AI benut worden zonder de organisatie of patiënten onnodig risico te laten lopen.