PayPal heeft de nauwkeurigheid van zijn interne AI-assistent verhoogd van 43 naar 95 procent zonder het onderliggende taalmodel te vervangen. De verbetering werd bereikt door bedrijfsspecifieke kennis toe te voegen, waarmee het financiële technologiebedrijf laat zien dat betrouwbare kunstmatige intelligentie niet uitsluitend afhankelijk is van krachtigere AI-modellen.
Volgens Ren Zhang, vicepresident en wereldwijd verantwoordelijk voor AI-producten bij PayPal, beschikte de assistent al over hoogwaardige, gecontroleerde bedrijfsgegevens. Toch leverde het systeem regelmatig onjuiste antwoorden op zakelijke vragen. Het probleem lag niet bij de beschikbare data, maar bij het ontbreken van kennis over interne definities, procedures en analysemethoden.
Bedrijfskennis als fundament
PayPal ontwikkelde daarom een afzonderlijke kennislaag waarin bedrijfsregels, gestandaardiseerde zoekopdrachten en analytische werkwijzen worden vastgelegd. Zo kan een AI-assistent bij vragen over nieuwe klanten de juiste bedrijfsdefinitie toepassen in plaats van zelfstandig een interpretatie te kiezen.
Deze aanpak maakt het mogelijk nieuwe taalmodellen te introduceren zonder telkens opnieuw alle bedrijfskennis te moeten vastleggen. Volgens Zhang vermindert dit de afhankelijkheid van specifieke AI-leveranciers en de kosten van voortdurende aanpassingen.
Ook bij klantgerichte AI-toepassingen zoekt PayPal naar een evenwicht tussen snelheid, nauwkeurigheid en kosten. Kleinere taalmodellen reageren sneller, maar leveren niet automatisch dezelfde kwaliteit. Intensieve fijnafstemming kan prestaties verbeteren, maar vereist gespecialiseerde kennis en regelmatig onderhoud.
Menselijke controle blijft noodzakelijk
PayPal ontwikkelt daarnaast AI-systemen waarin meerdere gespecialiseerde agents samenwerken. Voor het onderzoeken van technische incidenten gebruikt het bedrijf een systeem met zeven agents die informatie uit onder meer Datadog, ServiceNow en interne logbestanden analyseren. De infrastructuur omvat meer dan 33.000 diensten.
Volgens AI-directeur Deepika Khera worden voorgestelde beslissingen gecontroleerd aan de hand van betrouwbare gegevensbronnen en vastgelegde procedures. Bij risicovolle handelingen blijft menselijke goedkeuring noodzakelijk.
Resultaten blijven controleren
PayPal benadrukt dat goede testresultaten geen garantie bieden voor betrouwbare prestaties in de praktijk. Gebruikers kunnen immers andere vragen stellen dan waarop een systeem vooraf is getest.
Daarom combineert het bedrijf simulaties, kunstmatig gegenereerde testvragen en menselijke beoordelingen met voortdurende evaluatie na ingebruikname.
Tijdwinst
De interne assistent verwerkte volgens Zhang meer dan duizend vragen en leverde gedurende tien weken naar schatting 1.600 uur tijdwinst op. Daarbij waarschuwt ze dat het aantal beantwoorde vragen op zichzelf onvoldoende zegt over daadwerkelijke productiviteitsverbetering.
De belangrijkste conclusie is dat effectieve bedrijfs-AI niet alleen slimme modellen vereist, maar vooral betrouwbare kennis, duidelijke procedures en voortdurende kwaliteitscontrole.