OpenAI wil security- en testmogelijkheden voor AI-toepassingen uitbreiden met de overname van Promptfoo. Het bedrijf kondigde aan dat het de technologie van de startup wil integreren in OpenAI Frontier. Dat is een platform dat organisaties ondersteunt bij het bouwen en beheren van AI-agents in bedrijfsprocessen.
De overname past in een bredere ontwikkeling waarbij bedrijven steeds vaker AI-agents inzetten in operationele workflows. Daardoor groeit de behoefte aan systematische evaluatie, beveiliging en controlemechanismen. Organisaties willen vooraf kunnen testen hoe AI-systemen zich gedragen. Ook willen ze risico’s detecteren voordat systemen in productie gaan en documentatie bijhouden voor toezicht en compliance.
Promptfoo werd opgericht door Ian Webster en Michael D’Angelo en ontwikkelt tools waarmee ontwikkelaars en securityteams AI-toepassingen kunnen testen op kwetsbaarheden. Het platform wordt volgens OpenAI gebruikt door meer dan een kwart van de Fortune 500-bedrijven. Het team onderhoudt daarnaast een open-source command line interface en bibliotheek voor het evalueren en zogeheten red-teamen van toepassingen die gebruikmaken van grote taalmodellen.
Promptfoo begon als open-source testframework
The Register vult aan dat Promptfoo in 2024 begon als een open-source framework voor het evalueren van prompts en modelgedrag. Later groeide het uit tot een commercieel platform waarmee ontwikkelaars en enterprise securityteams AI-toepassingen kunnen testen die draaien op grote taalmodellen of andere generatieve AI-systemen.
De technologie richt zich op risico’s die kunnen ontstaan wanneer AI-modellen in productieomgevingen worden ingezet. Daarbij gaat het onder meer om promptinjecties, datalekken, jailbreak-aanvallen en onveilige uitvoering van externe tools. Het platform maakt het mogelijk om systematisch te testen hoe AI-systemen reageren op gestructureerde inputs, adversarial prompts en scenario’s die realistisch gebruik simuleren.
Het testframework laat teams prompts, verwachte outputs en evaluatiecriteria definiëren in configuratiebestanden. Vervolgens kunnen die tests automatisch worden uitgevoerd tegen één of meerdere AI-modellen of applicaties. De resultaten worden vergeleken met vooraf ingestelde regels of beoordelingsfuncties om te bepalen of het systeem zich volgens verwachting gedraagt.
Promptfoo ondersteunt daarnaast integraties met veelgebruikte ontwikkeltools en API’s. Daardoor kunnen evaluaties lokaal worden uitgevoerd, maar ook binnen CI/CD-pipelines of geautomatiseerde deploymentprocessen. De tooling bevat functies voor prompttests, red-team simulaties en dashboards die modelgedrag in verschillende omstandigheden inzichtelijk maken. Ook ondersteunt het regressietests, waarmee organisaties outputs van verschillende modelversies of configuraties kunnen vergelijken voordat updates worden uitgerold.
Integratie in OpenAI Frontier
OpenAI wil deze functionaliteit direct integreren in Frontier. Daarmee moeten organisaties agentgedrag beter kunnen testen, risico’s eerder in het ontwikkelproces detecteren en veranderingen in AI-systemen beter documenteren voor governance en compliance.
Volgens Srinivas Narayanan, CTO voor B2B-toepassingen bij OpenAI, heeft Promptfoo zich gespecialiseerd in het evalueren en beveiligen van AI-systemen op grote schaal. Door de technologie in Frontier op te nemen verwacht het bedrijf dat organisaties eenvoudiger betrouwbare AI-toepassingen kunnen ontwikkelen en beheren.
Webster stelt dat Promptfoo ontstond uit de behoefte van ontwikkelaars aan praktische tools om AI-systemen veilig te maken. Nu AI-agents steeds vaker gekoppeld worden aan bedrijfsdata en externe systemen, wordt het volgens hem complexer om hun gedrag te controleren en te valideren. Door zich bij OpenAI aan te sluiten wil het team die ontwikkeling versnellen.
Voor de overname had Promptfoo volgens berichtgeving 23,6 miljoen dollar aan financiering opgehaald, waaronder een investeringsronde van 18,4 miljoen dollar in juli. Tot de investeerders behoren onder meer Insight Partners en Andreessen Horowitz.
De transactie moet nog worden afgerond en is afhankelijk van de gebruikelijke voorwaarden voor een overname.