Pim Poppe: AI in risk management

2 december 2025

Door Pim Poppe, Managing Partner bij Probability & Partners

Op 20 november mocht ik voor Financial Investigator het seminar ‘Artificial Intelligence, Blockchain, Crypto & Digital Assets’ voorzitten. In het inleidende praatje heb ik in een vogelvlucht verteld wat er bij Probability & Partners is veranderd door AI de laatste achttien maanden. Als je zo’n lijstje maakt, realiseer je je hoe snel de wereld kentert en hoe het werk van een risk management consultancybedrijf zich aanpast aan de mogelijkheden en behoeften van deze tijd.

In maart 2024 zijn we onze bedrijfsvoering gestructureerd gaan aanpassen aan de nieuwe mogelijkheden van de large language modellen. Dat is best kort geleden. Dat aanpassen is gegaan met vallen en opstaan, experimenteren met use cases in een gecontroleerde omgeving, delen van successen en mislukkingen, alsmede het delen tips en trucs. Sommige taken gaan geweldig, andere toepassingen waar je op voorhand veel van had verwacht, lukken op een of andere manier niet. Soms geven de AI-oplossingen zo veel handmatige rework, dat de AI-oplossing niet loont. Van mislukkingen hebben we geleerd en de successen hebben we de bedrijfsvoering verankerd.

Zonder nu volledig of echt accuraat te willen zijn, geef ik u hier de voice-over bij de dia die ik gebruikte (zie Figuur 1).

Figuur 1: Hoe verandert AI de consulting business van Probability?

Voordelen AI bestaand klantwerk

We maken risicomodellen en het vraagt veel programmeerwerk om werkende prototypes of productie software te bouwen. Dat gaat nu met AI vele malen sneller. Het kan, afhankelijk van het probleem, 50% tot 80% aan tijdswinst opleveren. Meer tijdwinst als de wiskundige uitdagingen groot zijn, minder tijdwinst als er veel interfaces zijn. Wat de modelleurs/programmeurs ook hebben ondervonden, is dat nadenken vooraf en het goed instrueren van de LLM enorm veel winst oplevert. Met andere woorden: je moet meer overzicht op een hoger abstractieniveau hebben om de AI-efficiencywinsten te kunnen pakken.

Een andere toepassing is documentatie genereren op basis van bestaande code. Dat is eigenlijk verkeerd om, maar goede documentatie is zinvol om te hebben voor intern gebruik, en toezichthouders vinden documentatie belangrijk. Ook dit is een expertisedomein dat wat vingeroefeningen vraagt. Er zijn wat high-level instructies nodig die vergezeld gaan met de code. Anders krijg je niet de juiste documentatie. Ook hier geldt dus dat overzicht en begrip op een hoger abstractieniveau heel waardevol is en zelfs noodzakelijk voor het succesvol gebruiken van LLMs om de juiste documentatie te genereren.

Wat ook goed werkt, is regelgeving omzetten in beleid. Ook daar zit de truc in goede prompts maken en structuren voor het beleid meegeven. Ook het opladen van bestaand beleid als voorbeeld voor het nieuwe beleid kan werken. Al met al kan een aanmerkelijke winst behaald worden in termen van kosten en doorlooptijd in deze hoek. Hierbij is het van belang om de bronvermelding goed in het oog te houden.

De lijst van onderdelen van klantwerk dat we anders uitvoeren dan voorheen is lang. We lopen de punten 5 t/m 10 niet één voor één langs. De tendens is duidelijk: het werk kan sneller, vaak beter, en goedkoper dan voorheen.

Nieuw klantwerk door AI

Naast het oude klantwerk, dat sneller en beter wordt verricht, is er ook nieuw werk. Werk dat er nog niet was vóór de LLM-revolutie. Het eerste is het valideren van numerieke AI-modellen (denk hierbij aan supervised en unsupervised machine learning-modellen). Deze AI-modellen kennen nieuwe en andere uitdagingen dan in de klassieke modellen, niet-lineariteit, instabiliteit, ongewenste en niet-gedetecteerde vooringenomenheden, gebrek aan intuïtieve begrijpelijkheid et cetera.

Om deze problemen een beetje te mitigeren is een set van technieken en frameworks ontstaan die onder de noemer Explainable AI vallen (XAI). Op basis daarvan hebben we dashboarding gemaakt, waarmee je (machine learning)-modellen beter kan doorgronden door in- en outputs inzichtelijk te maken, meestal in een grafische vorm. Het fijne van deze XAI-toolkit is dat je de werking van de klassieke modellen naast de AI modellen op dezelfde manier inzichtelijk kunt maken waardoor vergelijkingen van de oude en nieuwe modellen mogelijk wordt. Denk bijvoorbeeld aan kredietrisico modellen voor de kant op wanbetaling of de kans op een fraude.

Een ander nieuw domein is helpen met tooling te bouwen die specifieke taken bij klanten kunnen verrichten. Daarbij zijn grofweg drie dingen van belang: ten eerste het aanleren van domein-specifieke kennis, ten tweede het handig verrichten van specifieke taken en ten derde het waarborgen van een veilige omgeving.

Het laatste nieuwe thema in klantwerk dat door AI wordt gedreven, is van een totaal andere orde. Het behelst de enorme winstgroei en PE-expansie van de AI-gerelateerde aandelen. Is hier sprake van een bubbel? Gaan de investeringen in modellen, data, energie en watervoorziening zich wel terugverdienen? Moet er wellicht toch wat gedaan worden aan de concentratie in deze sector? Wat zijn de scenario’s voor de komende jaren? Moeten de wegingen niet op een of andere manier gaan aftoppen in de portefeuilles van de pensioenfondsen of verzekeraars. Is markt-gewogen beleggen in een mogelijke bubbel en geopolitiek gedreven wereld nog wel zo verstandig? Het gaat om de vraag hoe moet je beleggen in AI.

Bedrijfsvoering en klanten

Kortom, de AI-revolutie heeft een significante impact op onze bedrijfsvoering. Aan de ene kant gaat het bestaande werk sneller en aan de andere kant is er nieuw werk bij gekomen. Een feitelijkheid is dat we naar verhouding minder junioren in dienst hebben. We gebruiken de LLMs als junioren. Niet zo gezellig, maar wel zo efficiënt. Wat voor junioren geldt, geldt ook voor LLMs. Zoek het meest geschikte model of junior bij de taak, geef duidelijke instructies aan de junior of LLM en contoleer de junior of LLM goed.

Vervanging van junioren door LLMs gebeurt niet alleen bij ons. Zo is het afnemende aantal openstaande vacatures voor junior risk managers en consultants in de markt waarschijnlijk een reflectie van het hetzelfde fenomeen. Een tweede belangrijke conclusie is dat we met minder mensen dezelfde omzet hebben: de machine vervangt de mens. Ook bij ons dus blijkbaar. En de laatste – ik denk belangrijkste – conclusie is dat de klant meer waarde krijgt voor de euro’s die zij besteedt. De hulp van AI in ons werk maakt ons sneller met minimaal dezelfde kwaliteit.

Meer columns van Pim Poppe