Probability & Partners: Modelvalidatie en IT-risicobeheersing
Door Erik Kooistra, Service Line Lead Model Validation, en Edward Roozenburg, Risk Management Consultant, beiden bij Probability & Partners
In de financiële sector spelen modellen een cruciale rol bij het beoordelen van risico’s. Zo worden krediet-, markt- en liquiditeitsrisico’s modelmatig bepaald en wordt strategische besluitvorming op de uitkomsten van deze modellen gebaseerd.
Regelmatig worden modelvalidatie en IT-risicobeheersing als gescheiden processen beschouwd. Deze fragmentatie kan leiden tot onduidelijkheid over waar modelvalidatie eindigt en IT-beveiliging begint, wat kan zorgen voor onzekerheden over de betrouwbaarheid van modeluitkomsten. Een geïntegreerde aanpak is noodzakelijk om zowel de betrouwbaarheid van modeluitkomsten als de IT-veiligheid te waarborgen.
Modelvalidatie: De ruggengraat van betrouwbare modellen
Modelvalidatie richt zich op het valideren van verschillende elementen die gezamenlijk de betrouwbaarheid en toepasbaarheid van een model waarborgen. Deze elementen omvatten:
- Aannames en modelbeperkingen: De uitgangspunten waarop het model is gebaseerd, inclusief veronderstellingen over marktomstandigheden en risicofactoren.
- Methodologie: De wiskundige en statistische technieken die worden gebruikt om resultaten te genereren.
- Uitkomsten: De resultaten die het model produceert en hun interpretatie binnen de risicobeoordeling.
- Modelgebruik: De manier waarop het model wordt ingezet in de praktijk vergeleken met het beoogde gebruik.
- Modelgovernance: De processen en controles die waarborgen dat het model op een consistente en beheerste manier wordt ingezet.
In de white paper Model Risk Management: Fundamental Concepts en Modelrisicomanagement voor Pensioenfondsen - Verhoogd modelrisico door WTP-transitie is hierover meer te lezen. Het doel van modelvalidatie is om zekerheid te bieden dat het model naar behoren functioneert en correct wordt toegepast in de praktijk. In veel gevallen worden modellen gevalideerd in hun prototypevorm, waarbij de focus ligt op de aannames, methodologie en uitkomsten. De IT-securityaspecten van het model, zoals robuustheid en gegevensbescherming, komen vaak slechts terloops aan bod. Meestal wordt IT-security summier meegenomen tijdens het testen van inputparameters, terwijl de bredere IT-beveiligingsrisico’s grotendeels buiten beschouwing blijven van de validaties.
IT-risico’s en onzichtbare gevaren voor modellen
IT-risico’s kunnen variëren van datalekken en cyberaanvallen tot systeemstoringen en interne dreigingen. Het beschermen van betrouwbare data staat daarbij centraal. Door fouten in de IT-beheersing kunnen moedwillig of per ongeluk gegevens ten onrechte worden aangepast. Wanneer een model leunt op gegevens die niet adequaat beschermd zijn, bestaat het risico dat de gegevens onbedoeld onbetrouwbaar worden. Een fout in het toekennen van rechten kan er bijvoorbeeld toe leiden dat onbevoegden data expres of per ongeluk aanpassen, waardoor de uitkomsten van de modellen leiden tot onjuiste besluitvorming.
Waar lopen we in de praktijk tegenaan?
Zoals gezegd zijn de twee werelden in de praktijk nu over het algemeen gescheiden. IT-controls worden zelden volledig diepgaand in beschouwing genomen als modellen worden gevalideerd. In enkele gevallen worden enkele onderdelen meegewogen in een validatie. Vaak krijgen deze zaken pas de aandacht als wij de opdrachtgever erop wijzen. Wel geldt dat in vrijwel alle instellingen die bij ons bekend zijn, apart van de modelvalidatie, de werking van general IT-controls wordt beoordeeld.
Jammer genoeg wordt daarbij over de werking van de IT-controls vaak alleen gerapporteerd aan andere leidinggevenden dan aan de eigenaren van de modellen. Het kan dus zo zijn dat in een organisatie is vastgesteld dat de procedures voor het toekennen van toegangsrechten niet goed werken, zonder dat de eigenaren van de modellen hiervan expliciet op de hoogte worden gebracht. Dat is niet om mensen op het verkeerde been te zetten, maar simpelweg omdat de eigenaar van het model niet degene is die verantwoordelijk is voor de juiste werking van de general IT-controls.
Ook worden modellen soms gebruikt buiten de reguliere IT-infrastructuur van organisaties om. Er is dan sprake van de zogeheten end-user computing. Hierdoor vallen deze modellen ook buiten de scope van de onderzoeken naar de werking van de general IT-controls.
Tenslotte is het de vraag of onderzoeken naar de werking van de IT controls voldoende diep in gaan op de specifieke vereisten die voor het model belangrijk zijn. De risicoanalyse die ten grondslag ligt aan de controls en het onderzoek naar de werking ervan, wordt immers meestal niet uitgevoerd op het niveau van het model, maar op het niveau van de instelling of de bedrijfsunit als geheel. En daarbij kunnen elementen die specifiek van belang zijn voor een enkel model ondergesneeuwd raken.
Praktijkvoorbeeld
Stel je voor dat een financiële instelling een kredietrisicomodel gebruikt zonder robuuste IT-beveiliging. Een cyberaanval leidt tot manipulatie van klantgegevens, waardoor het model foutieve risicobeoordelingen geeft. Dit resulteert in verkeerde kredietbeslissingen en aanzienlijke financiële verliezen. Dit voorbeeld toont aan hoe noodzakelijk het is om IT-risico’s expliciet mee te nemen in de validatieprocessen.
Noodzaak van integratie
Het besef dat modelvalidatie en IT-risicobeheersing nauw met elkaar verbonden zijn, is noodzakelijk voor het waarborgen van betrouwbare uitkomsten van modellen. Een geïntegreerde aanpak houdt in dat IT-risico's worden meegenomen in het validatieproces van modellen. Dit betekent dat naast de beoordeling van de aannames en methodologie van het model, ook de IT-infrastructuur en beveiligingsmaatregelen die het gebruik van het model ondersteunen, worden geëvalueerd. Dit vraagt om samenwerking tussen modelvalidatie-experts en IT-securityprofessionals.
Praktische Stappen voor Integratie
- Gezamenlijke risicoanalyse: Voer een gezamenlijke risicoanalyse uit waarbij zowel modelvalidatie-experts als IT-risicobeheerders betrokken zijn. Identificeer de IT-risico's die van invloed kunnen zijn op de modeluitkomsten en ontwikkel strategieën om deze risico's te mitigeren.
- Beveiligingsmaatregelen: Implementeer robuuste beveiligingsmaatregelen om de integriteit en beschikbaarheid van de gegevens die door het model worden gebruikt te waarborgen. Dit omvat het gebruik van encryptie, toegangscontroles en regelmatige beveiligingsaudits.
- Continu monitoring: Zorg voor continue monitoring van zowel de modelprestaties als de IT-infrastructuur. Dit helpt bij het vroegtijdig identificeren van potentiële problemen en het nemen van corrigerende maatregelen voordat ze de betrouwbaarheid van de modeluitkomsten beïnvloeden.
Conclusie
Wanneer IT-beheersing en modelvalidatie als gescheiden werelden blijven bestaan, kunnen diverse praktische problemen ontstaan. De eigenaren van de modellen zullen ten onrechte onvoldoende betrokken zijn bij de juiste werking van de IT-controls. Dit kan leiden tot datalekken en ongeautoriseerde toegang en zelfs tot onbetrouwbare uitkomsten van het model. Dit kan resulteren in verkeerde strategische beslissingen en aanzienlijke financiële verliezen.
Modelvalidatie en IT-risicobeheersing leveren beide een bijdrage aan juiste modelmatige voorspellingen. Door beide disciplines explicieter te integreren en duidelijke afspraken te maken over scoping, kunnen instellingen de betrouwbaarheid van modellen vergroten en de impact van IT-risico’s minimaliseren. Dit verhoogt niet alleen de kwaliteit van risicobeoordelingen, maar versterkt ook het vertrouwen van klanten en toezichthouders in de robuustheid van financiële systemen.
Het is daarom essentieel om IT-risico's expliciet mee te nemen in de modelvalidatie om de integriteit en betrouwbaarheid van modellen te waarborgen. Denk hierbij aan toegangsbeheer, data-integriteit, externe afhankelijkheden, IT-infrastructuur of modelhosting. De integratie van modelvalidatie en IT risk zou daarom een best practice moeten zijn.
