Pim Poppe: To model or not to model?

Pim Poppe: To model or not to model?

Pim Poppe.JPG

Door Pim Poppe, Risk Management Professional bij Probability & Partners

Modellen zijn niet weg te de denken uit de vermogensbeheerindustrie. Modellen worden gebruikt bij risicobeheer, accounting, waardering en portefeuilleconstructie. Het vereist enorm veel kennis, ervaring en vooral beoordelingsvermogen om te bepalen welke modellen een betekenisvol licht werpen op een beleggingsvraag of een risicobeoordeling. Zeker nu, met een onwaarschijnlijk lage rente en de coronacrisis, zullen de huidige modellen de toekomstige werkelijkheid wat minder accuraat beschrijven.

Daarbij hebben we altijd de voorstanders van modellen gehad en de tegenstanders, en dat zal wel zo blijven. De vooringenomenheden zit soms het beoordelingsvermogen in de weg.

Met de lage rente en de coronacrisis hebben voor- en tegenstanders opnieuw munitie om het eigen gelijk te bewijzen. Betekent dit dat we de modellen af moeten schaffen, of misschien dat we ze anders moeten gebruiken of input parameters handmatig moeten aanpassen?

Of het andere uiterste, dat we er vanuit moeten gaan dat de modellen op de lange termijn goed werk doen en ze dus moeten laten zoals ze zijn? Alle posities komen we tegen. Denk als voorbeelden maar aan de IFRS9 -modellen bij de banken die iets over de kredietverliezen zeggen en aan de multi factor aandelen selectie modellen bij de asset managers die het niet echt lekker hebben gedaan. Wat moeten we ermee?

In een stationaire wereld, een wereld die niet verandert, kun je wel wat met modellen. De kredietgeschiedenis van de BB-leningen is redelijk voorspellend voor de toekomst van BB-leningen en de performance van een gebacktest multi factor aandelen selectie model is enigszins voorspellend voor de outperformance in de toekomst. Feitelijke waarnemingen en het gezonde verstand geven serieus te nemen indicaties dat dit in en na de coronacyclus niet meer van toepassing is.

De grote vraag die zich dan aandient, is of we met een eenmalige uitbijter van doen hebben of met een regimeverandering. Het antwoord is veelledig. Sommige parameters voor sommige modellen zullen terugveren naar pre-corona waarden. Andere verbanden niet. Hier komt dus het genoemde oordeelsvermogen van pas.

Daarna komen de vervolgvragen: Grijp ik in het model? Overrule ik een historische parameter? Moet ik meer aandacht besteden aan de input parameters en minder aan de verfijndheid van de rekenkern of moet het model juist rijker en complexer worden? Gaan we het model wat meer als adviseur gebruiken en wat minder als de harde richtingbepaler? Moeten we overwegen het model wat restricties op te leggen?

In situaties zoals nu met een mogelijke regime verandering kan je twee fouten maken. Je kunt een model uitkomst naast je neer leggen en overrulen terwijl de uitkomst wel goed is. Je kunt ook een modeluitkomst accepteren en er op acteren terwijl deze logischerwijze niet correct kan zijn. Het is lastig te discrimineren, maar om dat goed te doen, is in elk geval nodig dat het gezonde verstand en de statistische wiskundige kennis samen optrekken.

Een andere gedachte om in overweging te nemen, is verschillende modellen naast elkaar te gebruiken. Zo kan je bijvoorbeeld bij de kredietverlening de klassieke aanpak met ratings, balansen en probabiliy of default verrijken met modellen die gebaseerd zijn op social media, analyses op de betaalrekeningen en modellen voor gedragskenmerken van de geldnemer.

De toolkit die met big data en artificiële intelligentie beschikbaar is geworden, creëert in veel gevallen een ander gezichtspunt en daarmee zeker meerwaarde. Partijen die dat op een goede manier kunnen en alle relevante model informatie weten te integreren, zullen minder vaak ten onrechte kredieten afwijzen of goedkeuren.

Het is op zichzelf al lastig om goed met modellen om te gaan. Daarnaast zijn er een paar belemmeringen die het vrij nadenken over en het goed gebruiken van modellen in de weg zit. Soms betreft het de externe regelgeving. De regels bedoeld om cherrypicking te voorkomen, leiden mogelijk tot inertie. Je hebt een goede reden om aan te passen, je bent het er intern over eens, maar als je het doet krijg je het aan de stok met je toezichthouder of accountant. Dit speelt bij de kapitaalmodellen van Basel-, Solvency- en IFRS-boekhoud modellen.

Een ander thema dat objectief oordelen in de weg zit, is dat sommige uitkomsten gewoon niet wenselijk zijn en verteerd kunnen worden. Een zuivere kredietinschatting kost gewoon te veel kapitaal of een objectieve beoordeling leidt tot het afschaffen van de eens zo veelbelovende kwantitatieve beleggingspropositie.

Angst voor oordeelsvorming is ook soms een belemmering voor kundig modelgebruik. Ik bedoel hier het oordeel over het model zelf, de veronderstellingen over de functionele vorm en de input parameters. Modelbouwers, vaak de quants, hebben nogal eens wat moeite met oordeelsvorming en inschattingen op basis van intuïtie en gezond verstand. Mensen met een goede intuïtie die durven te oordelen, hebben wel eens wat minder kennis van de modellen. Dit komt in de praktijk lastig bij elkaar.

Bij een goed gebruik van modellen gaat het erom dat we wezenlijk goed begrijpen wat het model beschrijft en dat we kunnen oordelen of het model dat goed doet en zal blijven doen. Daarbij moeten we over de vooringenomen posities heen stappen en de kwaliteit van de dialoog koesteren, de dialoog tussen de quant en het gezonde verstand.

Probability & Partners is een Risk Advisory Firm die geïntegreerde risicomanagement en kwantitatieve modelleringsoplossingen biedt aan de financiële sector en aan data-gedreven ondernemingen.