Machine Learning für IRBA-Ratingverfahren

Einleitung

Die Europäische Bankenaufsichtsbehörde (EBA) hat das Feedback der Finanzindustrie auf ihr Diskussionspapier zur Verwendung maschineller Lernverfahren (Machine Learning, ML-Verfahren) im Kontext von IRBA-Modellen in einem Follow-up Report veröffentlicht (EBA/REP/2023/28).

Grundsätzlich liegt es nahe, maschinelle Lernverfahren für die Entwicklung und die Validierung von IRBA-Ratingverfahren zu verwenden, insbesondere für Verfahren zur Schätzung der Ausfallwahrscheinlichkeiten (Probability of Default, PD) von Schuldnern. Der Großteil solcher Verfahren basiert aktuell noch auf „klassischen“ statistischen Verfahren wie (linearer oder logistischer) Regression oder einfache Entscheidungsbäume. Diese haben zum Ziel, „gute“ und „schlechte“ Schuldner möglichst scharf voneinander zu trennen in dem Sinne, dass sie unterschiedlichen Risikoklassen zugeordnet werden. Dieser Aspekt der Modellierung wird im IRBA-Kontext als Risikodifferenzierung bezeichnet und kann in Form von Trennschärfemaßen (z. B. Gini-Koeffizient) beziffert werden.

ML-Verfahren nunmehr stellen eine hochspannende Alternative zu den klassischen Ansätzen dar, da sie sich oftmals als (teilweise deutlich) leistungsfähiger und damit trennschärfer herausstellen. Die rasante Zunahme der Datenverfügbarkeit und Speicherkapazität in Kombination mit Verbesserungen in der Rechenleistung legen ihren praktischen Einsatz nahe. Ein wesentlicher Nachteil dieser Verfahren jedoch stellt die größere Komplexität dar, die oftmals auch mit einer reduzierten Interpretierbarkeit und Nachvollziehbarkeit einhergeht.

Der EBA-Report gibt interessante Einblicke, an welchen konkreten Stellen die Institute ML-Verfahren in der IRBA-Modellwelt einsetzen (wollen) und wo nicht. Ferner werden Lösungsansätze diskutiert, wie mit methodischen Herausforderungen (etwa Overfitting und mangelnde Erklärbarkeit), operativen Herausforderungen (Skills, Prozessanpassungen) sowie rechtlichen Aspekten (Erfüllung der für den IRBA relevanten regulatorischen Anforderungen sowie weiterer daten- bzw. KI-bezogener Gesetzeswerke wie DSGVO und EU AI Act) umzugehen ist.

Die Rückmeldungen von 14 Instituten und Organisationen auf das ursprüngliche Diskussionspapier (EBA/DP/2021/04) fließen in den Bericht ein.

Teil 1: Rückmeldungen der Institute und Wechselwirkungen mit rechtlichen Rahmenwerken

Aktueller Stand der Nutzung von ML-Verfahren für IRBA-Ratingverfahren

Die befragten Institute bestätigen, dass ML-Verfahren hauptsächlich im Rahmen der Entwicklung von IRBA-Verfahren zur PD-Schätzung zum Einsatz kommen (und weniger bei der Schätzung des Loss Given Default (LGD) oder anderen Risikoparametern).

Bei PD-Verfahren wiederum werden ML-Verfahren meist zur Risikodifferenzierung genutzt und stellen damit Alternativen zu klassischen Verfahren wie etwa der logistischen Regression dar. Insbesondere nichtlineare Zusammenhänge zwischen Risikofaktoren und Ausfallwahrscheinlichkeiten können von ihnen besser erfasst werden. Nicht zuletzt helfen sie auch bei der Identifizierung relevanter Risikotreiber.

Bei der Risikoquantifizierung beziehungsweise zur Kalibrierung des Verfahrens hingegen ist die Verwendung von ML-Verfahren weniger sinnvoll, da hier die regulatorischen Vorgaben an Daten und Methodik sehr detailliert und restriktiv sind. Ferner wurden von ersten Erfahrungen mit der Verwendung von ML-Verfahren für die Selektion und Transformation von Inputdaten für PD-Verfahren berichtet, insbesondere auch auf unstrukturierten Daten (etwa mittels Text Mining).

Neben der Entwicklung von IRBA-Modellen ergibt sich ein weiterer relevanter Anwendungsfall von ML-Verfahren bei der Validierung bestehender IRBA-Modelle, indem beispielsweise sogenannte Challenger-Modelle auf ML-Basis Optimierungspotenziale hinsichtlich der Trennschärfe zu beziffern helfen.¹

Ein etwas exotischerer Anwendungsfall für ML-Verfahren im IRBA-Kontext, von dem ein Institut berichtet, stellt die Wertermittlung von Immobiliensicherheiten dar.

Komplexität von KI- und ML-Verfahren, Overfitting und mangelnde Erklärbarkeit

Das ursprüngliche Diskussionspapier der EBA hebt die wichtigsten Herausforderungen bei der Entwicklung und Validierung von IRBA-Modellen mithilfe von ML-Verfahren hervor. Ein wichtiger methodischer Aspekt ist die Tendenz von ML-Verfahren und künstlicher Intelligenz zu sogenanntem Overfitting, also das Phänomen der Überanpassung eines Modells auf die Trainingsdaten. Dies führt dazu, dass das Modell auf den Trainings- beziehungsweise Entwicklungsdaten eine hohe Trennkraft aufweist, die jedoch auf unbekannten, nicht in der Entwicklung verwendeten Daten (wie etwa dem Anwendungsportfolio) nicht aufrechterhalten werden kann. Auch die eingeschränkte Erklärbarkeit und Nachvollziehbarkeit gegenüber klassischen Verfahren stellt ein typisches Charakteristikum von KI- und komplexeren ML-Verfahren dar.

Herausforderungen, wie der Umgang mit Overfitting, mangelnde Erklärbarkeit und Prüfung der Repräsentativität von Entwicklungsdaten fallen in den Bereich der Methodik, während die Implementierung komplexer Methoden die Anforderungen an menschliche und IT-technische Ressourcen steigert und die Überprüfung von (impliziten) Modellannahmen und modellspezifischen Hyperparametern erschwert.

Schließlich stellt auch die Validierung ML-basierter Ratingverfahren erhöhte Anforderungen an die methodischen Kenntnisse der Mitarbeiter, um das ML-Modell und dessen Dokumentation zu prüfen und den Prozess der Parameterschätzung durch menschliches Urteilsvermögen zu hinterfragen.

Die Rückmeldungen der Institute verweisen auf Lösungsansätze, etwa etablierte Verfahren zur Sicherung der Modellstabilität, wie Out-of-Time- und Out-of-Sample-Tests sowie auf die Wichtigkeit der Plausibilisierung der Modellergebnisse. Dabei wird die Bedeutung guter methodische Kenntnisse (zum Beispiel für die Auswahl der Modellstruktur und der Hyperparameter) als auch die Notwendigkeit manueller Eingriffe (zum Beispiel bei der Auswahl der Risikoparameter in der Modellentwicklung) betont. Die Auswahl der Modellstruktur und der Hyperparameter etwa stellt eine wichtige Maßnahme bei der Eindämmung von Overfitting dar.

Die Erklärbarkeit der ML-Modelle und Interpretierbarkeit der Ergebnisse adressieren die Institute durch Ansätze wie Shapley-Werte (siehe Infobox unten), grafische Darstellungen und Sensitivitätsanalysen. Ferner wird die Bedeutung einer umfassenden Modell- und Methodendokumentation betont.

Weitere relevante rechtliche Aspekte

Neben den regulatorischen Anforderungen an IRBA-Modelle im engeren Sinne, die sich aus der CRR/CRD sowie den relevanten Begleitdokumenten, wie technische Regulierungsstandards (RTS) und Leitfäden von EBA und EZB ergeben, sind weitere rechtliche Rahmenbedingungen bei der Verwendung von ML-Techniken für IRBA-Modelle zu beachten. Dies sind im Wesentlichen die Datenschutz-Grundverordnung (DSGVO) und der AI Act der EU, das erste umfassende Regelwerk für künstliche Intelligenz auf europäischer Ebene, dessen Inkrafttreten Ende 2023 erwartet wird.

Auswirkungen der DSGVO auf den Einsatz von ML-Verfahren wurden von den Instituten nicht thematisiert, daher hat die EBA diese Frage zusätzlich betrachtet. Der Entwurf der neuen Verbraucherkreditrichtlinie (CCD, 26. April 2023) verbietet die Nutzung bestimmter persönlicher Daten in der Beurteilung der Kreditwürdigkeit, etwa aus sozialen Netzwerken. Auch bei Einbeziehung unstrukturierter Daten ist die Erfüllung dieser Vorgabe und der DSGVO sicherzustellen, was möglicherweise mehr Zeit, Aufwand und zusätzliches Wissen erfordert. Auch wenn unstrukturierte Daten derzeit kaum in ML-Modelle einfließen, kann diese Anforderung für die Zukunft bedeutsam werden.

Kritische Einschränkungen aufgrund des AI Act der EU könnten sich insbesondere über dessen grundsätzliches Ziel ergeben, Einschränkungen der Grundrechte aufgrund der Urteile von Algorithmen, die auf künstlicher Intelligenz basieren, zu verhindern. Hierzu zählt auch der Zugang von Menschen zu finanziellen Ressourcen, unter anderem zu Krediten. Insofern könnte die unsachgerechte Entscheidung, einer Privatperson einen Kreditantrag unter Rückgriff auf ein ML-basiertes Kreditentscheidungsverfahren zu verwehren, eine solche Einschränkung der Grundrechte darstellen.

Die EBA moniert allerdings in diesem Kontext, dass die Anforderungen in der derzeitigen Entwurfsfassung des AI Act zu vage formuliert seien, so dass weder Kunden noch Banken noch Aufsichtsbehörden über ihre Rechte, Pflichten bzw. Prüfungskriterien Klarheit erlangen könnten. Schließlich sei eine sachgerechte und methodisch angemessene Ermittlung der Kreditwürdigkeit einer Person und die darauf basierende Entscheidung für oder wider den Zugang zu finanziellen Ressourcen ein Vorgang, der einer Person nicht grundsätzlich zum Nachteil gereiche. Vielmehr sei das Ziel, unter Berücksichtigung aller verfügbaren Informationen eine faire Entscheidung zu treffen, die im Falle einer Ablehnung durchaus eine Privatperson davor bewahren könnte, sich nicht leistbare finanzielle Verpflichtungen aufzubürden. Insofern fordert die EBA eine Konkretisierung der Anforderungen im AI Act.

Die EBA verweist ferner darauf, dass der Hauptzweck eines IRBA-Verfahrens die Ermittlung des regulatorischen Eigenkapitals und nicht die Kreditentscheidung sei. Somit rücken die oben genannten Aspekte zunächst in den Hintergrund. Über den Use Test, also die Anforderung, dass die Ergebnisse der IRBA-Verfahren konsistent im Institut in Risikomanagement und insbesondere Kreditentscheidung genutzt werden müssen, werden sie allerdings dann doch wieder relevant.

Teil 2: Prinzipienbasierte Empfehlungen der EBA

Anleitung für den Einsatz von Machine Learning

Das ursprüngliche Diskussionspapier gibt eine Reihe von Handreichungen, ML-Verfahren in IRBA-Modellen so einzusetzen, dass die regulatorischen Anforderungen der CRR eingehalten werden können. Der aktuelle EBA-Report konkretisiert diese und legt außerdem nahe, dass der Mehrwert von ML-Verfahren davon abhängt, dass eine akzeptable Überwachung, Validierung und Erklärbarkeit der Methodik und der Modellergebnisse sichergestellt sowie Fairness, Datenschutz und Verbraucherschutz gewährleistet sind.

Empfehlungen zur Modellentwicklung

Ein angemessenes Gleichgewicht zwischen Modellleistung und Erklärbarkeit der Ergebnisse sollte insbesondere unnötige Komplexität vermeiden. Um sicherzustellen, dass ein ML-basiertes Modell korrekt interpretiert und verstanden wird, wird den Instituten empfohlen, die Beziehung jedes einzelnen Risikofaktors zur Ausgabevariablen und das Gesamtgewicht jedes Risikotreibers bei der Bestimmung der Ausgabevariablen statistisch zu analysieren. Damit die Modellschätzungen plausibel und intuitiv sind, sollte die wirtschaftliche Beziehung jedes Risikofaktors zur Zielgröße beurteilt werden. Die Institute sollten außerdem potenzielle Verzerrungen im Modell (zum Beispiel Overfitting an die Trainingsstichprobe) erkennen.

Empfehlungen zur Modelldokumentation

Es sollte ein zusammenfassendes Dokument bereitgestellt werden, in dem das Modell auf der Grundlage der Ergebnisse der Analysen nachvollziehbar erklärt wird und das die Haupttreiber des Modells sowie die Hauptbeziehungen zwischen den Risikotreibern und den Modellvorhersagen beschreibt.

Das Leitungsorgan und die Geschäftsleitung sollten über ein gutes Verständnis des Modells verfügen, etwa auf Basis einer angemessenen (High-Level-)Modelldokumentation.

Anforderungen an die Mitarbeiter

Die Mitarbeiter in der Modellentwicklungseinheit, der Credit Risk Control Unit (CRCU) und der Validierungseinheit sollten über ausreichende Fähigkeiten und Kenntnisse verfügen, um ML-basierte Modelle zu entwickeln und zu validieren und die Relevanz und Angemessenheit der verwendeten Risikotreiber zu bewerten. Die Mitarbeiter sollten in der Lage sein, die Modellannahmen zu bewerten und zu überprüfen, ob die ausgewählten Risikotreiber zur Risikobewertung im Einklang mit ihrer wirtschaftlichen Bedeutung beitragen. Wenn menschliches Urteilsvermögen bei der Anwendung zum Tragen kommt, sollten die Mitarbeiter in der Lage sein, das konkrete Verhalten des Modells zu berücksichtigen und Aspekte zu identifizieren, die nicht enthalten sind oder bei denen die Wirkungsrichtung oder -stärke des Modells unplausibel sind. In diesem Zusammenhang wird auf die Wichtigkeit der Analyse des Überschreibungsprozesses (Overrides) hingewiesen.

Model Changes

Ein Charakteristikum mancher ML-Verfahren ist es, „selbstlernend“ zu sein in dem Sinne, dass hochfrequente Modellanpassungen aufgrund neuer Daten vorgenommen werden. Diese Eigenschaft tritt bei Verfahren zur Kreditrisikoparameterschätzung aufgrund der großen Zeithorizonte allerdings in den Hintergrund. Konkret heißt das: Da die wirtschaftlichen Verhältnisse und die internen Prozesse als stabil angesehen werden, sollten Kreditrisikomodelle keiner häufigen Updates bedürfen. Wenn ML-basierte Modelle dennoch häufig aktualisiert werden, sollte der Grund der Updates im Detail untersucht und überwacht werden. Ferner sind Änderungen von IRBA-Modellen stets den Anforderungen und Kriterien des technischen Regulierungsstandards der EBA zur Einstufung von Modelländerungen unterworfen, die ggf. zu einer aufsichtlichen Genehmigungspflicht führen. Dies gilt auch für ML-basierte IRBA-Verfahren. Hingewiesen wird explizit auf das Kriterium, dass eine signifikante Rangordnungsänderung als relevante Modelländerung anzusehen ist, und auf die Warnung, dass wesentliche Modelländerungen nicht in mehrere unwesentliche Änderungen aufgeteilt werden dürfen.

Modellvalidierung

Mehrere Aspekte werden bezüglich Validierung von ML-Verfahren seitens der EBA betont:

1. Um der Gefahr von Overfitting bei ML-Verfahren zu begegnen, wird die Wichtigkeit von Performance-Vergleichen im Rahmen der Entwicklung ML-basierter IRBA-Verfahren sowohl unter Verwendung von aktuellen Daten als auch von Out-of-Sample- und Out-of-Time-Stichproben besonders betont.
2. Der Validierungseinheit wird empfohlen, besonderes Augenmerk auf die Überprüfung der Gründe für die Auswahl der Hyperparameter zu legen, die zur Definition der Struktur des Modells und zur Anpassung des Lernalgorithmus verwendet werden.
3. Den Instituten wird empfohlen, auf eine ausreichende Datenqualität zu achten, wenn ML-Techniken zur Risikodifferenzierung mit großen Datenmengen gespeist werden. Es ist zudem zu prüfen, ob eine mangelnde Repräsentativität gegebenenfalls verwendeter externer Daten die Performance auf dem eigenen Anwendungsportfolio schmälert. Institute sollten ferner bei der Verwendung von unstrukturierten Daten besonders darauf achten, dass diese Daten genau, vollständig und angemessen sind.
4. Die Stabilität der Modellschätzungen leidet möglicherweise durch die stärkere Berücksichtigung von Point-in-Time-Elementen (s.o. Overfitting). Ein Thema der Validierung sollte zudem die Überwachung signifikanter Änderungen im Ranking sein. Da diese ein Kriterium für die Kategorisierung von Model Changes sind und durch regelmäßige oder automatische Updates in ML-Modellen auftreten können, könnte eine entsprechende Meldung bei der Aufsicht erforderlich werden.

Fazit

Die Anwendung von Machine-Learning-Verfahren durch Banken im Rahmen der Schätzung von Kreditrisikoparametern im IRBA-Kontext bietet eine breite Palette von Chancen und Herausforderungen. Die methodischen Stärken können zu verbesserten Modellen, präziseren Kreditbewertungen, frühzeitiger Risikoerkennung und wirksamerer Portfoliosteuerung führen. Die Europäische Bankenaufsicht hat die Leitlinien für den Einsatz dieser Modelle weiter konkretisiert. Dennoch müssen Banken die Herausforderungen und Risiken sorgfältig abwägen und sicherstellen, dass die erhöhten Anforderungen an menschliche Expertise und methodische Fachkenntnisse sowie die Wechselwirkungen mit relevanten rechtlichen Rahmenwerken berücksichtigt werden. Das Ziel ist, durch angemessene Integration von Machine Learning in die Kreditrisikomodellierung die Stabilität des Finanzsystems zu verbessern, indem Banken letztlich fundiertere Kreditentscheidungen zu treffen in der Lage sind.