Walidacja ilościowa i jakościowa systemów scoringowych i ratingowych
Szkolenie przedstawia kompletny proces walidacji systemu scoringowego lub ratingowego w kontekście Basel II i nie tylko. Podczas szkolenia koncentrujemy się na metodach ilościowych stosowanych w walidacji i przedstawiamy cały katalog takich metod.
Koncentrujemy się głównie na ocenie zdolności dyskryminacyjnej systemu scoringowego. Przedstawione są także najważniejsze zagadnienia związane z jakością kalibracji. Omawiana jest też krytyczna dla powodzenia całego procesu walidacji systemu ratingowego walidacja jakościowa. Krótko prezentowane są pozostałe aspekty walidacji: stabilność, benchmarking i stress testing.
Każdy etap szkolenia oprócz części wykładowej obejmuje ćwiczenia praktyczne z wykorzystaniem MS Excel i systemu R.
Korzyści
Uczestnicy szkolenia:
- poznają aspekty walidacji systemów scoringowych i ratingowych,
- poznają metody statystyczne stosowane w walidacji,
- nauczą się, jak oceniać jakość systemu scoringowego,
- dowiedzą się o pułapkach, których można spodziewać się podczas walidacji systemów scoringowych i ratingowych,
- utrwalą wiedzę poprzez ćwiczenia na komputerze,
- otrzymają materiały umożliwiające samodzielną późniejszą pracę.
Skrót programu szkolenia
- Proces walidacji według zaleceń BIS
- Wszechstronna ocena zdolności dyskryminacyjnej
- Własności, wady i zalety miar zdolności dyskryminacyjnej
- Ocena losowości miar i testy statystyczne
- Zalecenia praktyczne związane ze stosowaniem miar
- Ocena jakości kalibracji systemu ratingowego
- Monitorowanie działania systemu scoringowego i ratingowego
Pełny program szkolenia poniżej.
Uczestnicy
Pracownicy departamentów ryzyka kredytowego, audytu, IT:
- budujący modele scoringowe lub zamierzający budować modele scoringowe,
- monitorujący działanie modeli scoringowych,
- walidujący modele scoringowe,
- analitycy ryzyka kredytowego,
- wszyscy zainteresowani poznaniem sposobów walidacji systemów scoringowych.
Więcej informacji
Program szkolenia i program szkolenia w pdf (55 KB).
Terminy szkoleń otwartych.
Rejestracja na szkolenie otwarte.
Szkolenie dostępne jest także jako zamknięte. Zakres i termin dostosowane będą do Państwa potrzeb. Jeśli są Państwo zainteresowani szkoleniem zamkniętym, to proszę o kontakt.
Program szkolenia
Przeczytaj program szkolenia w pdf (55 KB).
- Wprowadzenie: systemy ratingowe i scoringowe
- Rodzaje systemów ratingowych
- Sposób budowy systemów ratingowych oraz budowa systemu ratingowego na bazie systemu scoringowego
- Wykorzystanie systemów ratingowych w podejściu zaawansowanym Basel II (advanced IRB approach)
- Niepewność prognozy systemów ratingowych: źródła błędów w budowie oraz dynamika systemów
- Walidacja systemów ratingowych w kontekście Nowej Umowy Kapitałowej
- Konieczność posiadania skutecznego systemu ratingowego: wymagania biznesu i Basel II / NUK
- Obowiązek uzasadnienia instytucji nadzorującej bank poprawności stosowanych metod
- Sześć zasad BIS (AIGV)
- Proces walidacji systemów ratingowych według zaleceń BIS
- Płaszczyzny procesu walidacji: użycie, poprawność teoretyczna, poprawność analityczna, poprawność implementacji
- Walidacja jakościowa: budowa modelu, jakość danych, sposób wykorzystywania modelu
- Walidacja ilościowa: backtesting, benchmarking, ocena zdolności dyskryminacyjnej, ocena jakości kalibracji, ocena stabilności
- Dokumentacja modelu ratingowego i procedury stosowanej w walidacji
- Wprowadzenie do oceny zdolności dyskryminacyjnej
- Kryteria dobroci dopasowania modelu (AIC, R^2)
- Intuicje: rozkłady punktów scoringowych
- Przykłady dobrej i złej separacji
- Idea konstrukcji miar oceniających zdolność dyskryminacyjną
- Rozkłady prawdopodobieństwa dla score
- Ocena dokładności klasyfikacji
- Scoring i klasyfikacja binarna
- Idea oceny dokładności klasyfikacji: zbiór uczący i testowy
- Macierz kontyngencji, błąd klasyfikacji, czułość i specyficzność
- Popularne strategie stosowane w ocenie dokładności klasyfikacji: cross-validation (leave-one-out, k-fold cross-validation) oraz metoda bootstrap
- Miary oceniające zdolność dyskryminacyjną
- Wprowadzenie:
- Klasyfikacja miar oceniających zdolność dyskryminacyjną
- Pożądane własności dobrej miary separacji
- Przegląd miar:
- CAP i AR (współczynnik Giniego)
- ROC, AUROC (miara ROC), współczynnik Pietry
- Dywergencja (separacja Fishera)
- Krzywa i odległość KS
- Miary oparte na entropii, m.in.: WoE, IV, CIER, MIE
- Inne miary
- Wprowadzenie:
- Podstawowe własności, wady i zalety miar zdolności dyskryminacyjnej
- Najważniejsze związki pomiędzy miarami
- Wady i zalety poszczególnych miar
- Ocena dokładności wykorzystywanych miar
- Losowość miar
- Ocena zmienności miary: rozkład, wariancja i obciążenie
- Przedziały ufności dla miar
- Zastosowanie metod symulacyjnych w ocenie dokładności miar: metoda Monte Carlo, metoda bootstrap
- Testy statystyczne oceniające siłę dyskryminacyjną
- Różne rodzaje testów
- Ocena skuteczności systemu: test Kołmogorowa-Smirnowa
- Test weryfikujący brak siły dyskryminacyjnej systemu ratingowego
- Porównanie skuteczności dwóch systemów: test istotności różnic dla AUROC
- Ważne związki między zdolnością dyskryminacyjną a jakością kalibracji
- Zalecenia praktyczne związane ze stosowaniem miar
- Konieczność przeprowadzenia walidacji na niezależnym zbiorze testowym (out-of-sample validation)
- Uwzględnienie kilku (jakościowo odmiennych) miar w walidacji
- Wpływ charakteru i struktury portfela na celowość zastosowania miar oraz ograniczenia i pułapki związane ze stosowaniem miar
- Wprowadzenie do oceny jakości kalibracji systemu ratingowego
- Backtesting PD
- Losowość i zmienność parametru PD
- Ocena zmienności parametru PD: przedziały ufności
- Testy statystyczne oceniające jakość kalibracji
- Model jednookresowy: test dwumianowy, test Hosmera-Lemeshowa, test Spiegelhaltera
- Model wielookresowy: test normalny
- Brier score
- Monitorowanie działania systemu scoringowego i ratingowego
- Monitorowanie zdolności dyskryminacyjnej / siły predykcyjnej systemu
- Monitorowanie stabilności populacji
- Monitorowanie siły predykcyjnej cech
- Pozostałe aspekty walidacji systemów ratingowych: krótki przegląd
- Walidacja jakościowa
- Ocena jakości kalibracji
- Stabilność systemu ratingowego
- Stress testing
- Benchmarking