Выбор модели прогнозирования дефолта для АО

При анализе обнаруживается слабость отдельных показателей, а платежеспособность находится на границе минимально допустимого уровня. 3. ПРОГНОЗИРОВАНИЕ ДЕФОЛТА АО «ПОЛЮС ЗОЛОТО»3.1. Построение модели и выбор переменныхДля работы используется база данных финансовой отчетности АО «Полюс Золото», полученная из открытых источников. Как было сказано ранее, под понятием банкротства понимается факт неисполнения компании обязательств перед кредиторами либо крайне неблагоприятное освящение финансового состояния компании в СМИ. Для этих целей, по компании АО «Полюс Золото» было проведен анализ новостных источников, в результате которого, для компании был найден 2020 год, в котором компания может считаться банкротом, согласно вышеупомянутому подходу. Если таких годов было несколько, годом банкротства выбирался самый первый.Логика данного метода обработки наблюдений подразумевает, что модель должна предсказывать дефолт за год до того, как оно произойдет. При этом, состояние за 2 года до банкротства характеризуется как финансовой устойчивое и не относящееся к классу банкротства. Наблюдения компании банкрота за 2 года до банкротства и больше, замешиваются в выборку как независимые компании не банкроты.При этом, важно понимать, что наше допущение о независимости последовательных годов наблюдений для компанииАО «Полюс Золото» будет нарушать метрики оценки точности модели. Для того чтобы это обойти, наблюдения одной компании за разные года, которые мы замешиваем в общую выборку идут строго или в тестовую или в обучающую. Для построения моделей используются библиотеки Scikit-learn, Pandas, Numpy, Catboost для Python.Для проверки точности моделей используется стратифицированное (при каждом разбиении доли классов сохраняются, так же, как и в основной выборке, не может быть такого, что в тестовую выборку попадет 0 банкротов) случайное разбиение на обучающую и тестовую выборку.Процедура измерения точности устроена следующим образом:Вначале, согласно описанному выше методу, датасет разбивается на тестовую и обучающую выборки. Затем, происходит обучение тестируемой модели и находится метрика AUC (площадь под ROC-кривой). Затем процедура повторяется 15 раз. На основе 15 посчитанных AUC, рассчитывается среднее арифметическое значение, а также 5% и 95% доверительные интервалы, для того чтобы оценить, насколько AUCволатилен.Для выбора оптимальной формы были построены следующие модели:Логистическая регрессия Lasso с регуляризацией. Показала достаточно высокий результат AUC=0.85 и уступила лишь градиентному бустингу. Использовалась команда LogisticRegression из библиотеки Scikit-learn. Гиперпараметры были поставлены по умолчанию.Градиентный бустинг. Традиционно показывает наилучший результат классификации и часто применяется на чемпионатах по машинному обучению. Использовалась библиотека Catboost. Гиперпараметры были поставлены по умолчанию.Случайный лес. Использовалась команда RandomForestClassifier из библиотеки Scikit-learn. Гиперпараметры были подобраны перебором. Наибольшая глубина дерева установлена в 9.Ансамбль моделей. Усредненное голосование (среднее арифметическое) описанных выше трех моделей, а именно логистической регрессии Lasso с регуляризацией, случайного леса и градиентного бустинга. Ансамбль из этих трех моделей показал наилучшие результатыТаблица 7. Результаты точности моделейНазвание модели5% AUCСредний AUC95% процентильAUCАнсамбль моделей0.890.900.91Градиентный бустинг0.870.890.89Логистическая регрессия с LASSO регуляризацией0.830.850.86Случайный лес0.820.840.86Наивный байесовский классификаторN/A0.75N/AЛогистическая регрессияN/A0.71N/AK-ближайших соседей*N/A0.54N/AМетод опорных векторов*N/A0.52N/AТакже были построены другие модели прогнозирования, которые в силу определенных причин показали недостаточную точность.Метод опорных векторов – перед применением метода данные были дополнительно отшкалированы, однако это не принесло ожидаемого результата и точность оказалась низкой. Причинами этому могли послужить очень низкая частота одного из классов (банкротств), линейная неразделимость данных. Ядерный трюк не применялся. K-ближайших соседей – плохо работает при имбалансных выборках. Его точность ожидаемо оказалась низкой.Наивный байесовский классификатор – его точность не может превышать определенный порог, характеризующийся его допущением о независимости переменных.Классическая логистическая регрессия – показала более низкий результат, так как не использует регуляризация и хуже подстраивается под нелинейные зависимости в данных чем Lasso регрессия.Таким образом, в результате перебора моделей, была выбрана наиболее удачная, а именно ансамбль из нескольких наиболее точных моделей.Отбор переменныхОбщих причин, приводящих компанию к банкротству, можно привести множество:Blazy and Combier (2017) (BlazyR, 2017) подразделяют причины наследующие группы:Случайные происшествия (смерть главы компании, мошенничество, катастрофы, судебные тяжбы не связанные с финансовым состояние компании, преступный умысле)Проблемы со сбытом (потеря доли рынка, неудачная продуктовая линейка и потеря покупателей)Финансовые проблемы (нехватка денежных средства, непомерная стоимость заёмного капитала конкретно для этой компании, отказ в предоставлении средств со стороны заимодавца)Информационные и управленческие проблемы (неэффективный менеджмент, неудачная структура компании ми финансовая архитектура)Макроэкономические факторы (снижение спроса, рост конкуренции, сжатие денежной базы и рост ставок по кредитам во всей экономике)Просчеты в стратегическом планированииПроизводственные проблемы (высокая себестоимость, нехватка инвестиций и основных средств, потеря поставщиков неэффективный производственной процесс.) Несмотря на большое количество первопричин исход у всех у них один, однако отбор переменных является достаточно сложной задачей.Доступность данных является серьезной проблемой для исследования банкротств. Слишком много переменных в модели могут затруднить отбор наиболее значимых. Hamer (1983) писал, что подбор переменных для моделирования банкротств это поиск баланса между удешевлением и облегчением сбора данных для этих переменных и наиболее эффективного и точного построения модели.Что касается прогнозирования банкротств публичных компаний, то рыночные модели (структурные модели и модели сокращенной формы) часто оказываются слишком сложными или зависимыми от рынка. Для их применения необходим доступ к большому массиву данных (рыночной стоимости акционерного капитала, долговых обязательств, спрэдов доходности облигаций и т.д.). Карминский А.М. в своем исследовании (Карминский А., 2019) делает вывод, что рыночная информация является существенным фактором при прогнозировании банкротств публичных компаний.Несмотря на широкое применение рыночных моделей западными компаниями, на российском рынке их использование затруднено из-за небольшого количества котирующихся ценных бумаг.Таблица 8. Частотность разных типов переменныхПеременнаяВ скольки процентах из 190 работ встречаетсяФинансовый коэффициент (частное от деления двух финансовых показателей)93%Статистическая переменная (средне значение, СКО, дисперсия, логарифм, факторный анализ), рассчитанная из других переменных)28%Лаговая переменная14%Нефинансовая переменная13%Переменная, полученная на основе рыночных данных курса акций6%Переменная, полученная из финансовой отчетности5%Учитывая то, что в данной работе применяется ансамбль из нескольких моделей, применение какого-то одного подхода к отбору переменных невозможно. Поэтому, для отбора переменных используется совокупность нескольких разных тестов, которая затем усредняется. Первоначальная модель имела 33 переменные, однако в последующем этот список сократился до 11.Тест 1. ANOVA F-value (Tsai C, 2019).ANOVA тест, сравнивает дисперсию двух выборок (исследуемой на значимость объясняющей переменной и объясняемой переменной). Если дисперсии имеют сходство, присутствует статистическая связь и переменная считается значимой.Тест 2. RFE feature selection (Dash M, 2017)В основной модели переменные последовательно заменяются случайным шумом, и при этом измеряется падение точности. Переменные, при выбрасывании которых точность падает незначительно, считаются незначимыми.Тест 3. Lasso регрессия. (DashM, 2017)На основе всех переменных, для оценки их значимости, строится вспомогательный Lasso регрессия, которая в силу своей природы зануляет коэффициенты перед незначимыми переменными. Тест 4. RFEfeatureselection.На основе всех переменных строится вспомогательный случайный лес для оценки их значимости. Переменные ранжируются по показателю Критерий Джини (Giniimpurity), который тем выше, чем раньше переменная встречается в листьях дерева и характеризует то, насколько данная переменная разделяет классы. Переменные, имеющие наименьший Критерий Джини, считаются незначимыми.Тесты подобраны таким образом, что позволяют проранжировать переменные по значимости. Затем, наименее значимые переменные начинают выбрасываться, и после каждой итерации точность модели замеряется.В результате точность модели по мере сокращения количества переменных с 33 до 11 росла, однако попытки снизить количество переменных ниже 11 приводили к ухудшению точности модели.Таблица 9. Влияние количества переменных на точность прогнозирования.Количество переменных5% процентильAUCСредний AUC95% процентильAUC330.860.870.89200.890.900.91110.890.900.91100.880.890.91Таким образом, были отобраны переменные, которые можно разделить на следующие группы (подробно с методикой расчета показателей можно ознакомиться в приложении №1):Показатели долговой нагрузки:DSCR, TDtoAssets, DtoEbitda (за 1 года= до банкротства), DCSR2 (за 2 года до банкротства), dDtoEBITDA, dTDtoAssets (лаговые переменные показывающие изменения указанных выше коэффициентов)Показатели рентабельности:Gross_marginПоказатели ликвидности:Currentrat., Cashrat., %OborCred.Z. (процентное изменение оборачиваемости кредиторской задолженности в днях), %OborZapasov (процентное изменение оборачиваемости запасов в днях)Прочие показателиdivpayout3.2. Моделирование и интерпретация результатовДля того чтобы оценки вклада каждой из объясняющих переменных в прогнозирование дефолта использовался SHAP метод. Сначала рассчитывается SHAPbasevalue. Этот показатель константа для всех наблюдений, и рассчитывается как вероятность отнесения к классу банкротов для наблюдения со средним арифметическим по всем переменным. Затем, для каждого наблюдения и для каждой переменной рассчитываются SHAPvalues.Рассмотрим интерпретацию прогноза модели для АО «Полюс Золото» за 2018-2020 год:Таблица 10. Интерпретация прогнозов модели на основе отчетности АО «Полюс Золото».Название переменныхЗначения переменныхSHAPvaluesDCSR5,130,001DCSR214,41-0,01TDtoAssets0,67-0,003Gross_margin-0,02-0,001%OborCred.Z.1,30,005%OborZapasov1,05-0,005Current rat.1,040,014Cash rat.0,39-0,015divpayout-5,40,201dDtoEBITDA1,3-0,002dTDtoAssets0,1-0,003DtoEBITDA5,8-0,004Base Value0,17Сумма по столбцу (вероятность отнесения к классу банкротов)0,35Как видно из таблицы 10, модель отнесла компанию к классу банкротов с вероятностью 0.35. Basevalue для модели из 11 переменных=0.17. В таблице 10, в колонке «SHAPvalues» приводятся SHAPvalues, для каждой из 11 переменных. В колонке «Значения переменных», приводятся рассчитанные финансовые коэффициенты – объясняющие переменные. Сумма всех SHAPvalues и SHAPBasevalue равна итоговой вероятности дефолта, прогнозируемой моделью. Отсюда, можно увидеть, почему модель предрекает для ЗАО «Международный Аэропорт "Домодедово"» дефолт. Положительные значения SHAPvalue означают негативные факторы, в то время как отрицательные значения SHAP value снижают вероятность банкротства. Как можно увидеть из таблицы, показатель «divpayout» имеет SHAPvalue 0.201. Переменная «divpayout» рассчитывается как отношение выплаченных за год дивидендов к чистой прибыли. У АО «Полюс Золото» данный показатель равен -5.4, что свидетельствует о том, что компания выплатила дивиденды, имея непокрытый убыток.Предположим, что мы выкинем переменную «divpayout». Без нее, прогнозируемая вероятность банкротства для АО «Полюс Золото» составила бы 0.15, и модель отнесла бы его к классу не банкротов, так как 0.15<границы разделения 0.25. Тогда, учитывая, что SHAPBasevalue=0.17, получилось бы, что аэропорт более низкие шансы обанкротиться чем средняя компания из выборки наблюдений.После обучения модель без переменной «divpayout», получается следующая картина:Таблица 11. Интерпретация прогнозов модели на основе отчетности АО «Полюс Золото» без переменной «divpayout»Название переменныхЗначения переменныхSHAPvaluesDCSR5,130,001DCSR214,41-0,01TDtoAssets0,67-0,005Gross_margin-0,02-0,003%OborCred.Z.1,30,007%OborZapasov1,05-0,005Current rat.1,040,021Cash rat.0,39-0,023divpayoutвыброшенавыброшенаdDtoEBITDA1,3-0,003dTDtoAssets0,1-0,002DtoEBITDA5,8-0,001Base Value0,18Сумма по столбцу (вероятность отнесения к классу банкротов)0,16Как видно из таблицы 11, после выбрасывания переменной все SHAPvalues и Basevalue незначительно изменились, однако финальный прогноз модели упал говно настолько, насколько и предсказывалось – приблизительно на 20 процентных пунктов.SHAPvalues рассчитываются для каждого наблюдения по каждой переменной и напрямую связаны с конечной вероятностью отнесения наблюдения к классу банкротов. Поэтому, построив диаграмму рассеивания между всеми SHAPvalue по i-ой переменной и значениями i-ой переменной, можно оценить зависимость между переменной и дефолтом.Влияние переменной «divpayout» на дефолтКак видно из рисунка 3, на оси y отложены значения SHAPvalues для всех наблюдений по переменной «divpayout». Заметны выбросы, самая левая точка — это наблюдение по АО «Полюс Золото». Рисунок 2. Связь переменной "dividendpayout" с дефолтомИз диаграммы рассеивания следует, обратная связь между переменной и дефолтом. Модель, считает, что, выплаты дивиденды, при отрицательной прибыли негативно сказывается на финансовой устойчивости, при этом, если компания выплачивает дивиденды, кратно превышающие чистую прибыль, значит, шансы обанкротиться минимальны. Следует отметить, что политика выплаты дивидендов может сильно зависит от отрасли и стадии жизненного цикла компании.Также важно обратить внимание на то, насколько модель чувствительна к выбросам. Если выплаты дивидендов превышают чистую прибыль за период в 4 раза, модель снижает вероятность банкротства на 0.15, в то время как когда выплаты дивидендов превышают чистую прибыль за период в 2 раза – только на 0.15.Влияние переменной «TDtoAssets» на дефолтTDtoAssets рассчитывается как . Под обязательствами понимается любые обязательства типа займов, кредиторской задолженности или задолженности перед налоговой.Как видно из рисунка ниже, прослеживается прямая связь долговой нагрузки с дефолтом. При этом, для компаний с отрицательным собственным капиталам, значение переменной TDtoAssets становится больше единицы, и тут у SHAPvalues резко возрастает дисперсия. Рисунок 3. Связь переменной "TDtoAssets" с дефолтомВлияние переменной «DSCR» на дефолт.Любопытная зависимость наблюдается при между данной переменной и дефолтом. DSCR, рассчитывается как При DSCR ниже 0, вероятность банкротства резко возрастает, в то время как по мере роста положительных значений DSCR вероятность банкротства плавно снижается.Рисунок 4. Связь переменной "DSCR" с дефолтомВлияние переменной «Current rat.» на дефолт.Переменная рассчитывается как . Наблюдается обратная линейная зависимость между данной переменной и вероятностью банкротстваРисунок 5. Связь переменной "Currentrat." с дефолтомВлияние переменной «Gross_margin» на дефолт.Переменная рассчитывается как . Наблюдается нелинейная зависимость. Для части компаний, имеющих огромные убытки, SHAPvalues не превышают 0.05. Для компаний, имеющих большую рентабельность SHAPvalues, не меняется.Рисунок 6. Связь переменной "Gross_margin" с дефолтомТаким образом, моделирование прогнозирования дефолта для АО «Полюс Золото» показало, что вероятность дефолта низкая (0,35), однако компании следует пересмотреть работу с кредиторской задолженностью и инвестиционную политику.ЗаключениеСегодня в условиях нестабильной экономики и наличия кризисных явлений исследование и обеспечение финансовой устойчивости и прогнозирования дефолта предприятий становится актуальной задачей. Финансовая устойчивость в самом общем смысле предполагает такое состояние организации, при котором она способна выдерживать последствия непредвиденных негативных обстоятельств, связанных как с внешними, так и с внутренними факторным аспектами. К внешним факторным аспектам можно отнести повышение цен на необходимые ресурсы либо прекращение их поставки, потерю платежеспособности либо спроса заказчиков продукции и прочее. К внутренним факторным аспектам можно отнести, к примеру, пожар, взрыв и другое.Определение степени финансовой устойчивости и прогнозирования дефолта предприятия необходимо не только для его владельцев, акционеров и управленческого персонала по очевидным причинам, но и для инвесторов и финансовых аналитиков, желающих определить перспективы компании.На сегодня нет единого подхода к оцениваниюфинансовой устойчивости и прогнозирования дефолта, но наиболее часто ее оценивают путем анализа структуры капитала компании, т.е. статей ее бухгалтерского баланса, а также путем анализа ликвидности и платежеспособности. В практическом смысле финансовая устойчивость подразумевает способность предприятия поддерживать стабильную прибыльности от основной деятельности, обеспечивая выполнение компанией своих финансовых обязательств, а также иметь финансовые резервы либо механизмы их создания в непредвиденных ситуациях.Большинство экономистов сходятся на том, что достоверная оценка степени финансовой устойчивости и прогнозирования дефолта предприятия может быть сделана только с учётом отраслевой специфики конкретного предприятия, в связи с чем на каждом предприятии должна вестись постоянная работа по разработке и мониторингу показателейего финансовой устойчивости и прогнозирования дефолтаи, собственно, по анализу с применением данных показателей. На постоянной основе должна вестись оценка рисков, связанных с деятельностью предприятия и должны планироваться мероприятия по обеспечению финансовой устойчивости и прогнозирования дефолта.Это позволит предупредить негативные последствия влияния непредвиденных обстоятельств на финансовую и хозяйственную деятельность предприятия.Список использованной литературыБелоглазов Д. А. Особенности нейросетевых решений, достоинства и недостатки, перспективы применения //Известия южного федерального университета. Технические науки. – 2018. – Т. 84. – №. 7.Карминский А. М., Бурехин Р. Н. Сравнительный анализ методов прогнозирования банкротств российских строительных компаний //Бизнес-информатика. – 2019. – Т. 13. – №. 3.Altman E.I. Financial ratios, discriminant analysis and the prediction of corporate bankruptcy // The Journal of Finance. – 2018. – Vol. 23, No. 4. – P. 589-609.Altman, E.I., Marco, G., Varetto, F. (1994), Corporate distress diagnosis: Comparisons using linear discriminant analysis and neural networks (the Italian experience), Journal of Banking & Finance, 3 (18) (2021) 505–529.ALTMAN, E. L., R. A. EISENBEISA ND J. SINKEY, Applications of Classification techniques in Business, Banking, and Finance, JAI Press, Greenwich, CT, 2021.Aldrich J. H., Nelson F. D., Adler E. S. Linear probability, logit, and probit models. – Sage, 2019. – №. 45.Ariza-Garzón M. J. et al. Explainability of a Machine Learning Granting Scoring Model in Peer-to-Peer Lending //IEEE Access. – 2020. – Т. 8. – С. 64873-64890.Balakrishnama S., Ganapathiraju A. Linear discriminant analysis-a brief tutorial //Institute for Signal and information Processing. – 2018. – Т. 18. – С. 1-8.Barboza F., Kimura H., Altman E. Machine learning models and bankruptcy prediction //Expert Systems with Applications. – 2017. – Т. 83. – С. 405-417.Beaver B. Financial ratios as predictors of failure // Journal of Accounting Research. – 2019. – Vol.4. – P. 91-101Blazy, R., Combier, J. (2017), “La défaillanced'entreprise: causes économiques, traitementjudiciaire et impact financier”, Economica.Chen, G. and H. Tsurumi, 2020. Probit and logit model selection. Communications in Statistics - Theory and Methods, 40, 159-175.Dash M., Liu H. Feature selection for classification //Intelligent data analysis. – 2017. – Т. 1. – №. 3. – С. 131-156.Deakin E. B. Distributions of financial accounting ratios: some empirical evidence //The Accounting Review. – 2019. – Т. 51. – №. 1. – С. 90-96. Fatima S. S., Wooldridge M., Jennings N. R. A linear approximation method for the Shapley value //Artificial Intelligence. – 2018. – Т. 172. – №. 14. – С. 1673-1699.Hamer, M.M. (2019), "Failure prediction: Sensitivity of classification accuracy to alternative statistical methods and variable sets", Journal of Accounting and Public Policy 2, 289-307.Haykin S. Neural networks: a comprehensive foundation. – Prentice Hall PTR, 2017Jo H., Han I., Lee H. Bankruptcy prediction using case-based reasoning, neural networks, and discriminant analysis //Expert Systems with Applications. – 2017. – Т. 13. – №. 2. – С. 97-108.Khorasgani, A. (2019), Optimal accounting-based default prediction model for the UK SMEs, Proceedings of ASBBS Annual Conference: Las Vegas, 1 (18) (2011) 149–168.Kollar B., Cisko Š. Credit risk quantification with the use of CreditRisk+ //International Conference on Management, Education, Business, and Information Science. – 2019. – С. 43-46.Leo M., Sharma S., Maddulety K. Machine learning in banking risk management: A literature review //Risks. – 2019. – Т. 7. – №. 1. – С. 29.Liaw A. et al. Classification and regression by randomForest //R news. – 2018. – Т. 2. – №. 3. – С. 18-22.Lohmann C., Ohliger T. Nonlinear relationships and their effect on the bankruptcy prediction //Schmalenbach Business Review. – 2017. – Т. 18. – №. 3. – С. 261-287.Lundberg S. M., Lee S. I. A unified approach to interpreting model predictions //Advances in Neural Information Processing Systems. – 2017. – С. 4765-4774.Lundberg, Scott M, and Su-In Lee. 2017. “A Unified Approach to Interpreting Model Predictions.” In Advances in Neural Information Processing Systems 30, edited by I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, 4765–74. Curran Associates, Inc.Maleev, V., Nikolenko, T. (2020), Predicting Probability of Default of Russian Public Companies on the Basis of Financial and Market Variables. Preprint.Odom M. D., Sharda R. A neural network model for bankruptcy prediction //1990 IJCNN International Joint Conference on neural networks. – IEEE, 1990. – С. 163-168.Ohlson, J.A. (1980), Financial ratios and the probabilistic prediction of bankruptcy, Journal of accounting research, 1 (18) (2020) 109–131.Petropoulos A. et al. A robust machine learning approach for credit risk analysis of large loan level datasets using deep learning and extreme gradient boosting //IFC Bulletins chapters. – 2019. – Т. 49.Tam K. Y., Kiang M. Y. Managerial applications of neural networks: the case of bank failure predictions //Management science. – 2019. – Т. 38. – №. 7. – С. 926-947.Shapley, Lloyd S. 2019. “A Value for n-Person Games.” In Contributions to the Theory of Games Ii, edited by Harold W. Kuhn and Albert W. Tucker, 307–17. Princeton: Princeton University Press.Steinwart I., Christmann A. Support vector machines. – Springer Science & Business Media, 2018.Tsai C. F. Feature selection in bankruptcy prediction //Knowledge-Based Systems. – 2019. – Т. 22. – №. 2. – С. 120-127.Zhang G. et al. Artificial neural networks in bankruptcy prediction: General framework and cross-validation analysis //European journal of operational research. – 2019. – Т. 116. – №. 1. – С. 16-32.Härdle W. K. et al. The default risk of firms examined with smooth support vector machines. – 2017.