Методология оценки рисков выполнения государственных контрактов с использованием средств машинного обучения

Никитин Петр Владимирович ORCID: 0000-0001-8866-5610 кандидат педагогических наук доцент, департамент анализа данных и машинного обучения, Финансовый университет при Правительстве Российской Федерации 125993, Россия, г. Москва, Ленинградский проспект, 49 Nikitin Petr Vladimirovich PhD in Pedagogy Associate Professor, Department of Data Analysis and Machine Learning, Financial University under the Government of the Russian Federation 125993, Russia, Moscow, Leningradsky Prospekt, 49, office building 2 pvnikitin@fa.ru Другие публикации этого автора     Андриянов Никита Андреевич ORCID: 0000-0003-0735-7697 кандидат технических наук доцент, Департамент анализа данных и машинного обучения, Финансовый университет при Правительстве Российской Федерации 125163, Россия, г. Москва, ул. Ленинградский пр-Т, 49 Andriyanov Nikita Andreevich PhD in Technical Science Associate Professor, Department of Data Analysis and Machine Learning, Financial University under the Government of the Russian Federation 125163, Russia, Moscow, Leningradsky ave., 49 naandriyanov@fa.ru Горохова Римма Ивановна кандидат педагогических наук доцент, Департамент анализа данных и машинного обучения, Финансовый университет при Правительстве Российской Федерации 125167, Россия, г. Москва, Ленинградский проспект, 49 Gorokhova Rimma Ivanovna PhD in Pedagogy Associate Professor, Department of Data Analysis and Machine Learning, Financial University under the Government of the Russian Federation 125167, Russia, Moscow, Leningradsky Prospekt, 49 rigorokhova@fa.ru Другие публикации этого автора     Бахтина Елена Юрьевна кандидат физико-математических наук Доцент, Московский автомобильно-дорожный государственный технический университет (МАДИ) 125319, Россия, г. Москва, Ленинградский проспект, 46 Bakhtina Elena Yur'evna PhD in Physics and Mathematics Associate Professor, Moscow Automobile and Road Engineering State Technical University (MADI) 125319, Russia, Moscow, Leningradsky Prospekt, 46 elbakh@gmail.com Другие публикации этого автора     Долгов Виталий Игоревич кандидат физико-математических наук доцент, Департамент анализа данных и машинного обучения, Финансовый университет при Правительстве Российской Федерации 125319, Россия, г. Москва, ул. Ленинградский Проспект, 49 Dolgov Vitalii Igorevich PhD in Physics and Mathematics Associate Professor, Department of Data Analysis and Machine Learning, Financial University under the Government of the Russian Federation 125319, Russia, Moscow, Leningradsky Prospekt str., 49 vidolgov@fa.ru Другие публикации этого автора

Коровин Дмитрий Игоревич доктор экономических наук профессор, Департамент анализа данных и машинного обучения, Финансовый университет при Правительстве Российской Федерации 125319, Россия, г. Москва, ул. Ленинградский Проспект, 49 Korovin Dmitrii Igorevich Doctor of Economics Professor, Department of Data Analysis and Machine Learning, Financial University under the Government of the Russian Federation 125319, Russia, Moscow, Leningradsky Prospekt str., 49 dikorovin@fa.ru Другие публикации этого автора

Статья подготовлена в рамках государственного задания Правительства Российской Федерации Финансовому университету на 2023 год

Введение

Вопросы контрактной деятельности могут иметь разную степень важности в зависимости от контекста и конкретной ситуации. Важными являются целый ряд аспектов, среди которых обязательными являются определение целей и обязательств сторон; условия оплаты; гарантии и ответственность сторон в контракте; конфиденциальность и защита данных; разрешение споров в случае возникновения разногласий между сторонами; условия изменения и расторжение контракта, являющееся важным для флексибильности и адаптации к изменяющимся обстоятельствам; соблюдение законодательства и регулирования. Важность этих вопросов может варьироваться в зависимости от типа контракта, отрасли и места осуществления контрактной деятельности. При подготовке и заключении контрактов, чтобы обеспечить ясность, защиту интересов сторон и снизить потенциальные риски рекомендуется тщательно рассмотреть все эти вопросы.

А. Я. Геллер заключает, что для снижения риска расторжения контрактов необходимо улучшить систему закупок, внедрить эффективные механизмы контроля и надзора, а также повысить квалификацию участников закупочных процедур. Исследование статьи предоставляет полезную информацию о причинах расторжения контрактов в системе государственных и муниципальных закупок Российской Федерации, что может быть полезно для оценки и управления рисками при осуществлении государственных контрактов. ^[1]

В работе М. М. Золотухиной и Н. А. Половниковой ^[2] выполнено исследование рисков, с которыми сталкиваются предприятия при выборе поставщиков и заключении контрактов. Отмечается, что неправильный выбор поставщиков и непродуманные условия контракта могут привести к серьезным финансовым и операционным проблемам, включая высокие цены, плохое качество товаров или услуг, несоблюдение сроков поставки и т.д. В статье приводятся различные виды рисков, такие как финансовые риски, операционные риски, риски связанные с недостаточными знаниями о поставщиках и их репутацией, а также риски, связанные с изменениями в мировой и местной экономике. Для управления указанными рисками предлагается использовать анализ финансового состояния поставщика, мониторинг и оценка репутации поставщика, использование различных видов контрактов и т.д.

Статья Ю. Б. Гендлиной и др. посвящена исследованию рисков, связанных с заключением строительных контрактов с муниципальными заказчиками. Авторы уделяют внимание влиянию муниципального контекста на риски и особенности управления ими и предлагают рекомендации и стратегии по управлению рисками, связанными со строительными контрактами. Рассматриваются такие инструменты, как подробный анализ условий контракта, регулярный мониторинг и контроль выполнения работ, использование страхования и гарантий, а также разумное управление изменениями и рисковым контролем. ^[3]

В исследовании М. Ю. Алейниковой и Д. А. Голованова рассмотрены модели улучшения системы внутреннего контроля при осуществлении государственных закупок в Российской Федерации. В статье рассматриваются различные модели совершенствования системы внутреннего контроля, используемые в России, предложены решения, основанные на процессном подходе, риск-ориентированном подходе, использовании информационных технологий и автоматизации, а также на усилении контроля и независимости внутренних служб. В статье также представлен анализ преимуществ и недостатков каждой модели, а также опыт и результаты их применения в практике государственных закупок.

В статье Д. А. Елисеева и Д. А. Романова исследуются вопросы применения машинного обучения для прогнозирования рисков в госзакупках ^[5]. Представлен анализ различных факторов (финансовая устойчивость поставщиков, репутация компаний, история выполнения контрактов и другие параметры) для выявления возможных рисков и проблем. Проведен сравнительный анализ машинного обучения и традиционных статистических методов для прогнозирования, который позволил выявить более высокую точность и эффективность прогнозирования рисков, которую можно достичь с помощью машинного обучения.

Исследование Ю. В. Немцева и О. Б. Миронец посвящено анализу развития рынка информационных технологий в области государственных закупок. Авторы рассматривают риски, возникающие во время взаимодействия участников рынка в конкурентной среде государственных закупок. Они предлагают систематическое классифицирование рисков и различные методы для оценки величины этих рисков. В своей работе они также изучают подходы и методы управления рисками, которые имеют важное значение для менеджмента. ^[6]

Применение теоретико-игровой модели Штакельберга для анализа затрат и рисков нарушения договора в российском минерально-сырьевом комплексе приведено в исследовании С. М. Лавлинского, А. А. Панина и А. В. Плясунова ^[7]. В данной статье предпринимается попытка учесть институциональные особенности процесса формирования инвестиционного климата. Для этого в модели вводятся понятие трансакционных издержек и создается механизм страхования риска нарушения договора. Модель описывается как двухуровневая задача математического программирования, и для ее решения разработаны эффективные алгоритмы на базе метаэвристик.

Риски невыполнения государственных контрактов можно снизить на этапе предварительного отбора для участия в конкурсах перед заключением государственных контрактов. Для этой цели значимыми инструментами являются современные информационно-аналитические системы, реализуемые в сети Интернет. В. В. Скобелев ^[8] проводит анализ серьезной проблемы и рассматривает методы проверки участников конкурса проведения закупок. Методы машинного обучения и интеллектуальный анализ данных становятся важным инструментом и при работе с государственными закупками ^{[9, 10]}. Ю. М. Бекетнова ^[11] проводит анализ контрактов методами машинного обучения с целью выявления нарушений по нецелевым доходам, а А. З. Манцкава ^[12] в своем исследовании алгоритма машинного обучения использует для классификации завершенных государственных закупок.

Целый ряд исследований ^[13-16] посвящены исследованию гражданско-правовых рисков при заключении контрактов для нужд силовых ведомств, минимизации рисков и выработке системы мер по парированию рисков.

Изучение различных рисков в сфере закупок и заключении контрактов является важным аспектом в различных отраслях экономики. Особое внимание уделяется выбору поставщика, осуществляемому на конкурсной основе ^{[1, 17]}. Анализ финансовой устойчивости, репутации и качества услуг, товаров и надежности поставок поставщика являются ключевыми факторами при выборе. В различных статьях рассматриваются риски выполнения контрактов в разных сферах, таких как строительство, информационные технологии и минерально-сырьевой комплекс ^{[3, 18, 6, 8]}. Л. С. Травкина, П. В. Лисин, Е. А. Межевикина исследуют риски поставки продукции, не соответствующей требованиям контракта, что также приведет к его не выполнению ^[19]. Различные методы и подходы к управлению рисками, а также модели для повышения контроля и предотвращения нарушений контрактного законодательства все в большей мере реализуются при создании информационных систем для сферы государственных услуг в части разработки средств оценки проектных рисков ^[20].

Анализируя проведенные исследования, можно сделать вывод о текущей актуальности исследования рисков исполнения государственных контрактов. Существует большое количество работ, посвященных конкретным областям экономики и сырьевым отраслям, а также финансовым и гражданско-правовым рискам, аспектам связанных с поставщиками и их репутацией, а также влиянию изменений в мировой и местной экономике.

Из проведенного анализа можно выделить некоторые методы и средства, которые могут быть использованы для анализа и управления рисками при выполнении государственных контрактов. Среди них: методы управления рисками, детальный анализ условий контракта, регулярный мониторинг и контроль выполнения работ, а также использование страхования и гарантий. Однако, недостаточно исследований, которые системно рассматривают все риски и применяют автоматизированные интеллектуальные системы для их анализа.

В данной работе было проведено исследование, нацеленное на комплексный анализ и управление рисками при выполнении государственных контрактов. В рамках исследования предложены методы и подходы, основанные на применении машинного обучения и интеллектуального анализа данных, которые позволяют рассмотреть риски системно и эффективно. Данное исследование заполняет пробел в существующей литературе и предлагает новый подход к управлению рисками в данной области.

Методология разработки интеллектуального комплекса оценки рисков

В основу методологии автоматизированного интеллектуального контроля исполнения государственных контрактов заложены следующие положения:

1. Для успешного построения интеллектуальной автоматизированной системы контроля государственных контрактов необходим большой набор данных, содержащий максимально полезную информацию о предмете договора, финансовые и юридические сведения по компаниям-поставщикам и другую полезную информацию.

2. Интеллектуальная автоматизированная система контроля государственных контрактов должна быть направлена на решение трех задач: оценка риска выбора недобросовестного подрядчика; оценка риска невыполнения контракта в срок; оценка вероятных сроков и стоимости реализации контракта.

3. Интеллектуальная система, направленная на оценку риска выбора недобросовестного подрядчика, риска невыполнения контракта в срок и оценку вероятных сроков и стоимости реализации контракта, должна учитывать важность признаков при оценке и принятии решений. Важность признаков указывает на то, как сильно определенный признак или фактор влияет на риск или оцениваемую характеристику. Учет важности признаков позволяет системе сосредоточиться на наиболее информативных факторах и принимать во внимание их влияние на риски и оцениваемые характеристики. Это может помочь снизить шум и улучшить качество оценок и прогнозов, что в свою очередь улучшит принятие решений в контексте выбора подрядчиков, выполнения контрактов и оценки сроков и стоимости их реализации.

4. После апробации результатов при оценке рисков исполнения государственных контрактов, интеллектуальная автоматизированная система контроля государственных контрактов может быть развернута на серверах потенциальных заказчиков.

Рассмотрим каждый из этапов.

Набор данных для оценки рисков исполнения государственных контрактов

Один из первых шагов в разработке методологии – сбор и структурирование данных, связанных с исполнением государственных контрактов. Данные будут включать в себя информацию о контрактах, подрядчиках, выполненных работах, сроках и оценке качества. Важно, чтобы данные были структурированы и удобно доступны для использования.

В рамках исследования собран уникальный набор данных, состоящий из более 83 тысяч данных по более чем 190 признаков с систем: Реестра государственных закупок Единой информационной системы (ЕИС) (https://zakupki.gov.ru/); Реестра недобросовестных поставщиков (РНП) ЕИС (https://zakupki.gov.ru/epz/dishonestsupplier/search/results.html); Информационной системы СПАРК (https://spark-interfax.ru/).

Более подробно набор данных для исследования описан в статье «Методика оценки важности признаков при анализе выполнения государственных контрактов», журнала «Национальная безопасность» ^[21].

Модуль оценки риска невыполнения контракта в срок

Данный модуль представляет собой инструмент для решения задачи классификации, обладающий функциональностью прогнозирования не только дискретных ответов («выполнится/не выполнится»), но и вероятностей возникновения соответствующих рисков. Такой подход обеспечивает гибкость системы. Модуль разработан на языке программирования Python в среде Jupyter Notebook. Скрипты сохранены в формате .ipynb и могут быть интегрированы в облачные сервисы Google Colab и Yandex Colab. Модуль поддерживает импорт, анализ, предобработку и классификацию данных, обучение и тестирование моделей, построение вероятностных распределений и визуализацию результатов для интерпретации результатов и конкурентного преимущества.

Проверка адекватности и качества работы модуля была выполнена путем анализа данных, собранных в трех информационных системах, охватывающих около 80 тысяч государственных контрактов по 192 признакам.

В процессе оценки рисков, переменная «Статус» была определена как целевая. Она может принимать два значения: «Контракт исполнен» и «Контракт прекращен», что сводит задачу к классификации. Исходный датасет содержит 83834 наблюдений и 192 переменных. Несмотря на высокую размерность и пропущенные значения в большинстве наблюдений, такой объем данных может способствовать качественной оценке вероятности расторжения контракта.

Распределение контрактов в датасете можно считать сбалансированным, что подтверждается рисунком 1, где «1» соответствует расторгнутым контрактам, а «0» – исполненным.

Рисунок 1 – Распределение целевого класса [Составлено авторами]

Для эффективной обработки данных будет применен метод меток кодирования для всех нецелочисленных признаков. В контексте большого объема данных, данный подход предпочтительнее one-hot кодирования. Кодирование будет проведено для каждого соответствующего столбца, а пропущенные значения будут заменены кодом 100000, обеспечивая получение нового кода даже при наихудших условиях кодирования.

Для прогнозирования вероятностей статуса «Контракт прекращен» будет обучена модель логистической регрессии. Обучающая и тестовая выборки были разделены в соотношении 85% к 15%.

После кодирования данных, значения в большинстве столбцов распределены в диапазоне от 0 до N, где N – количество категорий, в то время как числовые столбцы остаются неизменными. Для оптимизации эффективности модели, рекомендуется проведение стандартизации данных, что обеспечит равномерное распределение признаков.

На тестовых данных модель логистической регрессии показала метрику Accuracy, равную 97,01%. Это достаточно хороший результат, так как только 2,99% получают неверные метки при прогнозировании на новых данных.

Далее мы исследуем распределение вероятностей нарушения контракта в тестовой выборке с использованием оценки логистической регрессии (см. рисунок 2).

Рисунок 2 – Распределение вероятностей рисков контракта по логрегрессии [Составлено авторами]

На основе данных из рисунка 2, модель в большинстве случаев предоставляет определенные прогнозы, с вероятностями, приближающимися к 0 или 1. Процентное распределение в диапазоне от 0.1 до 0.9 является незначительным. Это указывает на ограниченность модели логистической регрессии в оценке вероятностей рисков. Аналогичный недостаток в гибкости ответов наблюдается в модели «Дерево решений», что подтверждается точностью модели, составляющей 97,89%, и иллюстрируется на рисунке 3.

Рисунок 3 – Распределение вероятностей рисков контракта по дереву решений [Составлено авторами]

Наконец, построим модель на базе метода опорных векторов. Метрика точности на тестовых данных для этой модели составляет 97,88%, что незначительно уступает показателю модели «Дерево решений». Однако данный метод обеспечивает более гибкую оценку рисков. Распределение вероятностей рисков для данного метода представлено на рисунке 4.

Рисунок 4 – Распределение вероятностей рисков контракта по методу опорных векторов [Составлено авторами]

Анализ гистограммы показывает, что вероятности рисков по контрактам не обладают бимодальностью по границам и в целом распределены неравномерно. При этом большая часть контрактов классифицируется как «Контракт прекращен» с вероятностью, приближенной к 0,5. В таблице 1 представлены результаты сравнения различных моделей классификации.

Таблица 1 – Результаты сравнения разных моделей классификации

Если целью является детальный интеллектуальный анализ контрактов, наиболее подходящей моделью будет SVM, обеспечивающая прогнозирование различных вероятностей, соответствующих реальным условиям. Для SVM будет проведена оценка важности признаков. Наилучшие и наихудшие значения, определенные с помощью метода feature importants.

Из анализа мы можем увидеть, что важный вклад в прогноз вносят такие признаки, как налоговый орган компании, коэффициент покрытия процентов по EBIT, описание объекта закупки, коэффициент концентрации заемного капитала. Воздействие анализируемых факторов на выполнение госконтракта ассоциируется с разными аспектами: финансовой устойчивостью компании, определенной по налоговому статусу; коэффициентом покрытия процентов по EBIT; качеством описания закупаемого объекта; коэффициентом концентрации заемного капитала. Оценить влияние этих элементов на риск невыполнения госконтракта возможно через финансовый анализ, аудит, просмотр предыдущих контрактов, систему оценки рисков и моделирование.

Модуль оценки вероятных сроков и стоимости реализации контракта

Прогнозирование стоимости и сроков исполнения госконтрактов представляет собой задачу регрессии, для решения которой был создан модуль на Python, хранящийся в формате IPython Notebook (.ipynb) и совместимый с облачными платформами Google и Yandex. Данный модуль использует библиотеки Python: Pandas, Matplotlib и Scikit Learn для обработки, визуализации данных и обучения регрессионных моделей. Модуль обеспечивает возможность загрузки и обработки данных, разделение набора данных по стоимости и времени выполнения, кодирование признаков, стандартизацию, тестирование регрессионных моделей и визуализацию ключевых факторов, влияющих на сроки и стоимость контрактов.

Адекватность и точность разработанного модуля оценивались на основе данных из трех информационных систем, включающих около 80 тысяч контрактов (191 признак). Зависимыми переменными были определены стоимость и срок исполнения контракта, вычисленный как разница между датами начала и окончания. Были разработаны модели с ключевыми метриками R-квадрат, MSE и MAPE. Предобработка данных для классификации включала типизацию, LabelEncoding категориальных данных и стандартизацию для оптимизации алгоритмов. Исходный набор данных (83834 x 191) был уменьшен до одной переменной, представляющей разницу между двумя датами. Пропуски в данных были заполнены средними значениями по столбцу. Все данные были разделены в соотношении 85% на 15% для обучения и тестирования модели. Однако был замечен значительный эффект переобучения моделей. Результаты прогнозирования сроков исполнения контракта представлены в таблице 2.

Таблица 2 – Анализ моделей регрессии сроков исполнения контрактов

Анализ представленной информации указывает на превосходство дерева решений в достижении оптимальных результатов, при условии стандартизации, без которой качество моделей ухудшается. Для дополнительного улучшения рекомендуется проведение более глубокого анализа признакового пространства и применение нейронных сетей. Эти выводы согласуются с результатами, полученными для моделей прогнозирования стоимости контракта, которые представлены в таблице 3.

Таблица 3 – Анализ моделей регрессии стоимости контрактов

Анализ результатов указывает на превосходство дерева решений в прогнозировании стоимости контрактов, в то время как эффективность остальных моделей оставляет желать лучшего. Модель регрессии позволяет провести первичную оценку сроков и стоимости контракта, однако требует дополнительной корректировки. Отмечено переобучение моделей, которые показывают 100% результаты на тренировочной выборке, что предполагает необходимость применения методов регуляризации в будущем.

Отметим так же, что в данных находятся «выбросные» контракты, которые сильно долго длятся по сравнению с другими. Это, вероятно, приводит к высоким ошибкам при прогнозировании.

Данные о сроках исполнения контрактов содержат выбросы и будут очищены согласно условию:

Q1 – 1,5R < Days < Q3 + 1,5R,

где Q1 и Q3 – первый и третий квартили ряда Days, R – межквартильный размах.

Данные по стоимости госконтрактов распределены равномерно (рис. 5).

Рисунок 5 – Гистограмма стоимостей контрактов [Составлено авторами]

Исходя из эффективности деревьев решений, будут разработаны ансамблевые модели, включая Extra Tree и Random Forest. После удаления выбросов, обучающие и тестовые данные будут разделены в пропорции 90% к 10%. Результаты прогнозирования сроков контракта для различных ансамблей представлены в таблице 4.

Таблица 4 – Анализ моделей регрессии сроков исполнения контрактов

Из таблицы 4 видно, что и наиболее точные прогнозы дают модели ExtraTree и RandomForest. При этом средняя ошибка при использовании ансамбля ExtraTree не превышает одного месяца, что является удовлетворительным результатом.

В таблице 5 показаны результаты прогнозирования стоимости контракта.

Таблица 5 – Результаты прогнозирования стоимости контракта

Модели ExtraTree и Random Forest демонстрируют оптимальные результаты в прогнозировании стоимости, со средней ошибкой в 4500-4600 рублей, что считается приемлемым.

Из модели можно выявить, что идентификация заказчика, его требования и условия контракта, эффективность организаций в процессах закупки и контроля, номер извещения о торгах, описание объекта закупки и идентификационный код закупки влияют на сроки исполнения контракта. Эти факторы могут напрямую или косвенно влиять на прогноз сроков исполнения контракта. Для более точного прогноза необходимо учесть и другие факторы.

Проведем детальный анализ факторов, существенно влияющих на стоимость государственного контракта:

1. Объем и стоимость поставляемой продукции или услуг, отраженные в числе заполненных записей. Большее количество записей обычно свидетельствует о большем объеме поставок, что влияет на общую стоимость контракта. Данный фактор также может влиять на расчеты, связанные с доставкой, хранением и логистикой.

2. Код позиции объекта закупки, который определяет конкретные продукты или услуги для закупки. Различные объекты закупки могут иметь различные стоимости в зависимости от уровня технологичности или специфических навыков, необходимых для их производства или предоставления.

3. Общая стоимость поставленной продукции, которая указывает на общую сумму затрат на поставку продукции или оказание услуг и напрямую влияет на общую стоимость контракта.

4. Сумма в рублях объекта закупки, отражающая сумму затрат, связанных с объектом закупки. Большая сумма указывает на значимость и важность поставляемого продукта или услуги и может существенно влиять на общую стоимость контракта.

Все эти факторы напрямую или косвенно влияют на стоимостные параметры госконтракта. Их учет при прогнозировании ценности способствует оценке и планированию затрат заказчиками, а также формированию ценообразования поставщиками. Для более точного прогноза стоимости госконтракта необходимо учитывать дополнительные факторы, такие как инфляция, валютные колебания, стоимость сырья и т.д.

Программный комплекс оценки рисков исполнения государственных контрактов

Программный комплекс оценки рисков исполнения государственных контрактов представляет собой web-приложение, которое можно развернуть как на локальных серверах потенциальных заказчиков, так и в глобальной сети.

Он состоит из 3 основных модулей:

1. Оценка потенциального заказчика. В данном модуле достаточно ввести ИНН потенциального партнера и получить о нем необходимую информацию. Заказчик вводит ИНН потенциального закупщика и там появляется информация о нем, включая все налоговые, финансовые и юридические составляющие, в любом удобном виде (таблицы, графики, диаграммы и т.д.).

2. Оценка вероятности исполнения контракта.

Заполнив предлагаемые формы, мы можем показать вероятность исполнения контракта.

Отметим, что в данном модуле можно вывести наиболее важные для прогноза признаки, в любой форме представления, которые пользователь может самостоятельно анализировать.

3. Оценка прогноза стоимости и сроков выполнения контракта

Заполнив предлагаемые формы, пользователь может получить информацию о стоимости контракта и сроках его выполнения. Кроме этого, модуль может предоставить графики, диаграммы или статистические показатели, которые помогут понять точность и достоверность прогноза.

Заключение

В результате исследования получены следующие результаты:

Собран уникальный набор данных, состоящий из более 83 тысяч данных по более чем 190 признаков с систем: Реестра государственных закупок Единой информационной системы (ЕИС) (https://zakupki.gov.ru/); Реестра недобросовестных поставщиков (РНП) ЕИС (https://zakupki.gov.ru/epz/dishonestsupplier/search/results.html); Информационной системы СПАРК (https://spark-interfax.ru/).

Также разработаны автоматизированные системы сбора и обновления данных, которые можно развернуть на серверах потенциальных заказчиков.

На основе анализа интерпретируемых методов машинного обучения для решения задач прогноза исполнения государственных контрактов, методов анализа неструктурированной информации большого объема, определения критериев для построения моделей машинного обучения были построены интерпретируемые модели машинного обучения для решения задач:

• оценка риска выбора недобросовестного подрядчика;

• оценка риска невыполнения контракта в срок;

• оценка вероятных сроков и стоимости реализации контракта.

Модели были протестированы и метрики обучения показали высокие оценки.

Каждый из алгоритмов разработан с учетом следующих критериев: надежность, понятность и интерпретируемость, универсальность. масштабируемость и гибкость.

Интеллектуальная система, направленная на оценку риска выбора недобросовестного подрядчика, риска невыполнения контракта в срок и оценку вероятных сроков и стоимости реализации контракта, учитывает важность признаков при оценке и принятии решений. Важность признаков указывает на то, как сильно определенный признак или фактор влияет на риск или оцениваемую характеристику. Учет важности признаков позволяет системе сосредоточиться на наиболее информативных факторах и принимать во внимание их влияние на риски и оцениваемые характеристики. Это может помочь снизить шум и улучшить качество оценок и прогнозов, что в свою очередь улучшит принятие решений в контексте выбора подрядчиков, выполнения контрактов и оценки сроков и стоимости их реализации.

В результате исследования был разработан программный комплекс для интеллектуального прогнозирования выполнения государственных контрактов. Этот комплекс предоставляет возможность проведения более точного анализа рисков с использованием методов анализа неструктурированной информации, моделей машинного обучения и интерпретируемых методов. Это позволяет повысить эффективность контроля выполнения государственных контрактов и снизить вероятность возникновения коррупции и нарушений.

Исследование доказывает значимость и применимость методов и моделей машинного обучения в области государственных контрактов. Программный комплекс для интеллектуального прогнозирования исполнения государственных контрактов предоставляет новые возможности для улучшения процессов контроля и принятия решений в сфере государственного закупочного дела.