SyMoMa – System of model management. Система управления моделями

• Обеспечить прозрачность жизненного цикла моделей и простоту управления моделями на всех этапах жизненного цикла моделей в компании.

• Консолидировать DS-/ML-экспертизу (Data Science/ Machine Learning) в рамках одного отдела или целой компании.

• Сократить время доставки ML-моделей до контура промышленного применения.

• Упростить оценку качества (мониторинг, количественную и качественную валидацию) ML-моделей.

• Снизить риск использования моделей, не отвечающих целям бизнеса.

• Обеспечить возможность расширения количества моделей без увеличения штата специалистов.

Система создана на базе программных продуктов из реестра отечественного ПО Kolmogorov.ai: Predicate, Continuity, Axiom. Выполнены интеграции со следующими смежными системами в окружении Росбанка:

1. хранилищами данных (Oracle, Hive, S3) – для использования корпоративных хранилищ в качестве источников данных для создания каталога признаков;
2. каталогом описания структур и данных корпоративных хранилищ (Metaflow) – для расширения подробной информации об источниках;
3. единой службой каталогов (Active Directory – для обеспечения единого входа во все модули системы с помощью корпоративной учётной записи;
4. таск-трекером (JIRA) – для вовлечения в активности процесса разработки и внедрения ML-моделей сервисных команд компании, например, при необходимости создания дополнительных доступов для работы модели;
5. инструментами CI/CD инфраструктуры (GitLab) – для автоматизации настройки регламентных процессов обновления наборов данных для обучения и мониторинга;
6. почтовым сервисом (SMTP) – для уведомления пользователей о событиях в модулях системы, например, о результатах мониторинга модели, на которые следует обратить внимание;
7. службами хранения и анализа логов ELK (Elastic, Logstash, Kibana) – для сохранения всех событий системы в целях анализа нештатных ситуаций и сбоев.

Основная сложность заключалась в анализе источников данных пилотных моделей и выработке единых централизованных подходов к наполнению каталога признаков (Feature Store), к применению необходимых преобразований признаков для последующего их использования в обучении и оценке качества моделей.

Создание комплексной системы управления моделями предполагало внедрение трёх модулей и выполнение необходимых интеграций со смежными системами Росбанка:

1. Модуль обеспечения качества модели.

Модуль реализован на базе программного продукта Predicate и позволяет проводить расчёты как статистических метрик качества данных и результатов работы моделей, так и любых произвольных бизнес-метрик, интересующих бизнес-подразделения или других заинтересованных лиц. Модуль используется для:

• настройки и обеспечения мониторинга работы модели, внедренной в промышленную эксплуатацию, с автоматическим уведомлением заинтересованных лиц, в случае если модель начинает деградировать,

• подготовки и проведения расчётов метрик количественной валидации и оформления печатного отчёта, содержащего результаты расчётов в виде значений, таблиц, диаграмм и графиков,

• анализа пилотной работы модели с промышленными данными, без необходимости внедрения в промышленную эксплуатация (т. н. исследовательский режим работы модели машинного обучения).

2. Модуль управления жизненным циклом моделей.

Модуль реализован на базе программного продукта Continuity и позволяет организовывать и направлять процесс разработки и внедрения решения, содержащего алгоритмы машинного обучения, обеспечивая единый интерфейс для широкого круга пользователей. Модуль используется для:

• обеспечения выполнения процесса согласно принятой в компании методике разработки и внедрения решений с применением алгоритмов машинного обучения,

• оперативного управления процессом разработки, предполагающим активное вовлечение представителей бизнес-подразделений наряду с инженерами, аналитиками данных и дата-сайентистами,

• автоматизации рутинных задач процесса,

• расчёта рейтинга модельного риска и управления модельным риском,

• учёта рекомендаций и результатов их выполнения,

• ведения реестра разработанных проектов и создания подробного паспорта модели,

• накопления базы знаний по реализованным проектам машинного обучения.

3. Модуль управления данными для обучения (Feature Store).

Модуль реализован на базе программного продукта Axiom и позволяет быстро получить необходимый для обучения модели набор данных на базе организованного каталога признаков. Модуль используется для:

• централизованного ведения каталога признаков, использующихся для обучения моделей,

• расчёта признаков второго порядка на основе базовых признаков,

• автоматической генерации необходимых агрегатов и срезов (например: расходы по карте за последний месяц/квартал/год (два, три месяца/квартала/года и т. п.), расходы по месяцам/кварталам/годам за период и т. п.),

• создание набора данных для обучения модели из выбранных и сгенерированных признаков и агрегатов,

• анализа качества данных и автоматического обновления набора данных по заданному расписанию.