Внедрение гибкой платформы управления данными, создание новых моделей взаимодействия с бизнес-подразделениями и трансформация восприятия ценности в ПАО «АК БАРС» БАНК

Заказчик:: ПАО «АК БАРС» БАНК
Руководитель проекта со стороны заказчика: Вячеслав Яшкин

Управляющий директор аппарата правления
Поставщик: Arenadata
Год завершения проекта: 2021
Сроки выполнения проекта: Октябрь, 2020 - Ноябрь, 2021
Масштаб проекта: 23000 человеко-часов
Цели: 1. Снизить затраты на TCO платформы данных.
2. Минимизировать валютные риски и зависимость от иностранных поставщиков.
3. Обеспечить требуемые свойства системы (надежность, безопасность, доступность, и. т. д.) в соответствии с запланированным увеличением объема и количества источников данных. Например, в части основного корпоративного хранилища достигнуть показателя резервирования в 2N с отдельным кластером холодного резерва.
4. Увеличить скорость обработки данных и получить возможность для реализации дополнительных сценариев в направлении бизнес-аналитики.

На данный момент корпоративное хранилище функционирует в режиме t-1. Процессы требующие загрузки менее чем t-1 реализованы в отдельном слое на RDBMS. В рамках отдельных процессов после завершения внедрения будут реализованы процессы класса near-realtime, использованы сценарии ML\AI-on-DataWarehouse.

5. Сократить время на подключение новых источников данных.

6. Упростить и демократизировать возможность работы с данными в организации.

Уникальность проекта

Сложный, масштабный, стратегический проект.

Модернизация архитектуры систем управления данными запланирована в соответствии со стратегическими целями Банка.

Проект включает в себя внедрение гибкой платформы управления данными, создание новых моделей взаимодействия с бизнес-подразделениями и трансформацию восприятия ценности данных в компании.
Это позволит добиться синергетического эффекта в работе команд, участвующих в разработке новых продуктов, улучшить «Time to Market».

В скоупе стратегии также предусмотрено появление значимых компонентов для работы с данными — бизнес-глоссария и каталога данных.

Ключевым проектом стратегии является миграция с закрытого ПАК MPP-СУБД на enterprise-решение с открытым кодом. Это позволяет снизить ТСО, обеспечить гибкость и масштабируемость решений, упростить архитектуру и значительно расширить стек инструментов и интеграций.

Стратегия подразумевает поэтапную реализацию нескольких проектов.

Использованное ПО

Стратегия предусматривает комплексную модернизацию одновременно в нескольких направлениях.

Полная замена платформы для корпоративного хранилища данных IBM Netezza на Arenadata DB.
В качестве MDM-системы было выбрано и находится в стадии внедрения решение Ataccama Master Data Management.
В качестве системы обеспечения качества данных (Data Quality) используется решение Ataccama Data Quality.
В качестве BI-системы в компании используется продукты Qlik Sense для аналитики на данных источников и Tableau Server для сквозной аналитики на хранилище.
В Банке реализована технология Change Data Capture из ряда значимых mission-critical систем на базе технологий Precisely (Syncsort).
Платформа для бизнес-глоссария на данный момент не определена. Рассматриваются варианты решений нескольких поставщиков, а также сценарии реализации на open-source платформах.
В качестве инструмента реализации ELT-трансформаций рассматриваются решения на open-source компонентах, а также внутренние разработки.
Следующим этапом после завершения модернизации MPP СУБД в банке будет реализовано «озеро данных», с возможностью обмена данными с основным хранилищем.

Сложность реализации

Значимыми нюансами в реализации данного проекта являются две технологические особенности:

Для миграции на новую платформу частично переписывается логика исходных ETL-сценариев.
Процесс миграции на новую платформу происходит бесшовно: параллельно с реализаций актуальных бизнес-задач.

Параллельно с данным проектом в Банке в различных стадиях реализации находятся следующие проекты в рамках разработанной стратегии:

● контроль качества данных;

● система управления мастер-данными;

● бизнес-глоссарий;

● реализация комплексной многокомпонентной платформы управления данными;

● реализация песочниц для работы бизнес-аналитиков и специалистов Data Science;

● реализация системы обмена данными (data market) с внешними поставщиками, с соблюдением конфиденциальности и требований законодательства;

● методологическая работа по обучению сотрудников бизнес-подразделений основам современных технологий обработки данных, с продвинутым погружением отдельных сотрудников, ответственных за Data-driven продукты.

Описание проекта

Офис управления данными существует в «АК БАРС» БАНК» с 2014 года. Это самостоятельная структура, ориентированная на решение задач разных бизнес-подразделений. Общая стратегия развития управления данными была сформирована в банке тогда же в 2014 году. Новый этап стратегии предполагает переход на следующую ступень развития офиса управления данных: внедрение гибкой платформы управления данными, новые модели взаимодействия с бизнес-подразделениями и трансформацию восприятия ценности данных в компании. Основным драйвером текущих изменений стало завершение жизненного цикла IBM Netezza. Кроме того, с развитием собственного центра обработки данных банк стал больше внимания обращать на программные решения, появилась потребность уйти от текущей монолитной закрытой архитектуры. В банке уже реализован проект по созданию собственного облака с архитектурой application-control interface, полностью программно управляемого и ориентированного на микросервисную архитектуру. Основная цель изменений — переход к технологиям самообслуживания, создание простой и понятной экосистемы, в которой все подразделения банка смогут самостоятельно извлекать ценность из данных и оперативно использовать в работе. Новая стратегия подразумевает поэтапную реализацию серии проектов сразу в нескольких направлениях:

Качество данных.
Управление данными.
Система управления мастер-данными и нормативно-справочная информация.
Создание обновленного корпоративного хранилища и BI.
Безопасность данных (проекты по обезличиванию данных, по ролевым моделям доступа, а также по тематике DevSecOps).
Создание корпоративной архитектуры данных и внедрение сквозных архитектурных практик.
Формирование внутренней экосистемы управления данными.

Одним из первых проектов в рамках общей ИТ-стратегии стала миграции существующего корпоративного хранилища на новую платформу сбора и хранения данных. Исторически процесс управления данными в компании был построен на технологиях компании IBM. Ключевой предпосылкой для выбора новой платформы стало прекращение поддержки программно-аппаратных комплексов IBM Netezza. Возникла необходимость выбора альтернативного решения, которое будет удовлетворять нескольким блокам критериев:

1. Требования к доступности решения.

2. Требования к информационной безопасности решения.

3. Требования к конфигурируемости.

4. Требования к масштабируемости решения.

5. Требования к надежности решения.

6. Требования к переиспользуемости.

7. Требования к персоналу.

8. Требования к расширяемости.

9. Требования к ресурсному обеспечению решения.

10. Требования к удобству использования.

11. Требования к циклу разработки решений и последующему внедрению изменений.

12. Требования к эксплуатации и жизненному циклу.

13. Требования к эффективности.

В числе возможных вариантов рассматривались решения IBM, Micro Focus и Greenplum («ванильный», решение Pivotal и Arenadata DB). В течение полугода банк проводил нагрузочные тесты и тесты по миграции данных. Общий список сравнения разных систем включал более 400 позиций. В результате по совокупному набору критериев выбор был сделан в пользу Arenadata DB.

По результатам завершения текущей стадии проекта миграции на новую платформу Arenadata DB уменьшено TCO стека хранения и обработки данных на 51,9 % относительно текущих значений.

География проекта

Российская Федерация, г. Казань