Аналитическая платформа данных СК «Пульс»: от холодного хранилища до real-time-маркетинга

Заказчик: СК “Пульс”
Руководитель проекта со стороны заказчика: Александр Царев

Chief Data Officer, Chief Data Science
ИТ-поставщик: GlowByte
Год завершения проекта: 2023
Сроки выполнения проекта: Март, 2023 - Сентябрь, 2023
Масштаб проекта: 14400 человеко-часов
Цели: Целью проекта "Аналитическая платформа данных СК «Пульс»" являлось создание централизованной системы хранения, управления и анализа данных, которая позволила компании заложить основу для будущего развития, улучшения персонализированных страховых сервисов, а также получить возможность не только снижать риски клиентов, но и предупреждать их возникновение через обучающий контент и точечное донесение через персонализированные каналы коммуникации.
Результаты: В результате проекта было создано корпоративное хранилище данных, которое позволило запустить систему монетизации клиентских данных (aCRM), включая real-time-сценарии, были обеспечены стабильные потоки качественных данных между системами компании, а также доступ к данным сотрудников и подразделений компании. Т2М проверки гипотез снизился на порядок (с двух месяцев до недели), качество контактных данных повысилось на 10%, а количество эффективных коммуникаций увеличилось в 3 раза.

Уникальность проекта

На рынке финансовых услуг важнейшим фактором является соответствие быстро меняющимся предпочтениям клиентов. Особенно важно успевать занимать новые ниши и актуализировать имеющиеся продукты, что является основным фокусом СК “Пульс”. Важным элементом стратегии страховая компания считает оказание полностью цифровых услуг согласно концепции “Страхование 4.0”.

Для решения поставленных задач необходимо было в кратчайшие сроки запустить гибридное хранилище данных, которое одновременно позволяет хранить холодные и тёплые данные, а также запускать как batch, так и real-time маркетинговые коммуникации, при этом используя только решения отечественных вендоров и облачных провайдеров.

Проект решает задачи импортозамещения: Да
Использованное ПО: Для построения аналитической платформы данных, использовались следующие технологии: Yandex Cloud, Greenplum, PXF, Postgres, Debezium CDC, Kafka, S3, Apache Airflow, Kubernetes, Python, GitLab, Hibernate, Spring JPA, Liquibase, Spring Actuator, Prometheus, jUnit 4-5, Mockito, PowerMock.
Сложность реализации: Основные сложности в реализации были связаны с количеством интеграций за короткий срок.
Фактически за указанный срок были сделаны интеграционные доработки с финансовыми, клиентскими системами, системой принятия решений, аналитической CRM и другими системами компании.

Отдельная сложность заключалась в параллельном запуске всего комплекса решений, при этом многие решения ранее не использовались в данной облачной инфраструктуре.
Описание проекта: Суть проекта заключалась в построении аналитической платформы данных с использованием open-source-технологий, которая отвечает за сбор и интеграцию данных более чем из 6 различных источников компании.

Решение обеспечивает организацию структурированного хранения данных с использованием современных технологий и методов. Data Lake обеспечивает оптимальный процесс подключения дополнительных источников и использования новых структурированных и неструктурированных данных в процессах компании. Очистка клиентских данных (Silver Record) позволяет улучшить качество данных и за счёт этого повысить конверсию в воронке продаж, а также положительно влияет на удовлетворённость клиентов компании. S3 – современное файловое хранилище, обеспечивает возможность быстрого доступа к данным, что особенно важно для оперативного обслуживания клиентов и выполнения различных бизнес-процессов. K8s необходим для управления ресурсами хранилища и обеспечения отказоустойчивости, кроме того, он позволяет упростить дальнейшее масштабирование системы. Также реализованы единый интерфейс и инструменты для доступа к данным, а также их анализу и визуализации для различных пользователей компании. Обеспечивается безопасность и конфиденциальность данных путем реализации соответствующих мер и политик, таких как управление доступами. Кроме того, настроены мониторинг и оценка эффективности внедренной системы, а также постоянное обновление и развитие системы в соответствии с изменяющимися потребностями компании и рынка. Ключевым компонентом системы является Streaming-платформа, которая позволяет осуществлять взаимодействие систем в реальном времени, а также запуск real-time маркетинговых сценариев, реализуемых через каналы коммуникации: sms, email, push, мессенджеры, сайт, мобильное приложение, личный кабинет, таргетинговую рекламу.
География проекта: Российская Федерация