Платформа A/B-тестирования

Основная цель проекта: ускорить рост бизнеса X5 за счёт увеличения количества проводимых экспериментов, что достигается автоматизацией процесса АБ-тестирования.

Дополнительно проект решает следующие цели:

• Повышение точности результатов АБ-тестирование за счёт исключения человеческого фактора.

• Интеграция процесса АБ-тестирования в повседневные процессы компании.

• Принятие решений на основе данных: data driven подход.
  

• Все системы запущены в корпоративном ЦОД под управлением системы Kubernetes.

• Для контейнирования используются технологии Docker.

• Управление запущенными системами осуществляется через Rancher.

• Контроль доступа внутри защищенного контура осуществляется при помощи Keycloak.

• Все большие данных хранятся в Hadoop. Доступ к ним осуществляется при помощи

• Spark и Pandas.

• Справочники и вспомогательная информация находится в SAP.

• Сбор данных осуществляется при помощи AirFlow.

• Обработка данных выполняется на Python и управляется с помощью Kafka.

• Все системы выполняются на десятках высокопроизводительных серверов.

Сложность реализации обусловлена большим количеством данных, необходимых для обработки.

Объём данных: тысячи терабайт. Для обработки такого масштаба данных используются технологии машинного обучения, что устанавливает высокие требования к итоговой системе и мощности используемого оборудования.

В ходе реализации проекта создана IT-система, состоящая из комплекса решений на основе технологий Hadoop, Spark, Kafka, Docker. Все модули запускаются в корпоративном центре обработки данных под управлением системы Kubernetes. Используются технологии виртуализации для обеспечения масштабируемости и отказоустойчивости системы, работающей на нескольких десятках физических серверов.

В рамках проекта реализована автоматическая система измерения результатов экспериментов на основе метода АБ-тестирования. Уникальность системы в том, что эксперименты проводятся на оффлайн-объектах: в физических магазинах и внутри бизнес-процессов X5.

Система оперирует всем масштабом данных из корпоративного хранилища X5. Речь идёт о десятках миллионов записей ежедневно. Объём используемой информации: тысячи терабайт. Таким образом, компания использует big data для реализации data driven подхода: принятия решений на основе данных.

Система АБ-тестирования помогает принимать решения на основе «сырых» данных: информация о покупках каждого покупателя систематизируется, анализируется и используется для формулирования выводов относительно каждой из сотен выдвигаемых ежегодно гипотез.

Проект используется для всей географии магазинов X5 на территории РФ.

Федеральные округа:

• Центральный

• Приволжский

• Северо-ЗападныйУральский

• Южный

• Сибирский

• Сев​еро-Кав​казский