Хаускипинг архивных данных активных ИТ-систем

· Оптимизация стоимости хранения данных (за счет снижения стоимости используемого дискового пространства, а также уменьшения объема данных – сжатия данных в hdfs)

· Повышение производительности активных ИТ-систем путем уменьшения нагрузки

· Реализация возможности построения отчетности на базе архивных данных

Cloudera Core Hadoop, Tibco Jasper Report, Apache Spark, Apache Hive, Cloudera Impala

· Разнородность активных систем (различные типы СУБД)

· Высокая вариативность в требованиях к составу архивных данных и к отчетам над данными от владельцев и пользователей Систем

· Необходимость реализации шифрования данных

· Необходимость разграничения доступа к данным

· Необходимость реализации различных политик загрузки дельт данных

· Амбициозные сроки проекта

В ИТ-системах за время работы накапливается массив исторических данных, который не является необходимым для функционирования системы, однако возможность отказаться от хранения этих данных отсутствует из-за требований государственных органов, внутренних политик владельцев систем, а также из-за требований бизнес-пользователей. Хранение таких данных в самой Системе со временем приводит к удорожанию поддержки, требуемой для функционирования Системы, увеличивает затраты на инфраструктуру, а также может привести к снижению производительности Системы.

Архивация «холодных» данных позволяет избежать удорожания сопровождения и возникновения проблем с производительностью, а также снизить риски уменьшения доступности Системы.

В рамках проекта было использовано решение Housekeeping, разработанное компанией «Неофлекс», которое позволяет выполнить полный спектр работ, необходимых для архивации данных активных Систем, а именно:

1. Произвести первоначальную выгрузку «холодных» данных Систем

2. Настроить политики (расписание) загрузки дельт данных

Распределенная команда Заказчика и Поставщика, находящиеся в разных городах в и часовых поясах: Москва, Саратов, Воронеж, Пенза, Новосибирск, Тюмень, и др.