Внедрение корпоративного хранилища данных CS::BM в OTP Bank

ЗАДАЧА

Одной из приоритетных задач ИТ-стратегии OTP Bank была замена существующего хранилища данных на промышленное решение. Поставщиком была выбрана компания CS, с которой банк сотрудничает с 2009 года.

Среди задач внедрения выделено:

• Внедрение надежного современного корпоративного хранилища данных как одного достоверного источника данных в банке: с предметно-ориентированной моделью данных хранилища, покрывающей максимально возможное количество сущностей, и контролем качества данных.
• Миграция функциональности и данных двух существующих КСД в единый модернизированный КСД. Перенос существующих витрин хранилища данных банка.
• Реализация загрузки данных на T+1 / (Т = дата транзакции).
  Увеличение количества необходимых бизнес-пользователям данных/сущностей в хранилище.
• Получение отказоустойчивого управляемого решения.

РЕШЕНИЕ

Для решения поставленных задач компанией CS были разработаны:

• Механизмы управления дозагрузкой данных.
• Модуль контроля качества данных.
• Решения по предоставлению данных для групповой отчетности.

Также реализовано:

• Доработка контроля процесса загрузки данных и расчета витрин.
• Рефакторинг кода хранилища банка, которое использовалось ранее.

Решение CS::BM построено на традиционной для крупных DWH методологии, предложенной Биллом Инмоном. В основе методологии – централизованное хранилище всех корпоративных данных, на базе которых в дальнейшем формируются витрины данных.

Используемая СУБД – Oracle 12C.
Средство ETL/ELT – Oracle Data Integrator (ODI) 12C.
Средство визуализации витрин данных – Oracle Business Intelligence (BI) 12C.

Сергей Рачков, бизнес-аналитик компании CS:

DWH в OTP Bank наполняется из более чем десятка источников. Каждая из систем имеет свои регламенты загрузки данных. Анализ взаимосвязей между загрузками выполняется на уровне ядра хранилища данных с целью корректного подхода к реализации витрин.

На ежедневной основе выгружаются данные из около 700 таблиц и формируются более 50 разнообразных витрин данных, которые используются как непосредственно пользователями с помощью Oracle BI, так и для интеграции с системами – приемниками данных. Около 8 систем являются потребителями данных, вычисляемых в хранилище данных. Эти системы построены на разных БД, используют разные подходы загрузки данных. Все это обусловило необходимость разработки совершенно разных межсистемных интерфейсов, которые легли в общую архитектуру решения.

Олег Розум, начальник управления развития DWH, Project Manager проекта, OTP Bank:

Перед проектной командой Банка и CS стояли амбициозные задачи:

• Консолидировать аналитическую отчетность на уровне единого DWH-решения с использованием оптимального количества ресурсов.
• Обновить аппаратную и софтверную часть решения DWH.
• Мигрировать и модернизировать витрины данных из предыдущих решений DWH, а также перенести трудоемкую аналитическую отчетность из Мастер-систем в новый DWH.
• Задокументировать новое решение DWH.
• Устранить архитектурные и логические гэпы предыдущих решений.
• Обеспечить безопасность хранения и безопасную работу с данными.
• Обеспечить эффективное хранение данных.
• Внедрить модель контроля качества данных.
• Положить начало для подхода к отчетности на базе решения BI – Business Self Service.

Благодаря совместным усилиям, сплоченности, взаимопониманию, работе на результат – проект успешно выполнен.

В реализации использованы Knowledge Modules собственной разработки CS, которые в свою очередь используются для Oracle Data Integrator:

• Loading Knowledge Modules (LKM):
  • Для выгрузки из систем в Oracle DB;
  • Для загрузки из систем на MS-SQL;
  • Для загрузки файлов из файловой системы, ftp.
• Integration Knowledge Modules (IKM):
  • Для загрузки в DWH;
  • Для формирования витрин;
  • Для выгрузки подготовленной информации в другие информационные системы.