Компания CS завершила масштабный проект внедрения корпоративного хранилища данных CS::BM в OTP Bank.
Одна из приоритетных задач ИТ-стратегии OTP Bank — замена существующего хранилища данных на промышленное решение. Поставщиком была выбрана компания CS, с которой банк сотрудничает с 2009 года.
Цели и задачи
- Внедрить надёжное современное корпоративное хранилище данных как один достоверный источник данных в банке: с предметно-ориентированной моделью данных хранилища, покрывающей максимально возможное количество сущностей, и контролем качества данных.
- Мигрировать функционал и данные двух существующих КХД в единое модернизированное КХД. Перенос существующих витрин хранилища банка.
- Реализовать загрузки данных на T+1 / (Т = дата транзакции).
- Увеличить количество данных/сущностей в хранилище, необходимых бизнес-пользователям.
- Получить отказоустойчивое управляемое решение.
Особенности внедрения
Разработаны:
- Механизмы управления дозагрузкой данных.
- Модуль контроля качества данных.
- Решения по предоставлению данных для групповой отчётности.
Выполнены:
- Доработки по контролю процесса загрузки данных и расчётов витрин.
- Рефакторинг кода ранее используемого хранилища банка.
Решение CS::BM построено на традиционной для крупных DWH методологии, предложенной Биллом Инмоном. В основе методологии — централизованное хранилище всех корпоративных данных, на базе которых далее формируются витрины данных.
Используемая СУБД – Oracle 12C.
Средство ETL/ELT – Oracle Data Integrator (ODI) 12C.
Средство визуализации витрин данных – Oracle Business Intelligence(BI) 12C.
Сергей Рачков, бизнес-аналитик компании CS:
DWH в OTP Bank наполняется из более чем десятка источников. Каждая из систем имеет свои регламенты загрузок данных. Анализ взаимосвязей между загрузками выполняется на уровне ядра хранилища данных с целью корректного подхода к реализации витрин.
На ежедневной основе выгружаются данные из порядка 700 таблиц и формируются более 50 разнообразных витрин данных, которые используются как напрямую пользователями с помощью Oracle BI, так и для интеграции с системами — приемниками данных. Порядка восьми систем являются потребителями данных, которые вычисляются в хранилище данных. Данные системы построены на различных БД, используют различные подходы к загрузке данных. Всё это обусловило необходимость разработки абсолютно разных межсистемных интерфейсов, которые легли в общую архитектуру решения.
Олег Розум, начальник управления развития DWH, Project Manager проекта, OTP Bank:
Перед проектной командой Банка и компанией CS стояли амбициозные задачи:
- консолидировать аналитическую отчетность на уровне единого DWH-решения, используюя оптимальное количество ресурсов;
- обновить аппаратную и софтверную часть решения DWH;
- мигрировать и модернизировать витрины данных со старых решений DWH, а также перенести трудоемкую аналитическую отчетность из Мастер-систем в новое DWH;
- задокументировать новое решение DWH;
- устранить архитектурные и логические «гэпы» старых решений;
- обеспечить безопасность хранения данных и безопасную работу с данными;
- обеспечить эффективное хранение данных;
- внедрить модель контроля качества данных;
- положить начало подходу отчетности на базе решения BI – «Business Self Service».
Благодаря совместным усилиям, сплочённости, взаимопониманию, работе на результат проект успешно выполнен.
В реализации использованы Knowledge Modules собственной разработки CS для использования в Oracle Data Integrator:
- Loading Knowledge Modules (LKM).
- Для выгрузки из систем на Oracle DB.
- Для выгрузки из систем на MS-SQL.
- Для выгрузки файлов из файловой системы, ftp.
- Integration Knowledge Modules (IKM).
- Для загрузки в DWH.
- Для формирования витрин.
- Для выгрузки подготовленной информации в другие информационные системы.
Преимущества использования CS::BM в OTP BANK
- Банк получил сопровождаемое решение.
- Витрины CS::BM рассчитываются быстрее, чем в предыдущем решении, что было критично для банка.
- Обеспечена своевременная подача групповой отчётности.
- Сформирован правильный процесс работы с DWH — сопровождение, локальное развитие, вендор.
- Возможность расширения — при необходимости к системе можно подключать разные новые источники данных.
- Единая компания-производитель для ключевых систем, используемых в ИТ-архитектуре, что позволяет заблаговременно имплементировать изменения в DWH по факту изменений в core-системах.
- Вынос ряда ресурсоёмких задач с систем-источников на сторону DWH.
