Компанія CS завершила масштабний проект із впровадження корпоративного сховища даних CS::BM в OTP Bank.
Одна з пріоритетних задач ІТ-стратегії OTP Bank — заміна існуючого сховища даних на промислове рішення. Постачальником було обрано компанію CS, з якою банк співпрацює з 2009 року.
Мета та задачі
- Впровадити надійне сучасне корпоративне сховище даних як одне достовірне джерело даних в банку: з предметно-орієнтованою моделлю даних сховища, що покриває максимально можливу кількість сутностей, і контролем якості даних.
- Мігрувати функціонал та дані двох існуючих КСД до єдиного модернізованого КСД. Перенесення існуючих вітрин сховища даних банку.
- Реалізувати завантаження даних на T+1 / (Т = дата транзакції).
- Збільшити кількість необхідних бізнес-користувачам даних/сутностей у сховище.
- Отримати відмовостійке кероване рішення.
Особливості впровадження
Розроблені:
- Механізми управління дозавантаження даних.
- Модуль контролю якості даних.
- Рішення з надання даних для групової звітності.
Виконані:
- Доробки з контролю процесу завантаження даних і розрахунків вітрин.
- Рефакторинг коду сховища банку, яке використовувалось раніше.
Рішення CS::BM збудовано на традиційній для великих DWH методології, яку було запропоновано Білом Інмоном. В основі методології – централізоване сховище всіх корпоративних даних, на базі яких надалі формуються вітрини даних.
СУБД, яка використовується – Oracle 12C.
Засіб ETL/ELT – Oracle Data Integrator (ODI) 12C.
Засіб візуалізації вітрин даних – Oracle Business Intelligence(BI) 12C.
Сергій Рачков, бізнес-аналітик компанії CS:
DWH в OTP Bank наповнюється з більш ніж десятка джерел. Кожна із систем має свої регламенти завантаження даних. Аналіз взаємозв’язків між завантаженнями виконується на рівні ядра сховища даних з метою коректного підходу до реалізації вітрин.
На щоденній основі вивантажуються дані з близько 700 таблиць і формуються більш 50 різноманітних вітрин даних, які використовуються як безпосередньо користувачами за допомогою Oracle BI, так і для інтеграції з системами – приймачами даних. Близько восьми систем є споживачами даних, які обчислюються в сховищі даних. Дані системи побудовані на різних БД, використовують різні підходи щодо завантаження даних. Все це зумовило необхідність розробки абсолютно різних міжсистемних інтерфейсів, які лягли в загальну архітектуру рішення.
Олег Розум, начальник управління розвитку DWH, Project Manager проекту, OTP Bank:
Перед проектною командою Банку і компанією CS стояли амбітні задачі:
- консолідувати аналітичну звітність на рівні єдиного DWH-рішення з використанням оптимальної кількості ресурсів;
- оновити апаратну та софтверну частину рішення DWH;
- мігрувати та модернізувати вітрини даних з попередніх рішень DWH, а також перенести трудомістку аналітичну звітність з Майстер-систем до нового DWH;
- задокументувати нове рішення DWH;
- усунути архітектурні та логічні «гепи» попередніх рішень;
- забезпечити безпеку зберігання даних та безпечну роботу з даними;
- забезпечити ефективне зберігання даних;
- впровадити модель контролю якості даних;
- покласти початок підходу звітності на базі рішення BI – «Business Self Service».
Завдяки спільним зусиллям, згуртованості, взаєморозумінню, роботі на результат проект успішно виконано.
У реалізації використані Knowledge Modules власної розробки CS для використання в Oracle Data Integrator:
- Loading Knowledge Modules (LKM).
- Для вивантаження із систем на Oracle DB.
- Для вивантаження із систем на MS-SQL.
- Для вивантаження файлів із файлової системи, ftp.
- Integration Knowledge Modules (IKM).
- Для завантаження до DWH.
- Для формування вітрин.
- Для вивантаження підготовленої інформації до інших інформаційних систем.
Переваги використання CS::BM в OTP BANK
- Банк отримав рішення з супроводом.
- Вітрини CS::BM розраховуються швидше порівняно з попереднім рішенням, що було критично для банку.
- Забезпечено своєчасне подання групової звітності.
- Сформовано оптимальний процес роботи з DWH — супровід, локальний розвиток, вендор.
- Можливість розширення — за необхідності до системи можна підключати різні нові джерела даних.
- Єдина компанія-виробник для ключових систем, які використовуються в ІТ-архітектурі, що дозволяє завчасно імпплементувати зміни до DWH за фактом змін у core-системах.
- Винос ряду ресурсоємних задач із систем-джерел до DWH.
