IT-блоги • Глубокое погружение в аспекты создания своей платформы данных

В сегодняшней статье мы рассмотрим детали, на которые стоит обратить особое внимание при создании своей платформы данных, и примеры проектов по переходу на нее, с которыми мы работали.

Возвращаясь к фреймворку создания платформы данных для автоматизированной отчетности, мы хотим более подробно рассмотреть несколько пунктов из прошлой статьи:

ФАЗА 1. Анализ & План

Сбор данных

• Изучите всю отчетность, используемую сегодня, и разделите ее по бизнес процессам\функциям
• Объедините стратегические цели предприятия с отчетностью — оцените разрыв между тем как сейчас и как должно быть
• Определите главные метрики

Идентификация и приоритезация данных

• Приоритезируйте и классифицируйте отчётность по типу: операционная, управленческая, предиктивная, регуляторная
• Определите артефакты данных,  архитектуру отчетности и  принципы архивации

Миграция данных и создание моделей данных

• Разработайте новую модель данных, систему их каталогизации и план
• Определите вид передачи данных от источника к Платформе данных
• Разработайте логическую модель хранения, обработки и потребления данных

Визуализация данных и анализ

• Выберите инструмент визуализации либо разработайте свой
• Определите права доступа и контур видимости для пользователей или групп пользователей
• Разработайте новые отчеты и витрины данных для возможности аналитики самообслуживания

ФАЗА 2. Платформа отчетности

Для эффективной работы платформы отчетности необходимо учитывать разнообразие источников данных:

• Первый — домашние источники, то есть данные, которые собираются непосредственно внутри организации. Это могут быть данные о продажах, финансовых показателях, операционной деятельности и т.д.
• Второй — приложения как источники данных. Современные компании все чаще используют различные приложения для сбора и обработки информации. Эти данные также могут быть интегрированы в платформу отчетности для общего анализа.
• Третий — данные от третьих лиц. Это могут быть данные от поставщиков, партнеров или сторонних сервисов. Интеграция таких данных в платформу отчетности может дать более полное представление о бизнесе и его окружении.

Платформа отчетности должна обеспечивать загрузку данных из всех указанных источников, обеспечивая качественную обработку и хранение информации. Важными аспектами работы с данными являются их историчность, чистота и подготовка для дальнейшего анализа.

Для представления данных пользователю платформа отчетности должна иметь возможность создавать разнообразные отчеты и визуализации. Бизнес-аналитика (BI) играет важную роль в анализе данных и выявлении ключевых трендов.

Примеры проектов перехода на платформы данных

Европейская страховая компания

• Задача

Крупная европейская страховая компания решила внедрить новую систему данных в связи с требованиями МСФО 17. Целью этого проекта является создание единой и достоверной версии данных для всех филиалов компании, а также обеспечение возможности долгосрочного хранения информации. На этапе планирования решили, что новая платформа данных может не только обеспечивать отчетность, но и поддерживать решения, такие как Customer 360 и принципы FinOps.

• Решение

Для решения задачи было принято решение о внедрении облачного хранилища данных. Команда разработала архитектуру данных, создала модель данных и повторно используемые компоненты, которые легко подключаются и используются с минимальной настройкой. Основной упор был сделан на использование шаблонного подхода, чтобы артефакты могли быть повторно использованы. На основе модели данных и структуры их хранения были разработаны информационные панели и отчеты.

• Результат

Использование шаблонного подхода позволило использовать большую часть компонентов новой платформы данных в различных филиалах компании с минимальными усилиями. Внедрение общей платформы данных обеспечило единое представление данных, что открыло доступ к потенциалу существующей информации и позволило компании получить более глубокие отчеты и использовать ИИ. Применение принципов DevOps позволило автоматизировать весь процесс развертывания процесса обработки данных.

Европейская энергетическая компания

• Задача

Клиент, крупный поставщик услуг электроснабжения в Европе, сталкивался с проблемой разрыва данных из-за внедрения новых систем ERP и CRM. Целью было объединить разрозненные данные о клиентах для улучшения аналитики. Перед внедрением решения отчеты были несогласованными и неэффективными. Продажи подвергались рискам из-за ошибочных расчетов ценности клиента, оттока и данных третьих сторон.

• Решение

Команда создала новую структуру данных, обогатила их информацией о продажах и внедрила концепцию мастер-партнера для всестороннего представления о клиенте. Была разработана воронка заказов для увеличения конверсии потенциальных клиентов.

• Результат

Была создана единая точка данных, обеспечивающая отчетность, аналитику и выбор маркетинговых кампаний. Единое представление клиента позволило идентифицировать их в различных контрактах, обеспечив непрерывность ключевых продаж и планирование маркетинговых действий, таких как предсказание оттока клиентов.

Европейская производственная компания

• Задача

Клиент, специализирующийся на разработке тепловизионных устройств и цифровой оптики, столкнулся с проблемой длительного времени подготовки финансовой, операционной и регуляторной отчетности. Финансовому директору была поставлена задача ускорить процесс создания отчетов, который ранее занимал 2-3 недели после окончания месяца. Целью клиента было разработать автоматизированное решение для сбора данных, их очистки и генерации ежемесячных отчетов.

• Решение

Для достижения этой цели команда использовала методологию Дизайна Платформы Данных для анализа и планирования. Был проведен анализ текущих процессов и систем клиента с целью предложить улучшенное архитектурное решение новой платформы данных.

• Результат

Результатом работы стала дорожная карта поэтапных задач. Клиенту было представлено сравнение различных архитектурных вариантов новой платформы данных, а также информация о затратах на инфраструктуру и обучение персонала. Клиент получил четкие рекомендации по следующим шагам расчет затрат на реализацию пилотной фазы.

Российский СПА-отель

• Задача

Клиент — СПА-отель высокого уровня в РФ. Выяснилось что задержки в принятии решений и доступности отчетности влияют на качество обслуживания. Было необходимо устранить избыточные требования к ним путем улучшения работы с данными.

• Решение

Было принято решение создать хранилище данных, которое станет центральным узлом для подготовки отчетности и единой точкой истины. Для этого был выбран стек технологий с открытым исходным кодом (Open Source), что позволило сократить стоимость проекта. Основными пользователями нового решения стали департамент маркетинга и департамент размещения.

Заключение

Платформы данных предоставляют компаниям возможность эффективно обрабатывать, анализировать и передавать информацию, обеспечивая оперативное принятие решений на основе актуальных данных. Автоматизация процессов сбора, обработки и представления отчетности позволяет сократить время на выполнение рутинных задач, повысить точность данных и улучшить качество аналитики. Таким образом, использование платформ данных способствует увеличению эффективности бизнеса, обеспечивая получение данных вовремя и поддерживая конкурентоспособность компании на рынке.

The post Глубокое погружение в аспекты создания своей платформы данных first appeared on ITQuick.