Необходимость в корпоративном хранении сведений возникла еще в 20 веке, когда бизнес быстро развивался и компании начали использовать информационные системы, чтобы контролировать показатели эффективности работы, а при изменении для обеспечения мгновенного реагирования. Каждое приложение использовалось для автоматизации производственного процесса, торговли, выполнения бухгалтерских расчетов, проведения финансовых операций. Трудности возникали из-за различия систем и схем, это вело к расхождению аналитических данных. Невозможно было получать объединенные сведения отдельных систем для создания полноценной картины.
Для решения данной задачи создано хранилище – Data Warehouse, или DWH, которое является предметно-ориентированной базой для выполнения интегрированного анализа сведений объединенном виде. Для пользователя стало возможно правильно управлять, принимая решения, основываясь на целостную информационную картину.
Основные отличия DWH от других баз данных
Data Warehouse – это хранилище данных компании, которое в отличие от обычных баз имеет:
- Вид сведений для хранения. Например, СУБД содержит конкретную информацию. В базе для склада находятся сведения, касающиеся именно склада. Если база данных (БД) для кадрового учета, то информация о кадрах. В DWH находится информация отделов компании от персональных данных до сведений о выполненных сделках.
- Объем информации. Обычные базы данных хранят конкретные показатели для отдельного направления деятельности компании. DWH (Data Warehouse) записывает актуальные, архивные, агрегированные сведения. Имеется конкретная информация на протяжении всей деятельности.
- Расположение в рабочем процессе. Сначала сведения поступают в рабочие хранилища, затем в общую базу. В DWH изменения сразу отображаются, это намного повышает эффективность работы и позволяя постоянно иметь актуальные данные.
DWH – это отдельное хранилище для архива из разных источников для преобразования корпоративных данных и работы с корпоративными сведениями.
DWH хранилище сопровождает любую бизнес-аналитику (BI, Business Intelligence), непосредственно анализирует данные для получения необходимой информации для персонала или руководителя, чтобы принять соответствующие решения.
Для решения проблемы снижения интернет-продаж нужен аналитик, чтобы из DWH выбрать сведения о компании, статистические данные продаж, размер доходов и расходов, количество покупателей.
После анализа информации готовится отчетный документ с таблицами, в которых указаны цифровые значения и причины, способствующие уменьшению прибыли интернет-магазина.
Руководитель вместе с менеджерами проводят изучение отчета для принятия эффективного решения проблемы. При необходимости проводится коррекция управления маркетингом.
В случае отсутствия Data Warehouse чтобы выявить проблему и найти сведения для сравнения данных нужны разные базы. Поиск причины падения доходов занял бы много времени.
DWH позволяет обеспечить:
- Быстрый доступ к нужным данным. Развитая инфраструктура крупной компании состоит из множества отделов, каждый из которых отвечает за хранение сведений, поэтому для получения доступа необходимо разрешение, чтобы получить пароли. На это требуется дополнительные усилия и время. В Data Warehouse находится нужная статистика.
- Качество хранения информации. исторические сведения в DWH никогда не теряются, поскольку хранятся в самом удобном формате, как агрегированные данные. Обычная база на сервере не может охватить архив за последние 10 лет, а пользователи DWH имеют допуск к сведениям о истории компании за любой период.
- Надежная работа бизнес-систем. Аналитики не вмешиваются в другие базы данных, работая с DWH, это позволяет избежать проблем в работе и не ставит под угрозу деятельность отдела. На базе Data Warehouse (DWH) возможно создание индивидуальных решений для больших объемов данных, персональных коробочных и облачных проектов.
Структура DWH
Хранилище сведений – это технология со сложной структурой, состоящая из нескольких уровней:
- Зона для сбора первичных данных систем.
- Ядро хранилища - основной компонент для объединения сведений из систем в полном объеме и отвечает за приведение их к единой структуре.
Аналитические витрины, где обычно информация преобразуется в структуру для анализа и дальнейшего применения. С помощью первичных витрин решаются простые задачи, а вторичные созданы для решения сложных измерений и нестандартных трансформаций.
Однако для наполнения хранилища данных чаще всего вводятся дополнительные зоны хранения данных при их перемещении для того, чтобы данные приобрели свою ценность и единую версию:
ODS (Operational Data Store) – зона для загрузки копии системы-источника, нужной части для формирования хранилища с помощью запросов определенной оперативной информации. Данные этой зоны нужны для отчетности.
Набор стейджингов, или дополнительных зон хранения различных данных обеспечивает приведение данных в состояние требуемого качества, а также для консолидации данных разного формата. Подобные перемещения данных между зонами обычно решаются с помощью средств класса ETL (Extract, Transform, Load). Чтобы использовать данные хранилища, обычно применяются решения класса BI (Business Intelligence), средства построения отчётности и ad-hoc аналитики, средства дата-майнинга, т.е. предиктивной аналитики, или любые системы компании, которые уже должны пользоваться чистыми данными, собранными в компании.
Слой для сервиса. Управление каждым уровнем, не имея сведений, с помощью инструментов наблюдения и оценки производится проверка ошибок для быстрого их устранения. Для эффективного использования опытные люди благодаря глубоким профессиональным знаниям разработали DWH.
Эффективность DWH в аналитике
Единое хранилище информации вместе с современной аналитикой дает новые возможности по управлению производством. У специалистов имеется уникальная возможность чтобы построить теорию и провести эксперименты с помощью ресурсов, для подтверждения и опровержения, используя огромное количество реальных значений.
Правильное управление компанией заключается в повышении прибыли, в расширении мощности производства, а также организации мероприятий, способствующих дальнейшей стабильной работе, например, повысить благосостояние сотрудников, лояльность клиентов, сформировать солидный образ. Благодаря DWH (Data Warehouse) можно анализировать сведениями компании.
