Метод интеграции данных: Создание единой базы данных (ETL)

Из всего вышесказанного можно заключить, что консолидационный метод интеграции данных и ETL в частности является перспективной динамично развивающейся ветвью знаний в области IT и имеет широчайшее прикладное значение. Также необходимо отметить, что данная область знаний постоянно расширяется, а структура систематизации их меняется, поэтому не всегда возможно однозначно описать существующую в данный момент структуру. Кроме того, вне зависимости от выбранных технологии и метода интеграции данных, остаются вопросы, связанные с их смысловой интерпретацией и различиями в представлении одних и тех же вещей, приходится разрешать несоответствие схем данных и несоответствие самих данных.
...

нет

Одной из актуальных проблем экономики в настоящее время является интеграция данных. Интеграция данных включает объединение данных, находящихся в различных источниках и предоставление данных пользователям в унифицированном виде. Этот процесс становится существенным, как в коммерческих задачах, так и в научных. Роль интеграции данных увеличивается, когда возрастает объём и необходимость совместного использования данных.

Конечные места хранения данных с небольшим отставанием обновляются с помощью оперативных приложений интеграции данных, которые постоянно отслеживают и передают изменения данных из первичных систем в конечные места хранения. Теперь перейдем к собственно ETL. Как уже было отмечено, это один из основных процессов в управлении хранилищами данных, который включает в себя:извлечение данных из внешних источников;их трансформация и очистка, чтобы они соответствовали нуждам бизнес-модели;загрузка их в хранилище данных.С точки зрения процесса ETL, архитектуру хранилища данных можно представить в виде трёх компонентов:источник данных: содержит структурированные данные в виде таблиц, совокупности таблиц или просто файла промежуточная область: содержит вспомогательные таблицы, создаваемые временно, и,исключительно для организации процесса выгрузки.получатель данных: хранилище данных или база данных, в которую должны быть помещены извлечённые данные.Перемещение данных от источника к получателю называют потоком данных. Требования к организации потока данных описывается аналитиком. ETL следует рассматривать не только как процесс переноса данных из одного приложения в другое, но и как инструмент подготовки данных к анализу.Теперь перейдем к прикладному аспекту использования ETL. Что же нам может дать данная технология?Одним из распространенных сценариев, требующих эффективной интеграции данных, является интеграция баз знаний о клиентах (Customer Data Integration, CDI) при объединении компаний или слиянии подразделений. Предположим, например, что произошло слияние двух отделов, занимающихся работой с клиентами, и им необходимо оптимизировать работу по организации продаж. Для этого требуется консолидация больших хранилищ имен, адресов, бизнес-историй и иной информации о клиентах, поддерживаемой несовместимыми и, возможно, территориально удаленными системами. При отсутствии платформы интеграции данных велик риск получить несогласованные и «грязные» данные с дублированными или конфликтующими атрибутами клиентов. Платформа интеграции должна обеспечить необходимый доступ к данным в нужных хранилищах, их очистку, преобразование и перемещение на новое место.Рис.1.Сервисы интеграции данных для реализации CDIПрием на работу: работа в любой компании для нового сотрудника всегда начинается с заведения его данных в многочисленных учётных системах, причём в небольших и средних организациях вносить эту информацию, как правило, приходится разным людям из разных подразделений. В результате возникают ситуации, когда принятый на работу сотрудник подолгу не может получить банковскую карту, потому что не был вовремя заведён в бухгалтерии, уже уволенные сотрудники имеют доступ к корпоративной почте и приложениям, потому что их учётная запись в домене не заблокирована, и т.д. Представим себе следующую «диспозицию»: в компании используются контроллер домена, применяющий LDAP, кадровая система на базе СУБД Oracle, система бюджетирования 1С, внутренний портал со штатным расписанием, почта, Help Desk. Все эти системы не знают о существовании друг друга, при этом требуется уменьшить количество процедур ввода данных о сотруднике в учётные системы, а также обеспечить выравнивание бизнес-процессов. В целом это типичная задача сквозной интеграции бизнес-процессов. Она так часто встречается, что для её решения существует отдельный класс продуктов – IdM. Однако это практически всегда масштабные решения, внедряемые не один месяц и подразумевающие внушительные капиталовложения, а их в небольших и даже средних компаниях часто не хватает. Для налаживания взаимодействия между системами можно воспользоваться ETL, причем это не потребует значительного времени и сложной разработки. Для наглядности вся картина приведена на рисунке ниже:Рис. 2.