Подсистема ETL (Extract, Transform, Load) корпоративного хранилища данных обеспечивает выполнение одного из основных процессов в управлении хранилищем данных, который включает в себя:

• извлечение данных из внешних систем источников (Extract);
• загрузку данных в область оперативного и постоянного хранения данных хранилища данных (Load).

Архитектура подсистемы ETL

Подсистема ETL в корпоративном хранилище данных работает в тесной взаимосвязи с подсистемой хранения данных (см. состав подсистем хранилища данных). ETL-процессы наполняют и используют область временного хранения данных (Staging Area). Область временного хранения, например, может состоять из следующих областей (схем) базы данных:

• область извлечения данных (Source Area);
• область преобразования данных (Transformation Area);
• область оперативного хранения данных (Operational Data Store).

Наполнение данными области постоянного хранения детальных данных, агрегатов и витрин данных также реализуется при помощи ETL-процессов загрузки данных и агрегации данных. Иногда данные процессы реализуют средствами базы данных, что не совсем правильно.

Описание процесса функционирования подсистемы сбора, обработки и загрузки данных представлено ниже.

1. Процессы извлечения данных извлекают данные из систем источников.
2. Процессы извлечения данных сохраняют извлеченные данные в интерфейсные таблицы области Source Area.
3. Процессы преобразования (трансформации) данных извлекают данные из интерфейсных таблиц (Source Area), проводят захват изменений, преобразование данных по определенным бизнес-правилам с сохранением промежуточных результатов в Transformation Area и сохраняют результат в области оперативного хранения.
4. После проведения преобразования данных данные загружаются в область оперативного хранения Operational Data Store.
5. Процессы загрузки данных производят чтение данных из области оперативного хранения.
6. Процессы загрузки данных проверяют ссылочную целостность данных и проводят их загрузку в область детальных данных (System of Records).
7. Процессы агрегации данных производят чтение детальных данных.
8. Процессы агрегации данных производят агрегацию и запись данных в Summary Area и Data Marts.

Процессы извлечения данных

Процессы извлечения данных обеспечивают выполнение задачи извлечения данных из источников данных – автоматизированных информационных систем, файлов данных, форм ввода и т.п.

Полученные из источников данные сохраняются без трансформации в таблицах области извлечения данных (Source Area).

Процессы преобразования данных

Source: www.prj-exp.ru