Хранение информации



Область Временного Хранения Данных

Реализация подсистемы ETL (Extract, Transform, Load  Январь 17, 2021 – 02:46

Подсистема ETL (Extract, Transform, Load) корпоративного хранилища данных обеспечивает выполнение одного из основных процессов в управлении хранилищем данных, который включает в себя:

  • извлечение данных из внешних систем источников (Extract);
  • загрузку данных в область оперативного и постоянного хранения данных хранилища данных (Load).

Архитектура подсистемы ETL

Подсистема ETL в корпоративном хранилище данных работает в тесной взаимосвязи с подсистемой хранения данных (см. состав подсистем хранилища данных). ETL-процессы наполняют и используют область временного хранения данных (Staging Area). Область временного хранения, например, может состоять из следующих областей (схем) базы данных:

  • область извлечения данных (Source Area);
  • область преобразования данных (Transformation Area);
  • область оперативного хранения данных (Operational Data Store).

Наполнение данными области постоянного хранения детальных данных, агрегатов и витрин данных также реализуется при помощи ETL-процессов загрузки данных и агрегации данных. Иногда данные процессы реализуют средствами базы данных, что не совсем правильно.

Описание процесса функционирования подсистемы сбора, обработки и загрузки данных представлено ниже.

ETL - извлечение данных, преобразование данных, загрузка данных
  1. Процессы извлечения данных извлекают данные из систем источников.
  2. Процессы извлечения данных сохраняют извлеченные данные в интерфейсные таблицы области Source Area.
  3. Процессы преобразования (трансформации) данных извлекают данные из интерфейсных таблиц (Source Area), проводят захват изменений, преобразование данных по определенным бизнес-правилам с сохранением промежуточных результатов в Transformation Area и сохраняют результат в области оперативного хранения.
  4. После проведения преобразования данных данные загружаются в область оперативного хранения Operational Data Store.
  5. Процессы загрузки данных производят чтение данных из области оперативного хранения.
  6. Процессы загрузки данных проверяют ссылочную целостность данных и проводят их загрузку в область детальных данных (System of Records).
  7. Процессы агрегации данных производят чтение детальных данных.
  8. Процессы агрегации данных производят агрегацию и запись данных в Summary Area и Data Marts.

Процессы извлечения данных

Процессы извлечения данных обеспечивают выполнение задачи извлечения данных из источников данных – автоматизированных информационных систем, файлов данных, форм ввода и т.п.

Полученные из источников данные сохраняются без трансформации в таблицах области извлечения данных (Source Area).

Процессы преобразования данных

Source: www.prj-exp.ru

Похожие публикации:

  1. Аппаратные Средства Хранения Данных
  2. Распределенное Хранение Данных
  3. Память Пк для Временного Хранения Данных