Этот модуль отвечает за загрузку собранных, обработанных и выверенных данных в промежуточные таблицы. Модуль stage управляется правилами промежуточного хранения, которые содержат методы перемещения данных из исходного CSV-файла в промежуточные таблицы. Для всех элементов Частоты и измерения в SHR имеются соответствующие таблицы. При этом для таблиц агрегирования промежуточные таблицы отсутствуют. Имя таблицы промежуточного хранения обычно содержит имя таблицы скорости/измерения с добавлением _
. Для таблицы ХД (хранилища данных) с именем SR_SM_NODE_RES имя таблицы промежуточного хранения будет SR_SM_NODE_RES_.
Промежуточное хранение подразумевает два режима
Компиляция правил промежуточного хранения
В этом режиме модуль Stage осуществляет компиляцию и создание скомпилированных правил на базе входящих правил, разработанных автором пакетов содержимого. Компиляция правил промежуточного хранения происходит в рамках установки пакетов содержимого.
Скомпилированные правила промежуточного хранения хранятся в папке {PMDB_HOME}/stagerules
, а соответствующий XML-файл хранится в папке {PMDB_HOME}/stagerules_source
.
Выполнение загрузки данных из CSV в таблицу промежуточного хранения.
В этом режиме модуль Stage воспринимает входящие данные в качестве скомпилированного правила промежуточного хранения и перемещает данные из CSV-файла в таблицу промежуточного хранения. Сведения о соответствующих шаблонах CSV-файла и таблицах промежуточного хранения находятся в скомпилированных правилах промежуточного хранения.
В рамках области промежуточного хранения происходит определенный объем обработки. Важнейший этап здесь - объединение столбцов различных фактических CSV-файлов и перемещение полученных данных в таблицу промежуточного хранения.
Исходный каталог | {PMDB_HOME}/stage |
Целевой каталог | {PMDB_HOME}/stage/archive |
Каталог сбоя | {PMDB_HOME}/failed_to_stage |
Файл журнала | {PMDB_HOME}/log/stage.log |
Использование |
|
Компиляция правила промежуточного хранения |
|
Выполнение загрузки таблицы промежуточного хранения |
|