Stage

Этот модуль отвечает за загрузку собранных, обработанных и выверенных данных в промежуточные таблицы. Модуль stage управляется правилами промежуточного хранения, которые содержат методы перемещения данных из исходного CSV-файла в промежуточные таблицы. Для всех элементов Частоты и измерения в SHR имеются соответствующие таблицы. При этом для таблиц агрегирования промежуточные таблицы отсутствуют. Имя таблицы промежуточного хранения обычно содержит имя таблицы скорости/измерения с добавлением _. Для таблицы ХД (хранилища данных) с именем SR_SM_NODE_RES имя таблицы промежуточного хранения будет SR_SM_NODE_RES_.

Промежуточное хранение подразумевает два режима

  1. Компиляция правил промежуточного хранения

    В этом режиме модуль Stage осуществляет компиляцию и создание скомпилированных правил на базе входящих правил, разработанных автором пакетов содержимого. Компиляция правил промежуточного хранения происходит в рамках установки пакетов содержимого.

    Скомпилированные правила промежуточного хранения хранятся в папке {PMDB_HOME}/stagerules, а соответствующий XML-файл хранится в папке {PMDB_HOME}/stagerules_source.

  2. Выполнение загрузки данных из CSV в таблицу промежуточного хранения.

    В этом режиме модуль Stage воспринимает входящие данные в качестве скомпилированного правила промежуточного хранения и перемещает данные из CSV-файла в таблицу промежуточного хранения. Сведения о соответствующих шаблонах CSV-файла и таблицах промежуточного хранения находятся в скомпилированных правилах промежуточного хранения.

    В рамках области промежуточного хранения происходит определенный объем обработки. Важнейший этап здесь - объединение столбцов различных фактических CSV-файлов и перемещение полученных данных в таблицу промежуточного хранения.

Исходный каталог {PMDB_HOME}/stage
Целевой каталог {PMDB_HOME}/stage/archive
Каталог сбоя {PMDB_HOME}/failed_to_stage
Файл журнала {PMDB_HOME}/log/stage.log

Использование

Компиляция правила промежуточного хранения
  • compile=true [для вызова режима компиляции. Значение по умолчанию – false.]
  • stagerule=<Stage Rule> [полный путь к файлу с определениями промежуточного хранения]
  • interface=<Interface XML> [полный путь к XML-интерфейсу промежуточного хранения]
  • outputLocation=<Output Directory> [каталог, в котором хранится скомпилированное правило промежуточного хранения]
Выполнение загрузки таблицы промежуточного хранения
  • config=<Compilied Stage Rule> [путь к скомпилированному правилу промежуточного хранения]
  • printSourceFile=true [созданная XML-версия скомпилированного правила промежуточного хранения. Обеспечивает соответствие между столбцами CSV-файлов и таблиц промежуточного хранения. Значение по умолчанию – false]
  • debugOutputLoc= <Folderpath> [местоположение XML-файла, соответствующего скомпилированного правила промежуточного хранения]