暂存

此模块负责将已收集、转换和协调的数据加载到暂存表。暂存模块由暂存规则驱动,这些规则指定如何将数据从源 CSV 移动到暂存表。SHR 中的所有比率维度 都具有对应的暂存表。汇总表将没有关联的暂存表。暂存表名称通常由比率/维度表名称后跟一个 _ 构成。如果 DWH 表名称是 SR_SM_NODE_RES,则此 DWH 表的暂存表名称将是 SR_SM_NODE_RES_

暂存过程涉及以下两种执行模式:

  1. 编译暂存规则

    在此模式下,暂存模块将基于内容包开发人员所设计的输入暂存规则编译暂存,并生成所编译的暂存。暂存规则编译操作在内容包安装过程中执行。

    编译的暂存规则存储在 {PMDB_HOME}/stagerules 文件夹中。等效于此已编译的暂存规则的 XML 存储在 {PMDB_HOME}/stagerules_source 文件夹中。

  2. 执行将数据从 CSV 加载到暂存表的操作。

    在此模式下,暂存模块使用编译的暂存规则作为输入,并将 CSV 文件中的数据移动到暂存表。编译的暂存规则中包含有关要选择的 CSV 文件模式以及要加载数据的暂存表的信息。

    在暂存区域中将发生一些处理操作。其中一个重要的处理是,在不同的度量 CSV 中执行列合并操作,并将结果数据移动到暂存表。

源目录 {PMDB_HOME}/stage
目标目录 {PMDB_HOME}/stage/archive
故障目录 {PMDB_HOME}/failed_to_stage
日志文件 {PMDB_HOME}/log/stage.log

用法

编译暂存规则
  • compile=true [调用编译模式。默认值为 false。]
  • stagerule=<暂存规则> [具有暂存定义的文件的完整路径]
  • interface=<接口 XML> [暂存接口 XML 的完整路径]
  • outputLocation=<输出目录> [存储编译的暂存规则的目录]
执行暂存表加载
  • config=<编译的暂存规则> [编译的暂存规则的路径]
  • printSourceFile=true [生成的已编译暂存规则的 XML 版本。提供 CSV 列和暂存表列之间的映射。默认值为 false]
  • debugOutputLoc= <文件夹路径> [放置编译的暂存规则的对等 XML 的位置]