Staging

Dieses Modul ist verantwortlich für das Laden der gesammelten, transformierten und abgestimmten Daten in Staging-Tabellen. Das Staging-Modul unterliegt Staging-Regeln, die angeben, wie Daten aus Quell-CSVs in Staging-Tabellen verschoben werden sollen. Alle Raten- und Dimensionstabellen in SHR haben eine entsprechende Staging-Tabelle. Zusammenfassungstabellen haben keine zugehörige Staging-Tabelle. Bei dem Namen der Staging-Tabelle handelt es sich im Allgemeinen um den Namen der Raten- bzw. Dimensiontabelle gefolgt von einem Unterstrich (_). Wenn der Name der DWH-Tabelle SR_SM_NODE_RES ist, lautet der Name der Staging-Tabelle für diese DWH-Tabelle SR_SM_NODE_RES_.

Das Staging beinhaltet zwei Ausführungsmodi:

  1. Kompilieren der Staging-Regeln

    In diesem Modus kompiliert und generiert das Staging-Modul das kompilierte Staging basierend auf den vom Content Pack-Entwickler erstellten Staging-Eingaberegeln. Die Kompilierung der Staging-Regeln erfolgt im Rahmen der Content Pack-Installation.

    Kompilierte Staging-Regeln sind im Ordner {PMDB_HOME}/stagerules gespeichert. Die XML-Entsprechung zu diesem kompilierten Staging-Regeln ist im Ordner {PMDB_HOME}/stagerules_source gespeichert.

  2. Laden von Daten aus der CSV-Datei in die Staging-Tabelle

    In diesem Modus verwendet das Staging-Modul die Eingabe als kompilierte Staging-Regel und verschiebt die Daten aus der CSV-Datei in die Staging-Tabelle. Welche Informationen aus der CSV-Datei ausgewählt und welche Staging-Tabelle zum Laden der Daten verwendet werden soll, wird durch die kompilierte Staging-Regel festgelegt.

    Ein Teil der Verarbeitung findet im Staging-Bereich statt. Wichtig ist die Durchführung einer Zusammenführung von Spalten aus verschiedenen CSV-Faktendateien und das Verschieben der daraus resultierenden Daten in eine Staging-Tabelle.

Quellverzeichnis {PMDB_HOME}/stage
Zielverzeichnis {PMDB_HOME}/stage/archive
Fehlerverzeichnis {PMDB_HOME}/failed_to_stage
Protokolldatei {PMDB_HOME}/log/stage.log

Verwendung

Zum Kompilieren der Staging-Regel
  • compile=true [To invoke compilation mode. Default is false.]
  • stagerule=<Stage Rule> [Full path to the file that has stage definitions]
  • interface=<Interface XML> [Full path to the stage interface XML]
  • outputLocation=<Output Directory> [Directory where the compiled stage rule is stored]
Zum Laden der Staging-Tabelle
  • config=<Compilied Stage Rule> [Path to the compiled stage rule]
  • printSourceFile=true [Generated XML version of compiled stage rule. Provides mapping between CSV columns and stage table columns. Default value is false]
  • debugOutputLoc= <Folderpath> [Location where the XML equivalent of compiled stage rule is placed]