データプロセスの監視
HPE OBRには、未処理データの取り込み、そのデータに対する調整と集約ルーチンの実行、およびデータストアへのそのデータのロードというタスクを処理するワークフローフレームワークが備えられています。コンテンツパックには、事前定義されたワークフローが含まれます。これらの親タスクは、コンテンツパックのインストール中にロードされます。ジョブストリームは複数のジョブステップから構成されます。ジョブステップは、ワークフローフレームワークによりで処理されます。
ワークフローフレームワークは、コンテンツパックに定義されているメタデータに基づいて、各ジョブストリームのフローとステップの実行を一元的に編成および管理します。
次の図は、サンプルとしてHPE OBRジョブストリームの実行フローを示しています。
この例では、ジョブストリームはデータ収集で始まり、ファクトの集約で終わります。どのステップも前のステップに依存しています。したがって、ステップのいずれかが失敗した場合、ワークフローフレームワークではジョブストリームは正常に完了しません。ワークフローフレームワークでは、現在のストリームが正常に完了した場合にのみ、次に実行するジョブストリームがロードされます。
ワークフローフレームワークを使用して、次のようなタスクを実行できます。
- ワークフローの実行ステータスを監視する。
- データをデータストアに移動するプロセスを制御する。
ワークフロージョブストリームがどのように実行されるかを知ることが、HPE OBRデータベース操作のステータスの監視において最も重要なタスクとなります。
ジョブストリームのステータスについて
[データ処理のステータス] ページに表示される情報と、ジョブストリームの状態とステータスとの関係を分かり易くするために、ジョブストリームにおいて想定されるシナリオを以下に3つ用意しました。
次のスライドをクリックすると、シナリオが表示されます。
シナリオ1
次のようなジョブストリームのサンプルを検討してみます。
このジョブストリームには、9つのジョブステップがあります。緑色で示されているとおり、ジョブステップはすべて正常に完了しました。[ステップのステータス (完了/合計)] 列では、このストリームの値は9/9となります。ステップは9つあって、すべてのステップが実行を完了したからです。すべてのジョブステップが正常に完了したので、[ステップのステータス] 列には
インジケータが表示されます。したがって、ジョブストリームのステータスは「OK」となります。
DataLoad_FileSystemなどの特定のジョブステップの状態とステータスを知るには、ジョブステップアイコンをクリックする必要があります。すると、ポップアップウィンドウが開き、ステップの状態とステータスなどのジョブステップの詳細が表示されます。DataLoad_FileSystemジョブステップの場合、このジョブステップの状態は「終了」となり、ステータスは「成功」となります。以降、このジョブストリームはアクティブではなくなり、このページの [ストリームの履歴] セクションに移動されます。次に、別のシナリオを見てみましょう。
シナリオ2
次のようなジョブストリームのサンプルを検討してみます。
このジョブストリームには、13のジョブステップがあります。[ステップのステータス (完了/合計)] 列では、完了したのは9つのステップのみなので、このストリームの値は9/13となります。青色で示されているとおり、10番目のステップAggregate_Daily_Kernelは現在実行中です。ただし、[ステップのステータス] 列には
インジケータが表示されます。それは、Aggregate_Daily_Kernelステップまでのすべてのジョブステップが正常に完了したからです。
ジョブストリームのステータスは、現在実行中のステップ (この場合はAggregate_Daily_Kernelステップ) までのすべてのジョブステップのステータスに基づいて計算されます。したがって、Aggregate_Daily_Kernelまでのすべてのジョブステップは正常に完了したので、ジョブストリームの全体的なステータスは「OK」となります。
Aggregate_Daily_Kernelステップの状態は「実行中」でありながら、そのステータスは「待機中」となります。灰色の残りの3つのジョブステップの状態とステータスは「待機中」になります。これらのジョブステップは、Aggregate_Daily_Kernelの完了後にしか開始しないからです。
シナリオ3
次のようなジョブストリームのサンプルを検討してみます。
このジョブストリームには、7つのジョブステップがあります。[ステップのステータス (完了/合計)] 列では、このストリームの値は4/7となります。ただし、DataLoad_Softwareジョブステップが正常に完了しなかったため、[ステップのステータス] 列には
インジケータが表示されます。ジョブステップが失敗すると、それが解決されるまで、残りのステップの実行はブロックされた状態が続きます。したがって、このストリーム中で完了したジョブステップは4つのみとなります。
ワークフローフレームワークは、このジョブストリームに対して定義されている再試行回数に基づいて、失敗したジョブステップの実行をやり直します。すべての再試行が終了したら、ジョブストリームはブロックされます。このジョブストリームのステータスは「エラー」になります。DataLoad_Softwareジョブステップの状態は「終了」になるのに対して、ステータスは「エラー」または「最大実行時間超過」になります。
Reconcile_Dataアイコンを見ると、黄色になっています。これは、Reconcile_Dataジョブステップは完了したけれども警告を受けたことを示します。ただし、これによってジョブストリームがブロックされることはありません。また、ご覧のように、Stage_Dataジョブステップは正常に完了しています。Reconcile_Dataジョブステップの状態は「終了」になるのに対して、ステータスは「警告」になります。
ジョブストリームの詳細の監視
HPE OBRには、インストールされている各コンテンツパックのジョブストリームの実行を監視する手段が用意されています。管理コンソールの [データ処理のステータス] ページでは、次のような3つのタブの下にストリーム情報が表示されます。
- ストリームの詳細: このタブには、現在実行中のアクティブなストリームのステータスに関する情報が表示されます。また、ジョブストリームのステップごとの実行フローを表示することもできます。
- ストリームの履歴概要: このタブには、エラーまたは警告とともに完了したジョブストリームの数とステータスが表示されます。警告またはエラーの状態が原因でユーザーによって中止されたジョブストリームも、このタブに表示されます。
- ストリームの詳細履歴: このタブには、ある期間の実行中にジョブストリームで発生したエラーおよび警告状態の数のトレンドがグラフィックで表示されます。
[データ処理のステータス] ページを使用して、アクティブなジョブストリームの実行を監視し、実行が失敗した場合にはすべての問題をトラブルシューティングできます。さらに、一定期間にわたってストリームのトレンド分析を実行し、失敗の原因を判別することもできます。このページでは、次のようなデータストリーム監視タスクを実行できます。