現状の課題
日中・夜間を問わず常にさまざまなジョブが実行されており、ビジネスに大きな影響を与えるジョブも多数存在する。ジョブ障害発生時のビジネスへの影響を最小限にとどめるためにも、異常終了ジョブに対する迅速な対応が不可欠である。
異常終了ジョブに対する代表的な1次対応として、リソース競合などのタイミングによりジョブが異常終了した場合、オペレーションエンジニアによって数回再ランを行い正常終了させるか、または、当日はスキップ終了させて後続ジョブを実行させる対応を行うケースがある。このとき、1次対応の再ランやスキップによりジョブが正常に動作するようになれば対応完了となる。しかし、再ランやスキップでも復旧できない場合は、開発/基盤部門にエスカレーションが行われ、2次対応を行うことになる。
2次対応が必要な障害の場合に、迅速に開発/基盤部門へのエスカレーションを実施するためにも、定型化された1次対応の作業をより迅速に行うことがポイントとなっている。
解決策
異常終了ジョブを再ラン、スキップ終了する対応であれば、自動化することが可能である。ジョブの終了コードや、異常終了のメッセージをトリガーにして、異常終了したジョブに対して再ランやスキップ指示のコマンドを自動実行することで対応できる。
なお、ジョブのタイミングなどが原因の場合、再ランが数回失敗するケースが想定されるが、失敗のたびにイベントを発行するとイベント数が膨大になり、正確な状況が把握できなくなる。例えば再ランを3回失敗した場合のみイベントを発行するようにし、運用負担を減らすことがポイントである。
Senju Familyでの実践方法
Senju DevOperation Conductorでは、ジョブが異常終了した場合、異常終了したジョブを自動的に再ラン、あるいはスキップ終了することができる。再ランによってジョブが正常終了した場合は、障害イベントは出力されないので、障害イベント発行の削減につながる。最後の再ラン以外でジョブが異常終了した場合は通常イベントを発行し、最後の再ランでジョブが異常終了した場合は障害イベントを発行する。
ジョブの技 資料一式ダウンロード ツール活用術一覧へ戻る
