アラート8万件を自動切分け、
運用業務を月300時間削減

「CTCグループ」で企業のITシステム運用を手がけるCTCシステムマネジメント(CTCS)。RPAや自動化ツールを用い、インフラ自動化や運用自動化を設計から運用までワンストップで提供する同社は、監視対象のシステムから発せられる膨大なアラートの切り分けと、その後の対応品質向上のための運用自動化が急務だった。そこで、アラートを一元管理する仕組みを検討することとなった。

• これまでの課題
• 導入効果
• 今後の展望

これまでの課題

一日のアラートは約8万件、一元管理するツールが必要だった

企業のITライフサイクルをトータルに支えるCTCグループにあって、ITシステム運用の専門事業者として30年以上にわたる実績とノウハウをもつCTCS。その中でも運用サービス部は、運用監視ソフトウェアの構築や、多種多様な企業のITシステムに対し、24時間365日体制で安定運用を提供している。サービス開発本部運用サービス部部長代行の伊藤千博氏は、同社の強みを「システムにあわせた運用管理の仕組み構築から実際の運用までをワンストップで行える点」と説明する。
同部では、さまざまな企業のシステムをリモートから監視、運用している。ITシステム運用管理の仕組みの構築を担当する同部第1課の古田公彦氏は、「顧客の約70システムをリモートで運用している」と述べる。
リモート運用では、各システムの監視システムから、インシデントの兆候を示すアラートが通知される。オペレーターが、その内容を切り分け、利用者へエスカレーションしたり、ログを取得したりといった作業を行う。
運用を担当する同部第4課の高谷真氏によると、「70システムといってもサーバーは1台ではないので、アラートの数は月に約8万件にのぼる」ということだ。しかも対応が不要なものもあり、「対応が必要かどうか」を切り分ける一次対応が非常に高い負荷となっていた。
伊藤氏は「お客さま対応は、標準化されたメニューに沿って運用するケースは少なく、個別対応するケースが多いことも、一次対応を複雑にしている一因」だと説明する。
「たとえば、何らかのインシデント検知から15分以内に通知して欲しいというお客さまもいれば、1時間以内、あるいは、ベストエフォートで構わないなど、システムによって個別に重要度・緊急度は異なります。そのあたりは柔軟に対応しているのが現状です」(伊藤氏)
サービスの品質を高めるためには、システムごとに個別のルールに対応しつつ、監視を効率化していく必要があった。
監視対象のシステムから発せられるアラートを一元管理し、フィルタリングする。これにより、「内容に応じた必要な対応を切り分ける作業」を自動化する仕組みが必要だったのだ。

導入効果

「お客さまのシステムに何の変更も加えない」導入の容易さが決め手に

検討当初は、RPA(Robotic Process Automation)を導入し、アラートのフィルタリングから一次切り分け、それ以降の対応の自動化を担わせることを考えた。
しかし、伊藤氏によれば「アラートの数が多い上に対応不要なものが相当数あり、そのままRPAに担わせることが難しい」ことが徐々に明らかになってきた。そこで、RPA導入とは別に、アラートの一次切り分けに特化した統合管理ツールの導入を並行して検討することにした。
統合管理ツール選定について、システム構築を担当した古田氏は次のように述べる。
「統合管理ツールの選定は2017年5月頃から開始しました。複数のツールを比較検討する中で、アラートのフィルタリング機能やカスタマイズ性などの要件に最もマッチしたのがNRIの『Senju/EN』でした」(古田氏)
NRIの統合運用管理基盤「Senju/EN」(SenjuEnterpriseNavigator)は、複数のシステム運用管理ツール群を束ねて統合管理を実現する。
伊藤氏は「アラートを一元的に取り込める監視ツールはあまりなく、さらに、『Senju/EN』は、既存のお客さまのシステムに何の変更も伴わずに導入できる点が大きかった」と決め手について述べる。
導入に際して、監視対象のユーザー企業のシステムに何か手間が発生することはなく、プライベートクラウドやパブリッククラウドなども含めた、あらゆる環境に対応していける拡張性も魅力的だった。
「Senju/EN」の導入は、2017年7月頃から開始。優先順位をつけて段階的に導入し、「初期導入は、70システムのうち特に運用負荷の高い大規模システム2つから着手した」と古田氏は振り返る。

月300時間相当のオペレーターの生産性向上を実現

「Senju/EN」によってアラートの一次切り分けを自動化した結果、導入後は、「約7割のアラートへの対応が不要になった」と高谷氏は話す。
そして、対応が必要な残り3割のアラートについては、インシデント管理システムへ自動登録(起票)している。その結果、一次切り分けの手間が省かれただけでなく、それまでオペレーターが手作業で行っていたインシデント管理システムへの登録の手間も省かれた。
さらに、「Senju/EN」での一次切り分けとインシデントツールへの自動登録の一連のプロセスで、どのシステムに障害があったのか、画面で確認できるだけでなく、オペレーターに音声で通知するようにした。
「これまでは、アラートメールの中でどのシステムへの対応が必要かを目視確認していました。導入後は、音声を聞いて対応することができるようになったので、不要な作業がなくなっただけでなく、ヒューマンエラーのリスクを低減する点でもメリットがありました」(高谷氏)
オペレーター向けの機能としては、このほかにもインシデント管理システムに登録された状況が、大画面モニターにダッシュボード画面として表示されている。新規のインシデントが何件あり、対応の状況がどうなっているか、可視化できるため、視覚的にもオペレーターの作業省力化や対応漏れの防止に寄与している。
伊藤氏は、最も効果があったポイントとして「シフト引き継ぎ」を挙げる。2交代制のオペレーターの引き継ぎの際は、これまでは各自のメール受信箱を過去に遡って目視確認することで対応状況を確認していた。
「Senju/EN」導入により一次切り分けとインシデント登録までが自動化され、こうした作業が不要となった。
「一人のオペレーターの引き継ぎに約1時間要していたので、9人のオペレーターで月270時間の削減効果があったことになります。一次切り分けの自動化部分を含め、我々は月300時間相当の生産性向上の効果が得られたと試算しています。その分、さらなる自動化による運用の改善や、対応品質の向上に注力できる体制が整いました」(伊藤氏)

今後の展望

NRIとともにさらに品質の高い運用サービスを提供していく

現在、「Senju/EN」によるアラートの一次切り分けの導入は、リモート運用の監視対象である全70システムで完了している。今後はさらなる自動化を進め、「リモート運用のシステムも増やしていきたい」と伊藤氏は述べる。
「当社の強みは運用のアウトソースだけでなく、NRIのテクニカルパートナーとして、運用管理ツールの導入支援も行える点。RPAやOSSなどの技術といった当社の強み、そしてNRIのシナジーを生かしながら、お客さまにさらに品質の高い運用サービスを提供するとともに、SenjuFamily製品を活用して、お客さまの運用基盤構築支援も推進していきたいです」(伊藤氏)
「Senju/EN」をはじめ、システム運用管理基盤として豊富な実績とノウハウを有する「SenjuFamily」が、今後もCTCSの運用効率化を強力にサポートしていくに違いない。

事例資料を見る

CTCシステムマネジメント株式会社
事例資料ダウンロード