12.3. AIインフラストラクチャー監視(NVIDIA GPU)監視設定手順と使い方

NVIDIA GPU監視設定を行う際には、以下の設定が必要になります。

  • ライセンスの購入とライセンスキーの入手

    • GPU監視

  • Senju DevOperation Conductor Extension Packの入手と適用
    運用管理サーバーおよび、AIインフラストラクチャー監視を行う管理対象ノードに、同一バージョンの Senju DevOperation Conductor Extension Pack の適用が必要です。

    • 運用管理サーバー（千手マネージャ）への適用（監視項目の更新）

    • 管理対象ノード（千手エージェント(プローブノード)）への適用（情報取得コマンドの更新）

警告

適用可能な Senju DevOperation Conductor のバージョンやパッチ状況に制限事項があります。

  • AIインフラストラクチャー監視を利用する場合、下記パッチが適用されていることを確認して下さい。下記パッチが未適用のまま利用すると、監視タスクの状態確認、設定変更、および一時停止・再開の操作ができなくなります。

    • Senju/DC 2020 千手マネージャの場合： V2000-04 (sj_patch-mgr-2000-04)

    • Senju/DC 2021 千手マネージャの場合： V2100-02 (sj_patch-mgr-2100-02) + V2100-02 追加適用モジュール ※カスタマーサポートサイトより入手をお願いします。

    • Senju/DC 2022 千手マネージャの場合： V2200-01 (sj_patch-mgr-2200-01)

    • Senju/DC 2023 以降の千手マネージャの場合： 前提パッチはありません。

参考

Senju DevOperation Conductor Extension Packの適用手順につきましては、Senju DevOperation Conductor Extension Pack の README をご参照ください。

注釈

Senju DevOperation Conductor Extension Packの適用に際しては、千手システムの停止は不要ですが、関連する監視タスクの停止が必要です。

12.3.1. 設定

12.3.1.1. nvidia-smiのインストール

NVIDIA GPUの監視項目を利用するために、監視対象ノード(コンテナ)に事前にnvidia-smiコマンドをインストールして下さい。

参考

nvidia-smiについては、下記のWEBサイトを参照して下さい。

https://developer.nvidia.com/nvidia-system-management-interface

12.3.1.2. OpenShift環境を利用する場合の設定

OpenShift環境に対してNVIDIA GPUの監視項目を利用するためには以下の手順が必要です。

監視を行う前に設定を行って下さい。

12.3.2. 使い方

12.3.2.1. NVIDIA GPU監視機能

nvidia-smiコマンド経由で情報を取得し、Senju DevOperation Conductorのモニタリング機能を使って、監視することができます。

監視定義を千手ブラウザより登録し、監視を実施します。監視結果は、各種モニタ画面（グローバルノードモニタ／ノードモニタ）にてその監視状況を表示できます。予め設定したしきい値により障害を検知した場合は、メッセージモニタにメッセージが通知されます。（モニタリング機能については、ユーザーズガイド「 ４．モニタリング 」を参照して下さい。）

12.3.2.2. 使用上の制限事項

  • NVIDIA GPU監視項目のパラメータにスペース、メタキャラクタを含む値を指定することはできません。

  • nvidia-smiコマンドでの取得値が「N/A」の場合、千手監視での取得値は「0」となります。

  • nvidia-smiコマンドのバージョンは 550.54.15 以降である必要があります。

  • 千手センサーを利用してOpenShift環境への監視を行うことは出来ません。センサー接続用パラメータとOpenShift用パラメータの両方を指定した場合、OpenShift用パラメータが優先されます。