2.7. クラウド監視(IBM Cloud)監視設定手順と使い方¶
IBM Cloud監視設定を行う際には、以下の設定が必要になります。
- ライセンスの購入とライセンスキーの入手
IBM Cloud監視
注釈
監視対象数に応じて、カスタムセンサーのライセンスが必要です。
- Senju DevOperation Conductor Extension Packの入手と適用
- 運用管理サーバーおよび、クラウド監視を行う管理対象ノードに、同一バージョンの Senju DevOperation Conductor Extension Pack の適用が必要です
運用管理サーバー(千手マネージャ)への適用(監視項目の更新)
管理対象ノード(千手エージェント(プローブノード))への適用(情報取得コマンドの更新)
警告
適用可能な Senju DevOperation Conductor のバージョンやパッチ状況に制限がある場合があります。詳しくは、Senju DevOperation Conductor Extension Pack の README をご参照下さい。
参考
Senju DevOperation Conductor Extension Packの適用手順につきましては、Senju DevOperation Conductor Extension Pack の README をご参照下さい。
注釈
Senju DevOperation Conductor Extension Packの適用に際しては、千手システムの停止は不要ですが、関連する監視タスクの停止が必要です。
2.7.1. 設定¶
- 説明
モニタリングサブシステムを用いてIBM Cloudの監視項目を使用するための設定を行います。
- 設定手順
IBM Cloud監視を設定するには以下の手順が必要です。
IBM Cloudユーザーの登録
IBM Cloudサービスインスタンスの作成
認証設定
IBM Cloud情報設定ファイルの作成
2.7.1.1. IBM Cloudユーザーの登録¶
IBM Cloudの監視項目の利用において、事前にIBM Cloud ユーザーの登録が必要です。IBM Cloudサイトよりユーザー登録を行って下さい。
2.7.1.2. IBM Cloudサービスインスタンスの作成¶
IBM Cloudの監視を行うためにはIBM Cloud Monitoring のインスタンスが必要となります。IBM CloudサイトよりIBM Cloud Monitoring のインスタンスを作成して下さい。IBM Cloud Monitoring のインスタンスのIDを取得し、IBM Cloud情報設定ファイル(sj_ibc_sys.json)の作成 で、IBM Cloud情報設定ファイルのmoniInstanceIdの値に設定して下さい。
IBM Cloud Log Analysisのログ監視を行うためにはIBM Log Analysis with logDNAサービスのインスタンスが必要となります。IBM CloudサイトよりIBM Log Analysis with logDNAサービスのインスタンスを作成して下さい。
2.7.1.3. 認証設定¶
2.7.1.3.1. APIキーで認証する¶
IBM Cloud監視を行う場合は、IBM CloudユーザーまたはサービスIDに結び付いたAPIキーを使って認証します。IBM Cloudサイトより、IBM CloudユーザーまたはサービスIDにIBM Cloud各サービスへのアクセスを許可するアクセスポリシーを設定して下さい。IBM CloudユーザーまたはサービスIDのAPIキーを取得し、IBM Cloud情報設定ファイル(sj_ibc_sys.json)の作成 で、APIキーを暗号化した値をapiKeyの値に設定して下さい。
項目 |
設定値 |
---|---|
サービス |
IBM Cloud Monitoring with Sysdig |
アクセス権限の範囲指定 |
すべてのリソース |
プラットフォームアクセス |
未指定 |
サービス・アクセス |
リーダー |
項目 |
設定値 |
---|---|
サービス |
Billing サービス |
アクセス権限の範囲指定 |
すべてのリソース |
プラットフォームアクセス |
未指定 |
サービス・アクセス |
管理者 |
2.7.1.3.2. serviceKeyで認証する¶
IBM Cloud Log Analysisのログ監視を行う場合は、serviceKeyを使って認証します。IBM Cloudサイトより、IBM CloudユーザーにIBM Log Analysis with logDNAサービスへのアクセスを許可するアクセスポリシーを設定して下さい。IBM Log Analysis with logDNAサービスインスタンスのダッシュボードよりserviceKeyを作成し、IBM Cloud情報設定ファイル(sj_ibc_sys.json)の作成 で、serviceKeyを暗号化した値をserviceKeyの値に設定して下さい。
項目 |
設定値 |
---|---|
サービス |
IBM Log Analysis with logDNA |
アクセス権限の範囲指定 |
すべてのリソース |
プラットフォームアクセス |
未指定 |
サービス・アクセス |
リーダー |
2.7.1.4. IBM Cloud情報設定ファイル(sj_ibc_sys.json)の作成¶
sj_ibc_sys.jsonファイルは、IBM Cloudに関する監視を行うためにユーザーが設定する情報を記載する設定ファイルです。デフォルトでは「千手ホームディレクトリ/dat/opt/sj_ibc_sys.json」が使用されます。IBM Cloudの監視タスクのパラメータで認証ファイルを指定した場合は、IBM Cloudの監視タスクのパラメータで指定した認証ファイルが有効になります。
「千手ホームディレクトリ/dat/opt/sj_ibc_sys.json.sample をコピーして以下の項目を設定して下さい。
項目 |
省略 |
デフォルト |
暗号化対象 |
説明 |
---|---|---|---|---|
moniInstanceId |
不可 |
― |
× |
IBM Cloud MonitoringサービスのインスタンスID |
serviceKey |
不可 |
― |
○ |
認証用serviceKey(暗号化後のserviceKey) |
apiKey |
不可 |
― |
○ |
認証用APIキー(暗号化後のAPIキー) |
region |
不可 |
― |
× |
IBM Cloud APIエンドポイントリージョン。 |
proxyURL |
可 |
― |
× |
IBM Cloud接続時に経由するプロキシサーバー。(次の形式で記載して下さい "<プロトコル>://<ipアドレス|ホスト名>:<ポート番号>") |
proxyUsername |
可 |
― |
× |
プロキシサーバーアクセス用ユーザーID |
proxyPassword |
可 |
― |
○ |
プロキシサーバーアクセス用パスワード(暗号化後のパスワード) |
maxLogSize |
可 |
― |
× |
省略する場合はログ監視で出力するログファイルの最大サイズが10240(単位:KB)になります。 |
maxLogCnt |
可 |
― |
× |
省略する場合はログ監視で出力するログァイルのローテーション最大個数が7になります。 |
retryCount |
可 |
3 |
× |
API実行失敗時のリトライ回数 |
waitTime |
可 |
30 |
× |
API実行時のタイムアウト時間(単位:秒) |
logFormat |
可 |
― |
× |
取得したログの出力フォーマットをLTSVもしくはJSONに切り替えます。省略する場合はLTSVとなります。 |
logBufferTime |
可 |
― |
× |
省略する場合は前回取得した最後のログより遡る時間が5(単位:分)になります。 |
proxyUsernameおよびproxyPasswordの両方を指定しなかった場合、プロキシサーバーの認証に利用しません。
一回以上ログを取得している状態でlogBufferTimeを現在よりも大きい値に変更した場合、変更後の1回目の実行で過去に取得したログを重複して取得する場合があります。ご注意ください。
- sj_ibc_sys.json の記載例
{ "moniInstanceId": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx", "apiKey": "=AfEz45kfzMeZ8Zi0xKUmacRamLTEpSZpxFqYtMSlJmnEWpi0xKUmacRamLTEpXzHMg==", "region":"jp-tok", "serviceKey": "=AT+JNez5dr8zP/zf7FN2KXaU2bQOSQt9Ul4JFV77euonHp8/mg==", "proxyURL": "http://10.1.0.9:8080", "proxyUsername": "ibcuser", "proxyPassword": "=Abt4+Mf0wO53Fw==", "maxLogSize": "", "maxLogCnt": "", "retryCount": "3", "waitTime": "30", "logFormat": "", "logBufferTime": "" }
2.7.1.4.1. sj_setup_ibc - IBM Cloud情報設定ファイル更新 -¶
- 指定形式
- [参照]
sj_setup_ibc
- [作成&更新]
sj_setup_ibc
[-miid[Instance ID of the IBM Cloud Monitoring service]]
[-sk[ServiceKey for authentication (encrypted serviceKey)]]
[-ak[API key for authentication (API key after encryption)]]
[-region[IBM Cloud API endpoint region]]
[-purl[A proxy server that goes through when connecting to IBM Cloud. (Enter in the following format <protocol>: // <ip address | host name>: <port number>)]]
[-puser[User ID for proxy server access]]
[-ppswd[Password for proxy server access]]
[-mls[If omitted, the maximum size of the log file output by log monitoring is 10240 (unit: KB).]]
[-mlc[If omitted, the maximum number of log file rotations output by log monitoring will be 7.]]
[-rc[number of retries when API call fails]]
[-wt[wait time(seconds) when no response is returned]]
[-lf[format of log file output by log monitoring]]
[-lbt[bufferTime of log file output by log monitoring]]
- 目的
IBM Cloud情報設定ファイル(/dat/opt/sj_ibc_sys.json) の現在値の参照、作成と更新を行います。
- オプション
- -miid
- IBM CloudモニタリングサービスのインスタンスID(moniInstanceId)に設定する値を指定して下さい。値を省略するとIBM Cloud情報設定ファイルに設定されている値を削除します。
- -sk
- 認証用のサービスキー(serviceKey)に設定する値を指定して下さい。設定値の指定は対話形式で行われます。この項目は暗号化した値がIBM Cloud情報設定ファイルに書き込まれます。
- -ak
- 認証用のAPIキー(apiKey)に設定する値を指定して下さい。設定値の指定は対話形式で行われます。この項目は暗号化した値がIBM Cloud情報設定ファイルに書き込まれます。
- -region
- IBM Cloud APIエンドポイントリージョン(region)に設定する値を指定して下さい。値を省略するとIBM Cloud情報設定ファイルに設定されている値を削除します。
- -purl
- IBM Cloud接続時に経由するプロキシサーバー(proxyURL)に設定する値を指定して下さい。値を省略するとIBM Cloud情報設定ファイルに設定されている値を削除します。
- -puser
- プロキシサーバーのユーザ(proxyUsername)に設定する値を指定して下さい。値を省略するとIBM Cloud情報設定ファイルに設定されている値を削除します。
- -ppswd
- プロキシサーバーのパスワード(proxyPassword)に設定する値を指定して下さい。設定値の指定は対話形式で行われます。この項目は暗号化した値がIBM Cloud情報設定ファイルに書き込まれます。
- -mls
- ログ監視によって出力されるログファイルの最大サイズ(maxLogSize)に設定する値を指定して下さい。値を省略するとIBM Cloud情報設定ファイルに設定されている値を削除します。
- -mlc
- ログ監視によって出力されるログファイルのローテーション最大個数(maxLogCnt)に設定する値を指定して下さい。値を省略するとIBM Cloud情報設定ファイルに設定されている値を削除します。
- -rc
- API実行失敗時のリトライ回数(retryCount)に設定する値を指定して下さい。値を省略するとIBM Cloud情報設定ファイルに設定されている値を削除します。
- -wt
- API実行時のタイムアウト時間(waitTime)に設定する値を指定して下さい。値を省略するとIBM Cloud情報設定ファイルに設定されている値を削除します。
- -lf
- ログ監視によって出力されるログフォーマット(logFormat)に設定する値を指定して下さい。値を省略するとIBM Cloud情報設定ファイルに設定されている値を削除します。
- -lbt
- 最後に取得したログより遡る時間(logBufferTime)を指定して下さい。値を省略するとIBM Cloud情報設定ファイルに設定されている値を削除します。
- 実行結果
- (例1)現在の設定値参照
% sj_setup_ibc { "moniInstanceId": "XXXXX", "serviceKey": "**********", "apiKey": "", "region": "ABCD", "proxyURL": "", "proxyUsername": "", "proxyPassword": "", "maxLogSize": "", "maxLogCnt": "" "retryCount": "", "waitTime": "", "logFormat": "", "logBufferTime": "" } %
- (例2)moniInstanceIdとserviceKey、regionを設定
% sj_setup_ibc -miidXXXXX-XXXXX -regionXXXX-XXXX -sk Please enter the value. "serviceKey": The value of moniInstanceId has changed from (XXXXX) to (XXXXX-XXXXX). The value of region has changed from (ABCD) to (XXXX-XXXX). The value of serviceKey has changed from (**********) to (**********). The update is complete. % sj_setup_ibc { "moniInstanceId": "XXXXX-XXXXX", "serviceKey": "**********", "apiKey": "", "region": "XXXX-XXXX", "proxyURL": "", "proxyUsername": "", "proxyPassword": "", "maxLogSize": "", "maxLogCnt": "" "retryCount": "", "waitTime": "", "logFormat": "", "logBufferTime": "" } %
- (例3)設定を削除
% sj_setup_ibc -miid -region -sk Please enter the value. "serviceKey": The value of moniInstanceId has changed from (XXXXX-XXXXX) to (). The value of region has changed from (XXXX-XXXX) to (). The value of serviceKey has changed from (**********) to (**********). The update is complete. % sj_setup_ibc { "moniInstanceId": "", "serviceKey": "", "apiKey": "", "region": "", "proxyURL": "", "proxyUsername": "", "proxyPassword": "", "maxLogSize": "", "maxLogCnt": "" "retryCount": "", "waitTime": "", "logFormat": "", "logBufferTime": "" } %
注釈
暗号化対象項目の標準出力への表示は全てアスタリスクでマスクされます。
暗号化対象項目の値の設定は、キーボードからの入力が一切表示されません。コピー&ペーストで入力することをお勧めします。
暗号化対象項目の値を削除する場合、何も入力せずにリターンキーを押下して下さい。
- 標準エラー出力
Failed to acquire Senju home directory
The IBC System information file does not exist.
Invalid data have been set in this file.
Failed to update the IBC System information file.
File update failed.
- 終了ステータス
0 : 正常終了
1 : 異常終了
2.7.1.4.2. IBM Cloud情報設定ファイル更新コマンドの登録¶
IBM Cloud情報設定ファイルの現在値の参照、作成と更新を行うため、IBM情報設定ファイル更新コマンドを千手ブラウザからユーザーコマンドに登録します。詳細な手順については、ユーザーズガイド 「2.3.2.1 ユーザーコマンド」 を参照して下さい。
- ユーザーコマンドグループの作成
IBM Cloud情報設定ファイル更新コマンドを登録するユーザーコマンドグループを千手ブラウザから登録して下さい。
- IBM Cloud情報設定ファイル更新コマンドの登録
作成したユーザーコマンドグループに、以下に示す起動シーケンスを指定してコマンドを登録して下さい。
現在値の参照
sj_remshe "@ノード名@" -l "@ユーザ名@" sj_setup_ibc
作成と更新
sj_remshe "@ノード名@" -l "@ユーザ名@" sj_setup_ibc "-miid@@IBM CloudモニタリングサービスのインスタンスID@@" "-sk@@認証用のサービスキー@@" "-ak@@認証用のAPIキー@@" "-region@@IBM Cloud APIエンドポイントリージョン@@" "-purl@@IBM Cloud接続時に経由するプロキシサーバー@@" "-puser@@プロキシサーバーのユーザ名@@" "-ppswd@@プロキシサーバーのパスワード@@" "-mls@@ログファイルの最大サイズ@@" "-mlc@@ログファイルのローテーション最大個数@@" "-rc@@API実行失敗時のリトライ回数@@" "-wt@@API実行時のタイムアウト時間@@" "-lf@@ログフォーマット@@" "-lbt@@最後に取得したログより遡る時間@@"
注釈
上記の起動シーケンスは項目を全て変更する仕様となっています。項目別に変更を行いたい場合は、起動シーケンスから任意の「-オプション@@パラメータ名@@」を指定したユーザーコマンドを別途登録して下さい。
(例)sj_remshe "@ノード名@" -l "@ユーザ名@" sj_setup_ibc "-miid@@IBM CloudモニタリングサービスのインスタンスID@@"
2.7.2. 使い方¶
IBM Cloud Monitoringに接続し、Senju DevOperation Conductorのモニタリング機能を使って、監視することができます。
監視定義を千手ブラウザより登録し、監視を実施します。監視結果は、各種モニタ画面(グローバルノードモニタ/ノードモニタ)にてその監視状況を表示できます。予め設定したしきい値により障害を検知した場合は、メッセージモニタにメッセージが通知されます。
(モニタリング機能については、ユーザーズガイド「 4.モニタリング 」を参照して下さい。)
注釈
メトリクス監視項目の監視間隔は1分、10分、60分、1440分(1日)のみ指定可能です。
参考
各種パラメータの設定値が分からない場合は、IBM Cloudより提供されているIBM Cloud Monitoring Web UI にて確認して下さい。
2.7.2.1. IBM Cloud Log Analysis連携機能¶
監視項目「IBM Cloud:Log Analysis ログ情報取得」ではIBM Cloud Log Analysisから取得したログをログファイルに蓄積します。このログファイルを監視することでアラートの検知をすることが可能です。
2.7.2.1.1. IBM Cloud Log Analysis連携機能の制限事項¶
IBM Cloud Log Analysisの料金プランにより、最大取得期間が制限されます。例えば「7日間のログ検索」プランの場合、現在日時が10月25日 UTC の場合、2021-10-18T00:00:00Z 以降のログが保存されています。
料金プランの参考URL:https://cloud.ibm.com/catalog/services/logdna
2.7.2.1.2. ログファイル¶
監視項目「IBM Cloud:Log Analysis ログ情報取得」で取得したログファイルは、パラメータで指定したファイル(絶対パス)に出力されます。ただし、ファイル名に使用できない記号は「-」(半角ハイフン)に置き換えます。
ログファイルが重複しないように設定する必要があります。
ログメッセージに含まれる改行、タブ、「\」記号は、”\t”⇒”\\t” “\n”⇒ “\\n”, “\”⇒ “\\”に置換されログファイルに出力されます。
出力されるログファイルの文字コードは UTF-8 になります。テキストログ監視の設定で監視対象ログの「文字コードを指定する」を UTF-8 に指定して下さい。
2.7.2.1.3. ログフォーマット¶
以下にIBM Cloud Log Analysisログ情報取得で取得したログファイルのレコード形式について説明します。レコードは LTSV形式で、項目間はタブ区切りとなります。
【IBM Cloud Log Analysisログファイル レコード形式】
ログフォーマットがLTSVの場合:
タイムスタンプ タグ ホスト アプリケーション 重大度 ログメッセージ
¶ No.
項目
説明
1
Timestamp
「Timestamp:」に続き、取得したログエントリが出力されたタイムスタンプ(UTC)が入ります。フォーマット:YYYY-MM-DDThh:mm:ddZ
(例:2021-04-14T07:09:06Z)。2
Tag
「Tag:」に続き、取得したタグ名が入ります。
3
Host
「Host:」に続き、取得したホスト名が入ります。
4
App
「App:」に続き、取得したアプリケーション名が入ります。
5
Level
「Level:」に続き、取得したレベルが入ります。
6
LogMessage
「LogMessage:」に続き、取得したログ情報が入ります。ログ情報はJSONの形式で出力されます。
ログフォーマットがJSONの場合:
ログメッセージ
¶ No.
項目
説明
1
LogMessage
取得したログ情報が入ります。ログ情報はJSONの形式で出力されます。
2.7.2.1.4. テキストログ監視の設定方法¶
以下にSenju DevOperation Conductorのテキストログ監視を利用して、IBM Cloud Log Analysisログ情報取得で取得したログメッセージを監視する運用例を示します。この例では、ログメッセージにキーワードが発生時にメッセージモニタに通知されるようにログフィルタを登録し、監視する場合について説明します。
警告
管理対象ノードにおいて千手が起動していない状態で、[反映(監視属性)]を行うと失敗しますので、注意して下さい。
2.7.2.2. 汎用メトリクス監視機能¶
監視項目「IBM Cloud:メトリクス監視」では IBM Cloud Monitoring から任意のメトリクスの値を取得し、監視することができます。
注釈
Senju DevOperation Conductor Extension Packリリース時点でIBM Cloudドキュメントに記載されているメトリクスが「リソースタイプ:メトリクス」から選択可能です。
2.7.2.2.1. 汎用メトリクス監視の設定方法¶
以下に汎用メトリクス監視の監視定義を千手ブラウザより登録する手順を記載します。例として仮想マシンのインスタンス起動以降の累積受信バイト数を10分間隔で監視します。
監視項目「IBM Cloud:メトリクス監視」の設定項目を以下に示します。
項目名 |
設定内容 |
---|---|
リソースタイプ:メトリクス |
IBM Cloud Monitoring から監視するメトリクスを【サービス:メトリック】の形式で指定して下さい。候補一覧から選択することも、入力することも可能です。サービスは任意の文字列で結構です。 |
計算式 |
計算に使用する式です。「計算式の変数Aの値」で指定したプロパティの値を計算し監視結果の値として扱います。「A0」や「A1」など、変数名「A」の後ろの数字は、「0」は前回取得した値を表し、「1」は今回取得した値を表します。 |
計算式の変数Aの値 |
|
計算結果の型 |
|
単位 |
ノードモニタに表示される単位です。 |
計算結果の比較方法 |
|
注釈
「計算式の変数Aの値」で指定した統計に合わせて「統計」パラメータの値を指定して下さい。「統計」パラメータは全て小文字、Average、Maximum、Minimum は3文字の短縮形となります。