3.5. Job Scheduler for Cloud(Google Cloud)の使い方¶

3.5.1. Job Scheduler for Cloud(Google Cloud Functions)の使い方¶

3.5.1.1. Job Scheduler for Cloud(Google Cloud Functions)の機能¶

Job Scheduler for Cloud(Google Cloud Functions)とは、Senju/DCのジョブスケジュール機能と連携し、Google Cloud Functionsを実行する機能です。

3.5.1.2. Google Cloud連携機能の設定¶

説明
ジョブスケジュールサブシステムを用いてGoogle Cloud Functions連携機能を使用するための設定を行います。
設定手順
Google Cloud Functions連携機能を設定するには以下の手順が必要です。
- Google Cloudアカウントの登録
- 認証設定
- Google Cloud情報設定ファイルの作成

3.5.1.2.1. Google Cloudアカウントの登録¶

Google Cloud Functions連携機能の利用において、事前にGoogle Cloud サービスアカウントの登録が必要です。Google Cloudサイトよりアカウント登録を行って下さい。

3.5.1.2.1.1. ロールの作成¶

Google Cloud Functions連携機能を使用するため、 「Google Cloud Functions連携機能に必要なアクセス権限」 に示すアクセス権限を付与したロールを作成して下さい。

表 3.24 Google Cloud Functions連携機能に必要なアクセス権限¶
ジョブ	必要なアクセス権
Google Cloud Functions連携ジョブ	cloudfunctions.functions.call

3.5.1.2.1.2. サービスアカウントの作成¶

Google Cloud Functions連携機能を使用するためにはサービスアカウントによる認証が必要となります。Google Cloudサイトよりサービスアカウントの作成を行って下さい。サービスアカウントの作成時に、ロールの作成で作成したロールを割り当てて下さい。

3.5.1.2.2. 認証設定¶

3.5.1.2.2.1. Compute Engineにサービスアカウントを設定し認証する¶

Google Cloud内のエージェントからGoogle Cloud Functions連携機能を実行する場合は、エージェントとなるCompute Engineにサービスアカウントを割り当てて認証します。Google CloudサイトよりCompute Engineのインスタンスにサービスアカウントを関連付けて下さい。また、Google Cloud情報設定ファイル(sj_gcp_sys.json)の作成でGoogle Cloud情報設定ファイルにプロジェクトIDを設定して下さい。

3.5.1.2.2.2. APIキーで認証する¶

Google Cloud外のエージェントからGoogle Cloud Functions連携機能を実行する場合は、エージェントからサービスアカウントで作成したAPIキーの認証ファイルを利用して認証します。Google CloudサイトよりサービスアカウントからAPIキーを作成し、APIキー認証ファイルをダウンロードして下さい。ダウンロードしたAPIキー認証ファイルをエージェントの千手稼働アカウントでアクセスできる位置に配置し、Google Cloud情報設定ファイル(sj_gcp_sys.json)の作成でGoogle Cloud情報設定ファイルにAPIキー認証ファイルのパスを設定して下さい。

3.5.1.2.3. Google Cloud情報設定ファイル(sj_gcp_sys.json)の作成¶

sj_gcp_sys.jsonファイルは、Google Cloudに関する情報の設定ファイルです。sj_gcp_sys.jsonとGoogle Cloud Functions連携ジョブのパラメータの両方でAPIキー認証ファイルを指定した場合は、Google Cloud Functions連携ジョブのパラメータで指定した値が有効になります。

設定方法については、Cloud Monitoring の sj_setup_gcp － Google Cloud情報設定ファイル更新－ を参照して下さい。

Google Cloud情報設定ファイル(dat/opt/sj_gcp_sys.json)を作成し、以下の項目を設定して下さい。

表 3.25 sj_gcp_sys.jsonの記述内容¶
項目	省略	デフォルト	暗号化対象	説明
proxyURL	可	―	×	Google Cloud接続時に経由するプロキシサーバー。（次の形式で記載して下さい "<プロトコル>://<ipアドレス\|ホスト名>:<ポート番号>"）
proxyUsername	可	―	×	プロキシサーバーアクセス用ユーザーID
proxyPassword	可	―	○	プロキシサーバーアクセス用パスワード(暗号化後のパスワード)
project_id	可	―	×	Compute Engineにサービスアカウントを割り当てた場合の認証用プロジェクトID
accountFilePath	可	―	×	サービスアカウントのAPIキー認証ファイルの絶対パス

project_idはCompute Engineにサービスアカウントを割り当てた場合に指定して下さい。
accountFilePathは、APIキーによる認証を行う場合に指定して下さい。
proxyUsernameおよびproxyPasswordの両方を指定しなかった場合、プロキシサーバーの認証に利用しません。

3.5.1.3. Google Cloud Functions連携ジョブの利用方法¶

Google Cloud Functions連携ジョブは、Google Cloud Consoleなどによって作成したGoogle Cloud Functionsを実行します。

Google Cloud Functions連携ジョブが起動されると、引数に指定された内容でGoogle Cloud Functionsを実行し、実行結果を標準出力に出力します。

Google Cloud Functions連携ジョブを起動する際に指定する引数には、以下に示す内容を指定して下さい。

sjPEX_CloudFunctions -m GF
        -gfnm Google Cloudファンクション名
        -gfr Google Cloudリージョン
        -gfdf ファンクションパラメータ（JSONファイル名）
        -gaf Google Cloudの認証ファイル

オプション	省略	デフォルト	長さ	説明
-gfnm	不可	―	―	Google Cloudファンクション名
-gfr	不可	―	―	Google Cloudリージョン
-gfdf	可	―	―	ファンクションパラメータ（JSONファイル名）
-gaf	可	―	―	Google CloudのAPIキー認証ファイル

Senju/DCジョブの起動コマンドの最大文字数は2048文字です。
Google Cloudファンクション名およびGoogle Cloudリージョンは、Google Cloudサイトで確認して下さい。

3.5.1.3.1. Google Cloud Functions連携ジョブテンプレートの使い方¶

ジョブテンプレートとは、ジョブの起動コマンドシーケンスのみを持ち、パラメータ値が未決定であるエンティティです。ジョブテンプレートを用いることにより、ジョブの登録のたびにコマンドシーケンスを入力しなくても、必要なパラメータ値を入力するだけでジョブの作成が行えます。 Job Scheduler for CloudをSenju/DCのジョブスケジュール機能と連携するために、Job Scheduler for Cloudジョブを、Senju/DCのジョブの起動コマンドとして設定します。

Google Cloud Functions連携ジョブテンプレートを使用し、ジョブの起動コマンドとして利用するには、千手ブラウザのツリービューで、＜ドメイン＞→“ジョブスケジュール”→“ジョブ”を選択し、ジョブの新規作成を行います。

ジョブの新規作成プロパティウィンドで[ジョブテンプレートを使用]チェックボックスをチェックし、[ジョブテンプレート入力]ボタンを押して下さい。

ジョブテンプレート入力ウィンドでGoogle Cloud Functions連携ジョブテンプレートを選択し、各パラメータ値を設定して下さい。

図 3.30 Google Cloud Functions連携ジョブテンプレートの使用¶

図 3.31 Google Cloud Functions連携ジョブテンプレートの入力¶

表 3.26 Google Cloud Functions連携ジョブテンプレートの入力¶
パラメータ	説明
GCPファンクション名	Google Cloud Functionsの名前を指定します。省略不可です。
GCPリージョン	Google Cloud Functionsが存在するリージョンを指定します。省略不可です。
ファンクションパラメータ（JSONファイル名）	Google Cloud Functionsへ渡す引数が記載されたJSONファイルを絶対パスで指定します。必要ない場合は省略可能です。
GCPの認証ファイル	Google CloudのAPIキー認証ファイルを絶対パスで指定します。sj_gcp_sys.json で指定した場合、またはCompute Engineにサービスアカウントを設定し認証する場合は省略可能です。指定した場合はパラメータで指定した内容が優先されます。

3.5.1.3.2. Google Cloud Functions連携ジョブの処理の流れ(通常時)¶

Google Cloud Functions連携ジョブがSenju/DCのジョブスケジュールで1つのジョブとして起動されると、 「図 5-3　 Google Cloud Functions連携ジョブの処理の流れ」 および 「TABLE 5-5　 Google Cloud Functions連携ジョブの処理の流れ」 に示す流れで動きます。

図 3.32 Google Cloud Functions連携ジョブの処理の流れ¶

表 3.27 Google Cloud Functions連携ジョブの処理の流れ¶
Senju/DC ジョブの状態	Google Cloud Functions実行ジョブの処理内容	メッセージモニタの出力
起動待ち	起動前の状態
稼働中	起動
稼働中	引数に従い、Google Cloud Functions上の関数実行
正常終了	Google Cloud Functions実行に成功	!PEXC17 Google Cloud Functionsの関数実行に成功しました。
異常終了	Google Cloud Functions実行に失敗	!PEXC18 Google Cloud Functionsの関数実行に失敗しました。

Google Cloud Functions連携ジョブが起動されると、引数に指定された内容でGoogle Cloud Functionsを実行します。
Google Cloud Functionsを実行します。
Google Cloud Functionsが正しく実行されると、成功した旨のメッセージを出力し、Senju/DCジョブは正常終了します。
Google Cloud Functionsが何らかの理由で正しく実行されないと、失敗した旨のメッセージを出力し、Senju/DCジョブは異常終了します。

3.5.1.3.3. Google Cloud Functions連携ジョブの処理の流れ（強制停止時）¶

Google Cloud Functions連携ジョブは、他のSenju/DCのジョブと同じく強制停止させることができます。

Senju/DCのジョブスケジュールより、Google Cloud Functions連携ジョブを強制停止しても、関数実行中のGoogle Cloud Functionsは実行されたままとなります。

Senju/DCのジョブスケジュールでは、強制停止されたジョブの状態は異常終了となります。

3.5.2. Job Scheduler for Cloud(Google Cloud Composer)の使い方¶

3.5.2.1. Job Scheduler for Cloud(Google Cloud Composer)の機能¶

Job Scheduler for Cloud(Google Cloud Composer)とは、ユーザコマンド機能と連携し、Google Cloud ComposerのDAGに対し各種操作を行う機能です。

3.5.2.2. Google Cloud Composer連携機能の設定¶

説明
Google Cloud Composer連携機能を使用するための設定を行います。
設定手順
Google Cloud Composer連携機能を設定するには以下の手順が必要です。
- Google Cloudアカウントの登録
- 認証設定
- Google Cloud情報設定ファイルの作成
- Google Cloud Composer APIの設定
- Google Cloud SDK、Python、Kubectlのインストール

3.5.2.2.1. Google Cloudアカウントの登録¶

Google Cloud Composer連携機能の利用において、事前にGoogle Cloud サービスアカウントの登録が必要です。Google Cloudサイトよりアカウント登録を行って下さい。

3.5.2.2.1.1. ロールの作成¶

Google Cloud Composer連携機能を使用するため、 「Google Cloud Composer連携機能に必要なアクセス権限」 に示すアクセス権限を付与したロールを作成して下さい。

表 3.28 Google Cloud Composer連携機能に必要なアクセス権限¶
コマンド	必要なアクセス権
Google Cloud Composer	storage.objects.* composer.environments.get container.clusters.get container.clusters.list container.clusters.getCredentials container.namespaces.list container.namespaces.get container.pods.list container.pods.get container.pods.exec

3.5.2.2.1.2. サービスアカウントの作成¶

Google Cloud Composer連携機能を使用するためにはサービスアカウントによる認証が必要となります。Google Cloudサイトよりサービスアカウントの作成を行って下さい。サービスアカウントの作成時に、ロールの作成で作成したロールを割り当てて下さい。

3.5.2.2.2. 認証設定¶

3.5.2.2.2.1. Compute Engineにサービスアカウントを設定し認証する¶

Google Cloud内のエージェントからGoogle Cloud Composer連携機能を実行する場合は、エージェントとなるCompute Engineにサービスアカウントを割り当てて認証します。Google CloudサイトよりCompute Engineのインスタンスにサービスアカウントを関連付けて下さい。また、Google Cloud情報設定ファイル(sj_gcp_sys.json)の作成でGoogle Cloud情報設定ファイルにプロジェクトIDを設定して下さい。

3.5.2.2.2.2. APIキーで認証する¶

Google Cloud外のエージェントからGoogle Cloud Composer連携機能を実行する場合は、エージェントからサービスアカウントで作成したAPIキーの認証ファイルを利用して認証します。Google CloudサイトよりサービスアカウントからAPIキーを作成し、APIキー認証ファイルをダウンロードして下さい。ダウンロードしたAPIキー認証ファイルをエージェントの千手稼働アカウントでアクセスできる位置に配置し、Google Cloud情報設定ファイル(sj_gcp_sys.json)の作成でGoogle Cloud情報設定ファイルにAPIキー認証ファイルのパスを設定して下さい。

3.5.2.2.3. Google Cloud情報設定ファイル(sj_gcp_sys.json)の作成¶

sj_gcp_sys.jsonファイルは、Google Cloudに関する情報の設定ファイルです。sj_gcp_sys.jsonとGoogle Cloud Composer連携コマンドのパラメータの両方でAPIキー認証ファイルを指定した場合は、Google Cloud Composer連携コマンドのパラメータで指定した値が有効になります。

設定方法については、Cloud Monitoring の sj_setup_gcp － Google Cloud情報設定ファイル更新－ を参照して下さい。

Google Cloud情報設定ファイル(dat/opt/sj_gcp_sys.json)を作成し、以下の項目を設定して下さい。

表 3.29 sj_gcp_sys.jsonの記述内容¶
項目	省略	デフォルト	暗号化対象	説明
proxyURL	可	―	×	Google Cloud接続時に経由するプロキシサーバー。（次の形式で記載して下さい "<プロトコル>://<ipアドレス\|ホスト名>:<ポート番号>"）
proxyUsername	可	―	×	プロキシサーバーアクセス用ユーザーID
proxyPassword	可	―	○	プロキシサーバーアクセス用パスワード(暗号化後のパスワード)
project_id	可	―	×	Compute Engineにサービスアカウントを割り当てた場合の認証用プロジェクトID
accountFilePath	可	―	×	サービスアカウントのAPIキー認証ファイルの絶対パス

project_idはCompute Engineにサービスアカウントを割り当てた場合に指定して下さい。
accountFilePathは、APIキーによる認証を行う場合に指定して下さい。
proxyUsernameおよびproxyPasswordの両方を指定しなかった場合、プロキシサーバーの認証に利用しません。

3.5.2.2.4. Google Cloud Composer APIの設定¶

Google Cloud Composer連携機能の利用において、事前にGoogle Cloud Composer APIを有効にします。

設定方法については、https://cloud.google.com/composer/docs/composer-2/access-airflow-api?hl=ja をご覧ください。

3.5.2.2.5. Google Cloud SDK、Python、Kubectlのインストール¶

Google Cloud SDKをインストールします。

※手順については、https://cloud.google.com/sdk/docs/install をご覧ください。
Google Cloud SDKをインストール時にバンドされているPython もインストールします。

単独でインストールする場合、下記コマンドを利用できます。

※インストール用のコマンド：

gcloud components install app-engine-python (sudo yum install google-cloud-cli-app-engine-python)
Google Cloud SDKからkubectlをインストールします。

※インストール用のコマンド：

gcloud components install kubectl (sudo yum install kubectl)

$SENJUHOME/dat/opt/sjusershrcの変更

※モジュール適用対象ノードにGoogle Cloud SDKがインストール済みだった場合、以下の手順は不要です。

インストールした際に追加された$SENJUHOME/.bashrcの内容を、$SENJUHOME/dat/opt/sjusershrcに追加します。

(記載例)
# The next line updates PATH for the Google Cloud SDK.
if [ -f '/home/senju/google-cloud-sdk/path.bash.inc' ]; then . '/home/senju/google-cloud-sdk/path.bash.inc'; fi
# The next line enables shell command completion for gcloud.
if [ -f '/home/senju/google-cloud-sdk/completion.bash.inc' ]; then . '/home/senju/google-cloud-sdk/completion.bash.inc'; fi

3.5.2.3. Google Cloud Composer連携コマンドの利用方法¶

Google Cloud Composer連携コマンドは、ユーザーが自由にユーザコマンドを登録することができます。

ユーザコマンドからGoogle Cloud ComposerのDAGに対し各種操作を行います。

注釈

起動シーケンスにコマンド「remsh」を記載していますが、Windowsの場合、sj_remshe.exeに変更して下さい。
起動シーケンスに[\”]を記載していますが、Windowsの場合、[\\\”]変更して下さい。

3.5.2.3.1. タスクのクリア・起動¶

タスクのクリア・起動コマンドの登録

起動シーケンス：

remsh "@ノード名@" -l "@ユーザ名@" sjPEX_GCPCloudComposer -m ctk -pj \"@projectId@\" -env \"@environment@\" -loc \"@location@\" -did \"@DAGID@\" -tr \"@@taskRegex@@\" -us \"@@upstream@@\" -ds \"@@downstream@@\" -of \"@@onlyFailed@@\" -sd \"##開始日付##\" -ed \"##終了日付##\" -gaf \"@@認証ファイル@@\"

タスクのクリア・起動コマンドの使用

図 3.33 タスクのクリア・起動コマンドの使用¶

表 3.30 タスクのクリア・起動コマンドの入力¶
パラメータ名	タイプ	省略	デフォルト	概要
projectId	文字列	不可	_	composer環境が所属するプロジェクトIDを指定します。
environment	文字列	不可	_	composer環境の名称を指定します。
location	文字列	不可	_	composer環境のlocationを指定します。
DAGID	文字列	不可	_	DAGIDを指定します。
taskRegex	文字列	可	(空)	タスク正規表現を指定します。
upstream	文字列	可	true	false:指定したタスクのみクリア; true:upstreamタスクもクリアします。
downstream	文字列	可	true	false:指定したタスクのみクリア; true:downstreamタスクもクリアします。
onlyFailed	文字列	可	true	false:条件を満たすタスクをクリア; true:Failedのタスクのみクリアします。
start-date	文字列	可	(空)	開始日付(UTC)を指定します。(YYYY-MM-DD;YYYY-MM-DDT00:00:00.949358+00:00)
end-date	文字列	可	(空)	終了日付(UTC)を指定します。(YYYY-MM-DD;YYYY-MM-DDT00:00:00.949358+00:00)
認証ファイル	文字列	可	Google Cloud情報設定ファイルから取得	認証Jsonファイルを指定します。

3.5.2.3.2. タスクのMark Failed¶

タスクのMark Failedコマンドの登録

起動シーケンス：

remsh "@ノード名@" -l "@ユーザ名@" sjPEX_GCPCloudComposer -m mf -url \"@airflowWebUi@\" -did \"@DAGID@\" -tid \"@タスクID@\" -exed \"#実行日付#\" -us \"@@upstream@@\" -ds \"@@downstream@@\" -gaf \"@@認証ファイル@@\"

タスクのMark Failedコマンドの使用

図 3.34 タスクのMark Failedコマンドの使用¶

表 3.31 タスクのMark Failedコマンドの入力¶
パラメータ名	タイプ	省略	デフォルト	概要
airflowWebUi	文字列	不可	_	composer環境のairflowWebUiを指定します。
DAGID	文字列	不可	_	DAGIDを指定します。
タスクID	文字列	不可	_	タスクIDを指定します。
実行日付	文字列	不可	_	executionDateを指定します。
upstream	文字列	可	true	false:指定したタスクのみ実施;true:upstreamタスクも実施します。
downstream	文字列	可	true	false:指定したタスクのみ実施;true:downstreamタスクも実施します。
認証ファイル	文字列	可	GoogleCloud情報設定ファイルから取得	認証Jsonファイルを指定します。

3.5.2.3.3. DAGのMark Failed¶

DAGのMark Failedコマンドの登録

起動シーケンス：

remsh "@ノード名@" -l "@ユーザ名@" sjPEX_GCPCloudComposer -m dmf -url \"@airflowWebUi@\" -did \"@DAGID@\" -eid \"@実行ID@\" -gaf \"@@認証ファイル@@\"

DAGのMark Failedコマンドの使用

図 3.35 DAGのMark Failedコマンドの使用¶

表 3.32 DAGのMark Failedコマンドの入力¶
パラメータ名	タイプ	省略	デフォルト	概要
airflowWebUi	文字列	不可	_	composer環境のairflowWebUiを指定します。
DAGID	文字列	不可	_	DAGIDを指定します。
実行ID	文字列	不可	_	実行IDを指定します。
認証ファイル	文字列	可	GoogleCloud情報設定ファイルから取得	認証Jsonファイルを指定します。

3.5.2.3.4. タスクの強制起動¶

タスクの強制起動コマンドの登録

起動シーケンス：

remsh "@ノード名@" -l "@ユーザ名@" sjPEX_GCPCloudComposer -m trk -pj \"@projectId@\" -env \"@environment@\" -loc \"@location@\" -did \"@DAGID@\" -tid \"@タスクID@\" -eid \"@実行ID@\" -igd \"@@ignoreDependencies@@\" -f \"@@force@@\" -gaf \"@@認証ファイル@@\"

タスクの強制起動コマンドの使用

図 3.36 タスクの強制起動コマンドの使用¶

表 3.33 タスクの強制起動コマンドの入力¶
パラメータ名	タイプ	省略	デフォルト	概要
projectId	文字列	不可	_	composer環境が所属するプロジェクトIDを指定します。
environment	文字列	不可	_	composer環境の名称を指定します。
location	文字列	不可	_	composer環境のlocationを指定します。
DAGID	文字列	不可	_	DAGIDを指定します。
タスクID	文字列	不可	_	タスクIDを指定します。
実行ID(実行日付)	文字列	不可	_	実行ID(実行日付)を指定します。(日付例：2022-09-24T12:51:13.063238+00:00)※
ignoreDependencies	文字列	可	true	false:先行が終わらないと実施しない;true:先行が終わらなくても実施します。
force	文字列	可	true	false:Success済みは実施しない;true:Success済みでも実施します。
認証ファイル	文字列	可	GoogleCloud情報設定ファイルから取得	認証Jsonファイルを指定します。

注釈

パラメータ「実行ID(実行日付)」はairflow Version2.2.0以下の場合、実行日付のみサポートします。

3.5.2.3.5. DAGの強制起動¶

DAGの強制起動コマンドの登録

起動シーケンス：

remsh "@ノード名@" -l "@ユーザ名@" sjPEX_GCPCloudComposer -m dr -url \"@airflowWebUi@\" -did \"@DAGID@\" -eid \"@@実行ID@@\" -ld \"@@logicalDate@@\" -df \"@@DAGパラメータ(JSONファイル名)@@\" -gaf \"@@認証ファイル@@\"

DAGの強制起動コマンドの使用

図 3.37 DAGの強制起動コマンドの使用¶

表 3.34 DAGの強制起動コマンドの入力¶
パラメータ名	タイプ	省略	デフォルト	概要
airflowWebUi	文字列	不可	_	composer環境のairflowWebUiを指定します。
DAGID	文字列	不可	_	DAGIDを指定します。
実行ID	文字列	可	(空)	実行IDを指定します。(未指定の場合、GCPにより自動採番)
logicalDate	文字列	可	(空)	logicalDateを指定します。(日付例：2023-02-07T09:15:00+00:00)
DAGパラメータ(JSONファイル名)	文字列	可	(空)	jsonファイルで「DAGへ渡すパラメータ」を指定します。
認証ファイル	文字列	可	GoogleCloud情報設定ファイルから取得	認証Jsonファイルを指定します。

3.5.2.3.6. DAGをPauseにする¶

DAGをPauseにするコマンドの登録

起動シーケンス：

remsh "@ノード名@" -l "@ユーザ名@" sjPEX_GCPCloudComposer -m p -url \"@airflowWebUi@\" -did \"@DAGID@\" -gaf \"@@認証ファイル@@\"

DAGをPauseにするコマンドの使用

図 3.38 DAGをPauseにするコマンドの使用¶

表 3.35 DAGをPauseにするコマンドの入力¶
パラメータ名	タイプ	省略	デフォルト	概要
airflowWebUi	文字列	不可	_	composer環境のairflowWebUiを指定します。
DAGID	文字列	不可	_	DAGIDを指定します。
認証ファイル	文字列	可	GoogleCloud情報設定ファイルから取得	認証Jsonファイルを指定します。

3.5.2.3.7. DAGをUnpauseにする¶

DAGをUnpauseにするコマンドの登録

起動シーケンス：

remsh "@ノード名@" -l "@ユーザ名@" sjPEX_GCPCloudComposer -m up -url \"@airflowWebUi@\" -did \"@DAGID@\" -gaf \"@@認証ファイル@@\"

DAGをUnpauseにするコマンドの使用

図 3.39 DAGをUnpauseにするコマンドの使用¶

表 3.36 DAGをUnpauseにするコマンドの入力¶
パラメータ名	タイプ	省略	デフォルト	概要
airflowWebUi	文字列	不可	_	composer環境のairflowWebUiを指定します。
DAGID	文字列	不可	_	DAGIDを指定します。
認証ファイル	文字列	可	GoogleCloud情報設定ファイルから取得	認証Jsonファイルを指定します。

3.5.2.3.8. タスクのMark Success¶

タスクのMark Successコマンドの登録

起動シーケンス：

remsh "@ノード名@" -l "@ユーザ名@" sjPEX_GCPCloudComposer -m ms -url \"@airflowWebUi@\" -did \"@DAGID@\" -tid \"@タスクID@\" -exed \"#実行日付#\" -us \"@@upstream@@\" -ds \"@@downstream@@\" -gaf \"@@認証ファイル@@\

タスクのMark Successコマンドの使用

図 3.40 タスクのMark Successコマンドの使用¶

表 3.37 タスクのMark Successコマンドの入力¶
パラメータ名	タイプ	省略	デフォルト	概要
airflowWebUi	文字列	不可	_	composer環境のairflowWebUiを指定します。
DAGID	文字列	不可	_	DAGIDを指定します。
タスクID	文字列	不可	_	タスクIDを指定します。
実行日付	文字列	不可	_	executionDateを指定します。
upstream	文字列	可	true	false:指定したタスクのみ実施;true:upstreamタスクも実施します。
downstream	文字列	可	true	false:指定したタスクのみ実施;true:downstreamタスクも実施します。
認証ファイル	文字列	可	GoogleCloud情報設定ファイルから取得	認証Jsonファイルを指定します。

3.5.2.3.9. DAGのMark Success¶

DAGのMark Successコマンドの登録

起動シーケンス：

remsh "@ノード名@" -l "@ユーザ名@" sjPEX_GCPCloudComposer -m dms -url \"@airflowWebUi@\" -did \"@DAGID@\" -eid \"@実行ID@\" -gaf \"@@認証ファイル@@\"

DAGのMark Successコマンドの使用

図 3.41 DAGのMark Successコマンドの使用¶

表 3.38 DAGのMark Successコマンドの入力¶
パラメータ名	タイプ	省略	デフォルト	概要
airflowWebUi	文字列	不可	_	composer環境のairflowWebUiを指定します。
DAGID	文字列	不可	_	DAGIDを指定します。
実行ID	文字列	不可	_	実行IDを指定します。
認証ファイル	文字列	可	GoogleCloud情報設定ファイルから取得	認証Jsonファイルを指定します。

※ DAGのMark Successを利用するために、airflow Version2.2.0以上が必要となります。

3.5.2.3.10. 環境変数を設定_追加¶

環境変数を設定_追加コマンドの登録

起動シーケンス：

remsh "@ノード名@" -l "@ユーザ名@" sjPEX_GCPCloudComposer -m av -url \"@airflowWebUi@\" -k \"@key@\" -v \"@value@\" -gaf \"@@認証ファイル@@\"

環境変数を設定_追加コマンドの使用

図 3.42 環境変数を設定_追加コマンドの使用¶

表 3.39 環境変数を設定_追加コマンドの入力¶
パラメータ名	タイプ	省略	デフォルト	概要
airflowWebUi	文字列	不可	_	composer環境のairflowWebUiを指定します。
key	文字列	不可	_	variableKeyを指定します。
value	文字列	不可	_	追加したいValueを指定します。([]で囲む。例:[a1][a2][a3]。Linuxの場合、"["、"]"の前にを付ける必要あり)
認証ファイル	文字列	可	GoogleCloud情報設定ファイルから取得	認証Jsonファイルを指定します。

3.5.2.3.11. 環境変数を設定_削除¶

環境変数を設定_削除コマンドの登録

起動シーケンス：

remsh "@ノード名@" -l "@ユーザ名@" sjPEX_GCPCloudComposer -m dv -url \"@airflowWebUi@\" -k \"@key@\" -v \"@value@\" -gaf \"@@認証ファイル@@\"

環境変数を設定_削除コマンドの使用

図 3.43 環境変数を設定_削除コマンドの使用¶

表 3.40 環境変数を設定_削除コマンドの入力¶
パラメータ名	タイプ	省略	デフォルト	概要
airflowWebUi	文字列	不可	_	composer環境のairflowWebUiを指定します。
key	文字列	不可	_	variableKeyを指定します。
value	文字列	不可	_	削除したいValueを指定します。([]で囲む。例:[a1][a2][a3]。Linuxの場合、"["、"]"の前にを付ける必要あり)
認証ファイル	文字列	可	GoogleCloud情報設定ファイルから取得	認証Jsonファイルを指定します。

3.5.2.3.12. DAGの状態一覧を取得¶

DAGの状態一覧を取得コマンドの登録

起動シーケンス：

remsh "@ノード名@" -l "@ユーザ名@" sjPEX_GCPCloudComposer -m ld -url \"@airflowWebUi@\" -did \"@DAGID@\" -l \"@@limit@@\" -s \"@@ソート順@@\" -edg \"##開始日付##\" -edl \"##終了日付##\" -gaf \"@@認証ファイル@@\"

DAGの状態一覧を取得コマンドの使用

図 3.44 DAGの状態一覧を取得コマンドの使用¶

表 3.41 DAGの状態一覧を取得コマンドの入力¶
パラメータ名	タイプ	省略	デフォルト	概要
airflowWebUi	文字列	不可	_	composer環境のairflowWebUiを指定します。
DAGID	文字列	不可	_	DAGIDを指定します。
limit	文字列	可	100	取得の上限件数を指定します。(最大100件まで)
ソート順	文字列	可	-execution_date	ソート条件を指定します。（execution_date：昇順；-execution_date:降順）
開始日付	文字列	可	(空)	取得するexecutionDate範囲の開始日付を指定します。
終了日付	文字列	可	(空)	取得するexecutionDate範囲の終了日付を指定します。
認証ファイル	文字列	可	GoogleCloud情報設定ファイルから取得	認証Jsonファイルを指定します。

3.5.2.3.13. 起動したタスクの情報取得¶

起動したタスクの情報取得コマンドの登録

起動シーケンス：

remsh "@ノード名@" -l "@ユーザ名@" sjPEX_GCPCloudComposer -m gt -url \"@airflowWebUi@\" -did \"@DAGID@\" -eid \"@実行ID@\" -tid \"@タスクID@\" -gaf \"@@認証ファイル@@\"

起動したタスクの情報取得コマンドの使用

図 3.45 起動したタスクの情報取得コマンドの使用¶

表 3.42 起動したタスクの情報取得コマンドの入力¶
パラメータ名	タイプ	省略	デフォルト	概要
airflowWebUi	文字列	不可	_	composer環境のairflowWebUiを指定します。
DAGID	文字列	不可	_	DAGIDを指定します。
実行ID	文字列	不可	_	実行IDを指定します。
タスクID	文字列	不可	_	タスクIDを指定します。
認証ファイル	文字列	可	GoogleCloud情報設定ファイルから取得	認証Jsonファイルを指定します。

3.5.2.3.14. DAGの基本情報取得¶

DAGの基本情報取得コマンドの登録

起動シーケンス：

remsh "@ノード名@" -l "@ユーザ名@" sjPEX_GCPCloudComposer -m gd -url \"@airflowWebUi@\" -did \"@DAGID@\" -gaf \"@@認証ファイル@@\"

DAGの基本情報取得コマンドの使用

図 3.46 DAGの基本情報取得コマンドの使用¶

表 3.43 DAGの基本情報取得コマンドの入力¶
パラメータ名	タイプ	省略	デフォルト	概要
airflowWebUi	文字列	不可	_	composer環境のairflowWebUiを指定します。
DAGID	文字列	不可	_	DAGIDを指定します。
認証ファイル	文字列	可	GoogleCloud情報設定ファイルから取得	認証Jsonファイルを指定します。