3.8. 付録¶
3.8.1. メッセージ一覧¶
ID |
レベル |
表示 |
警報 |
メッセージ内容 |
原因・内容 |
対処方法 |
|---|---|---|---|---|---|---|
!PEXC01 |
E |
2 |
ON |
クラウドジョブスケジュールコマンドの起動に失敗しました。 |
クラウドジョブスケジュールコマンドの起動に失敗しました。 |
クラウド連携コマンドのマニュアルを参照して下さい。 |
!PEXC02 |
E |
2 |
ON |
クラウドジョブスケジュールコマンドの起動に失敗しました。 |
クラウドジョブスケジュールコマンドの起動に失敗しました。 |
クラウド連携コマンドのマニュアルを参照して下さい。 |
!PEXC03 |
I |
1 |
OFF |
AWS/S3からのデータ取得に成功しました。 |
AWS/S3からのデータ取得に成功しました |
なし。 |
!PEXC04 |
E |
1 |
ON |
AWS/S3からのデータ取得に失敗しました。 |
AWS/S3からのデータ取得に失敗しました。 |
クラウド連携コマンドのマニュアルを参照して下さい。 |
!PEXC05 |
I |
1 |
OFF |
AWS/S3へのデータ登録に成功しました。 |
AWS/S3へのデータ登録に成功しました。 |
なし。 |
!PEXC06 |
E |
1 |
ON |
AWS/S3へのデータ登録に失敗しました。 |
AWS/S3へのデータ登録に失敗しました。 |
クラウド連携コマンドのマニュアルを参照して下さい。 |
!PEXC07 |
I |
1 |
OFF |
AWS/S3上のデータ削除に成功しました。 |
AWS/S3からのデータ削除に成功しました。 |
なし。 |
!PEXC08 |
E |
1 |
ON |
AWS/S3上のデータ削除に失敗しました。 |
AWS/S3からのデータ削除に失敗しました。 |
クラウド連携コマンドのマニュアルを参照して下さい。 |
!PEXC09 |
I |
1 |
OFF |
AWS/MRジョブフローの実行に成功しました。 |
AWS/MRジョブフローの実行に成功しました。 |
なし。 |
!PEXC10 |
E |
1 |
ON |
AWS/MRジョブフローの実行に失敗しました。 |
AWS/MRジョブフローの実行に失敗しました。 |
クラウド連携コマンドのマニュアルを参照して下さい。 |
!PEXC11 |
I |
1 |
OFF |
クラウドジョブスケジュールコマンドを強制停止します。 |
クラウドジョブスケジュールコマンドを強制停止します。 |
なし。 |
!PEXC12 |
E |
1 |
ON |
クラウドジョブスケジュールコマンドが異常終了しました。 |
クラウドジョブスケジュールコマンドが異常終了しました。 |
クラウド連携コマンドのマニュアルを参照して下さい。 |
!PEXC13 |
I |
1 |
OFF |
AWS/Lambda上の関数実行に成功しました。 |
AWS/Lambda上の関数実行に成功しました。 |
なし。 |
!PEXC14 |
E |
1 |
ON |
AWS/Lambda上の関数実行に失敗しました。 |
AWS/Lambda上の関数実行に失敗しました。 |
クラウド連携コマンドのマニュアルを参照して下さい。 |
!PEXC15 |
I |
1 |
OFF |
Azure/Functionsの関数実行に成功しました。 |
Azure/Functionsの関数実行に成功しました。 |
なし。 |
!PEXC16 |
E |
1 |
ON |
Azure/Functionsの関数実行に失敗しました。 |
Azure/Functionsの関数実行に失敗しました。 |
クラウド連携コマンドのマニュアルを参照して下さい。 |
!PEXC17 |
I |
1 |
OFF |
GCP/Functionsの関数実行に成功しました。 |
GCP/Functionsの関数実行に成功しました。 |
なし。 |
!PEXC18 |
E |
1 |
ON |
GCP/Functionsの関数実行に失敗しました。 |
GCP/Functionsの関数実行に失敗しました。 |
クラウド連携コマンドのマニュアルを参照して下さい。 |
!PEXC19 |
I |
1 |
OFF |
OCI/Functionsの関数実行に成功しました。 |
OCI/Functionsの関数実行に成功しました。 |
なし。 |
!PEXC20 |
E |
1 |
ON |
OCI/Functionsの関数実行に失敗しました。 |
OCI/Functionsの関数実行に失敗しました。 |
クラウド連携コマンドのマニュアルを参照して下さい。 |
!PEXC21 |
I |
1 |
OFF |
IBM Cloud Functionsの関数実行に成功しました。 |
IBM Cloud Functionsの関数実行に成功しました。 |
なし。 |
!PEXC22 |
E |
1 |
ON |
IBM Cloud Functionsの関数実行に失敗しました。 |
IBM Cloud Functionsの関数実行に失敗しました。 |
クラウド連携コマンドのマニュアルを参照して下さい。 |
!PEXC23 |
I |
1 |
OFF |
AWS/Step Functionsの実行に成功しました。 |
AWS/Step Functionsの実行に成功しました。 |
なし |
!PEXC24 |
E |
1 |
ON |
AWS/Step Functionsの実行に失敗しました。 |
AWS/Step Functionsの実行に失敗しました。 |
クラウド連携コマンドのマニュアルを参照して下さい。 |
3.8.2. エラーメッセージとその対処方法¶
3.8.2.1. Job Scheduler for Cloud(AWS/S3)¶
Job Scheduler for Cloud(AWS/S3)の実行中にエラーが起きると、エラーメッセージがメッセージモニタに表示されます。
メッセージID |
エラー内容 |
終了値 |
対処方法 |
|---|---|---|---|
!PEXC01 |
duplicate *****option (func:***,line:***) |
5 |
オプションが2重に指定されています。 |
-m can not take S3 or MR or LS or LA or DF or GF or OF or IF or SF("***" is error) (func:***,line:***) |
5 |
-mオプションはS3、MR、LS、LA、DF、GF、OF、IF、SFのいずれかしか指定できません。 |
|
*****has no filepath (func:***,line:***) |
5 |
指定したファイルがありません。 |
|
-t can take 0,1,2,3("***" is error) (func:***,line:***) |
5 |
-tオプションは0、1、2、3のいずれかしか指定できません。 |
|
-i can take 10-600("***" is error) (func:***,line:***) |
5 |
-iオプションは10から600までの数しか指定できません。 |
|
"***" is Unrecognized option (func:***,line:***) |
5 |
不明なオプションが指定されています。 |
|
*****option not found (func:***,line:***) |
5 |
必須オプションのうち、足りないオプションがあります。 |
|
file("***") open fail(***) (func:***,line:***) |
5 |
指定したファイルが開けません。 |
|
chdir("*****") fail(***) |
14 |
Senju/DCのインストールが正しく行われているか、ディレクトリの権限が正しく設定されているか確認して下さい。 |
|
SENJUHOME("*****") is too long |
15 |
Senju/DCのインストールが正しく行われているか確認して下さい。 |
|
memory allocate error (func:***,line:***) |
16 |
コマンドが稼働するノードでメモリ不足が起きています。 |
|
!PEXC02 |
child process start failed (***) (func:***,line:***) |
9 |
子プロセスの起動に失敗しています。 |
!PEXC04 |
*****(func:***,line:***) |
45 |
出力内容が原因でAWS/S3データの取得に失敗しています。 |
!PEXC06 |
*****(func:***,line:***) |
41 |
出力内容が原因でAWS/S3データの登録に失敗しています。 |
!PEXC08 |
*****(func:***,line:***) |
43 |
出力内容が原因でAWS/S3データの削除に失敗しています。 |
!PEXC12 |
child killed by SIGNAL (***) (func:***,line:***) |
8 |
子プロセスが停止しました。 |
wait error (***) (func:***,line:***) |
10 |
子プロセスの状態を取得できません。 |
|
child:parent not exist (func:***,line:***) |
13 |
親プロセスが存在しません。 |
3.8.2.2. Job Scheduler for Cloud(AWS/Elastic MapReduce)¶
Job Scheduler for Cloud(AWS/Elastic MapReduce)の実行中にエラーが起きると、エラーメッセージがメッセージモニタに表示されます。
メッセージID |
エラー内容 |
終了値 |
対処方法 |
|---|---|---|---|
!PEXC01 |
duplicate *****option (func:***,line:***) |
5 |
オプションが2重に指定されています。 |
-m can not take S3 or MR or LS or LA or DF or GF or OF or IF or SF("***" is error)(func:***,line:***) |
5 |
-mオプションはS3、MR、LS、LA、DF、GF、OF、IF、SFのいずれかしか指定できません。 |
|
*****has no filepath (func:***,line:***) |
5 |
指定したファイルがありません。 |
|
-inc can take 1 over("***" is error)(func:***,line:***) |
5 |
-incオプションは1以上の数しか指定できません。 |
|
-t can take 0,1,2,3("***" is error) (func:***,line:***) |
5 |
-tオプションは0、1、2、3のいずれかしか指定できません。 |
|
-i can take 10-600("***" is error) (func:***,line:***) |
5 |
-iオプションは10から600までの数しか指定できません。 |
|
"***" is Unrecognized option (func:***,line:***) |
5 |
不明なオプションが指定されています。 |
|
*****option not found (func:***,line:***) |
5 |
必須オプションのうち、足りないオプションがあります。 |
|
file("***") open fail (***) (func:***,line:***) |
5 |
指定したファイルが開けません。 |
|
chdir("*****") fail(***) |
14 |
Senju/DCのインストールが正しく行われているか、ディレクトリの権限が正しく設定されているか確認して下さい。 |
|
SENJUHOME("*****") is too long |
15 |
Senju/DCのインストールが正しく行われているか確認して下さい。 |
|
memory allocate error (func:***,line:***) |
16 |
コマンドが稼働するノードでメモリ不足が起きています。 |
|
!PEXC02 |
child process start failed (***) (func:***,line:***) |
9 |
子プロセスの起動に失敗しています。 |
!PEXC10 |
*****(func:***,line:***) |
47 |
出力内容が原因でAWS/Elastic MapReduceジョブフローの実行に失敗しています。 |
!PEXC12 |
child killed by SIGNAL (***) (func:***,line:***) |
8 |
子プロセスが停止しました。 |
wait error (***) (func:***,line:***) |
10 |
子プロセスの状態を取得できません。 |
|
child:parent not exist (func:***,line:***) |
13 |
親プロセスが存在しません。 |
3.8.2.3. Job Scheduler for Cloud(AWS/Lambda Function)¶
Job Scheduler for Cloud(AWS/Lambda Function)の実行中にエラーが起きると、エラーメッセージがメッセージモニタに表示されます。
メッセージID |
エラー内容 |
終了値 |
対処方法 |
|---|---|---|---|
!PEXC01 |
duplicate *****option (func:***,line:***) |
5 |
オプションが2重に指定されています。 |
-m can not take S3 or MR or LS or LA or DF or GF or OF or IF or SF("***" is error) (func:***,line:***) |
5 |
-mオプションはS3、MR、LS、LA、DF、GF、OF、IF、SFのいずれかしか指定できません。 |
|
"***" is Unrecognized option (func:***,line:***) |
5 |
不明なオプションが指定されています。 |
|
*****option not found (func:***,line:***) |
5 |
必須オプションのうち、足りないオプションがあります。 |
|
chdir("*****") fail(***) |
14 |
Senju/DCのインストールが正しく行われているか、ディレクトリの権限が正しく設定されているか確認して下さい。 |
|
SENJUHOME("*****") is too long |
15 |
Senju/DCのインストールが正しく行われているか確認して下さい。 |
|
memory allocate error (func:***,line:***) |
16 |
コマンドが稼働するノードでメモリ不足が起きています。 |
|
!PEXC02 |
child process start failed (***) (func:***,line:***) |
9 |
子プロセスの起動に失敗しています。 |
!PEXC12 |
child killed by SIGNAL (***) (func:***,line:***) |
8 |
子プロセスが停止しました。 |
wait error (***) (func:***,line:***) |
10 |
子プロセスの状態を取得できません。 |
|
child:parent not exist (func:***,line:***) |
13 |
親プロセスが存在しません。 |
|
!PEXC14 |
*****(func:***,line:***) |
49 |
出力内容が原因でAWS/AWS/Lambda Functionの実行に失敗しています。 |
3.8.2.4. Job Scheduler for Cloud(AWS/Step Functions)¶
Job Scheduler for Cloud(AWS/Step Functions)の実行中にエラーが起きると、エラーメッセージがメッセージモニタに表示されます。
メッセージID |
エラー内容 |
終了値 |
対処方法 |
|---|---|---|---|
!PEXC01 |
duplicate *****option (func:***,line:***) |
5 |
オプションが2重に指定されています。 |
-m can not take S3 or MR or LS or LA or DF or GF or OF or IF or SF("***" is error) (func:***,line:***) |
5 |
-mオプションはS3、MR、LS、LA、DF、GF、OF、IF、SFのいずれかしか指定できません。 |
|
"***" is Unrecognized option (func:***,line:***) |
5 |
不明なオプションが指定されています。 |
|
*****option not found (func:***,line:***) |
5 |
必須オプションのうち、足りないオプションがあります。 |
|
chdir("*****") fail(***) |
14 |
Senju/DCのインストールが正しく行われているか、ディレクトリの権限が正しく設定されているか確認して下さい。 |
|
SENJUHOME("*****") is too long |
15 |
Senju/DCのインストールが正しく行われているか確認して下さい。 |
|
memory allocate error (func:***,line:***) |
16 |
コマンドが稼働するノードでメモリ不足が起きています。 |
|
!PEXC02 |
child process start failed (***) (func:***,line:***) |
9 |
子プロセスの起動に失敗しています。 |
!PEXC12 |
child killed by SIGNAL (***) (func:***,line:***) |
8 |
子プロセスが停止しました。 |
wait error (***) (func:***,line:***) |
10 |
子プロセスの状態を取得できません。 |
|
child:parent not exist (func:***,line:***) |
13 |
親プロセスが存在しません。 |
|
!PEXC24 |
*****(Date:***,Frame:***,Net:***,Job:***) |
59 |
出力内容が原因でAWS/Step Functionsの実行に失敗しています。 |
3.8.2.5. Job Scheduler for Cloud(Azure/Durable Functions)¶
Job Scheduler for Cloud(Azure/Durable Functions)の実行中にエラーが起きると、エラーメッセージがメッセージモニタに表示されます。
メッセージID |
エラー内容 |
終了値 |
対処方法 |
|---|---|---|---|
!PEXC01 |
duplicate *****option (func:***,line:***) |
5 |
オプションが2重に指定されています。 |
-m can not take S3 or MR or LS or LA or DF or GF or OF or IFor SF("***" is error) (func:***,line:***) |
5 |
-mオプションはS3、MR、LS、LA、DF、GF、OF、IF、SFのいずれかしか指定できません。 |
|
"***" is Unrecognized option (func:***,line:***) |
5 |
不明なオプションが指定されています。 |
|
*****option not found (func:***,line:***) |
5 |
必須オプションのうち、足りないオプションがあります。 |
|
chdir("*****") fail(***) |
14 |
Senju/DCのインストールが正しく行われているか、ディレクトリの権限が正しく設定されているか確認して下さい。 |
|
SENJUHOME("*****") is too long |
15 |
Senju/DCのインストールが正しく行われているか確認して下さい。 |
|
memory allocate error (func:***,line:***) |
16 |
コマンドが稼働するノードでメモリ不足が起きています。 |
|
!PEXC02 |
child process start failed (***) (func:***,line:***) |
9 |
子プロセスの起動に失敗しています。 |
!PEXC12 |
child killed by SIGNAL (***) (func:***,line:***) |
8 |
子プロセスが停止しました。 |
wait error (***) (func:***,line:***) |
10 |
子プロセスの状態を取得できません。 |
|
!PEXC16 |
*****(func:***,line:***) |
51 |
出力内容が原因でAzure/Durable Functionsの実行に失敗しています。 |
3.8.2.6. Job Scheduler for Cloud(Google Cloud Functions)¶
Job Scheduler for Cloud(Google Cloud Functions)の実行中にエラーが起きると、エラーメッセージがメッセージモニタに表示されます。
メッセージID |
エラー内容 |
終了値 |
対処方法 |
|---|---|---|---|
!PEXC01 |
duplicate *****option (func:***,line:***) |
5 |
オプションが2重に指定されています。 |
-m can not take S3 or MR or LS or LA or DF or GF or OF or IF or SF("***" is error) (func:***,line:***) |
5 |
-mオプションはS3、MR、LS、LA、DF、GF、OF、IF、SFのいずれかしか指定できません。 |
|
"***" is Unrecognized option (func:***,line:***) |
5 |
不明なオプションが指定されています。 |
|
*****option not found (func:***,line:***) |
5 |
必須オプションのうち、足りないオプションがあります。 |
|
chdir("*****") fail(***) |
14 |
Senju/DCのインストールが正しく行われているか、ディレクトリの権限が正しく設定されているか確認して下さい。 |
|
SENJUHOME("*****") is too long |
15 |
Senju/DCのインストールが正しく行われているか確認して下さい。 |
|
memory allocate error (func:***,line:***) |
16 |
コマンドが稼働するノードでメモリ不足が起きています。 |
|
!PEXC02 |
child process start failed (***) (func:***,line:***) |
9 |
子プロセスの起動に失敗しています。 |
!PEXC12 |
child killed by SIGNAL (***) (func:***,line:***) |
8 |
子プロセスが停止しました。 |
wait error (***) (func:***,line:***) |
10 |
子プロセスの状態を取得できません。 |
|
!PEXC18 |
*****(func:***,line:***) |
53 |
出力内容が原因でGCP/Functionsの実行に失敗しています。 |
3.8.2.7. Job Scheduler for Cloud(OCI/Functions)¶
Job Scheduler for Cloud(OCI/Functions)の実行中にエラーが起きると、エラーメッセージがメッセージモニタに表示されます。
メッセージID |
エラー内容 |
終了値 |
対処方法 |
|---|---|---|---|
!PEXC01 |
duplicate *****option (func:***,line:***) |
5 |
オプションが2重に指定されています。 |
-m can not take S3 or MR or LS or LA or DF or GF or OF or IF or SF("***" is error) (func:***,line:***) |
5 |
-mオプションはS3、MR、LS、LA、DF、GF、OF、IF、SFのいずれかしか指定できません。 |
|
"***" is Unrecognized option (func:***,line:***) |
5 |
不明なオプションが指定されています。 |
|
*****option not found (func:***,line:***) |
5 |
必須オプションのうち、足りないオプションがあります。 |
|
chdir("*****") fail(***) |
14 |
Senju/DCのインストールが正しく行われているか、ディレクトリの権限が正しく設定されているか確認して下さい。 |
|
SENJUHOME("*****") is too long |
15 |
Senju/DCのインストールが正しく行われているか確認して下さい。 |
|
memory allocate error (func:***,line:***) |
16 |
コマンドが稼働するノードでメモリ不足が起きています。 |
|
!PEXC02 |
child process start failed (***) (func:***,line:***) |
9 |
子プロセスの起動に失敗しています。 |
!PEXC12 |
child killed by SIGNAL (***) (func:***,line:***) |
8 |
子プロセスが停止しました。 |
wait error (***) (func:***,line:***) |
10 |
子プロセスの状態を取得できません。 |
|
!PEXC20 |
*****(func:***,line:***) |
55 |
出力内容が原因でOCI/Functionsの実行に失敗しています。 |
3.8.2.8. Job Scheduler for Cloud(IBM Cloud Functions)¶
Job Scheduler for Cloud(IBM Cloud Functions)の実行中にエラーが起きると、エラーメッセージがメッセージモニタに表示されます。
メッセージID |
エラー内容 |
終了値 |
対処方法 |
|---|---|---|---|
!PEXC01 |
duplicate *****option (func:***,line:***) |
5 |
オプションが2重に指定されています。 |
-m can not take S3 or MR or LS or LA or DF or GF or OF or IF or SF("***" is error) (func:***,line:***) |
5 |
-mオプションはS3、MR、LS、LA、DF、GF、OF、IF、SFのいずれかしか指定できません。 |
|
"***" is Unrecognized option (func:***,line:***) |
5 |
不明なオプションが指定されています。 |
|
*****option not found (func:***,line:***) |
5 |
必須オプションのうち、足りないオプションがあります。 |
|
chdir("*****") fail(***) |
14 |
Senju/DCのインストールが正しく行われているか、ディレクトリの権限が正しく設定されているか確認して下さい。 |
|
SENJUHOME("*****") is too long |
15 |
Senju/DCのインストールが正しく行われているか確認して下さい。 |
|
memory allocate error (func:***,line:***) |
16 |
コマンドが稼働するノードでメモリ不足が起きています。 |
|
!PEXC02 |
child process start failed (***) (func:***,line:***) |
9 |
子プロセスの起動に失敗しています。 |
!PEXC12 |
child killed by SIGNAL (***) (func:***,line:***) |
8 |
子プロセスが停止しました。 |
wait error (***) (func:***,line:***) |
10 |
子プロセスの状態を取得できません。 |
|
!PEXC22 |
*****(func:***,line:***) |
57 |
出力内容が原因でIBM Cloud Functionsの実行に失敗しています。 |
3.8.3. Job Scheduler for Cloudのジョブログファイル¶
Senju/DCのジョブスケジュール機能を連携し、Job Scheduler for Cloudを実行すると、Job Scheduler for Cloudジョブの稼働情報が書かれたジョブログファイルが作成されます。
UNIX／Linuxの場合はJob Scheduler for Cloudが稼働するノード上の$SENJUHOME/dat/pex/aws ディレクトリ、Windowsの場合はJob Scheduler for Cloudが稼働するノード上の%SENJUHOME%\dat\pex\awsディレクトリに、以下のファイル名で作成されます。
- UNIX／Linux：
"(運用日付)_(フレーム名)"/"(ネット名).(ジョブ名)"
- Windows：
"(運用日付)_(フレーム名)"\"(ネット名).(ジョブ名)"
3.8.3.1. Job Scheduler for Cloud(AWS/S3)のジョブログファイル¶
ジョブログファイルは、以下のフォーマットで出力されます。
(日時)<TAB>(モード:アクション)<TAB>(ステータス)<TAB>(終了コード)<TAB>(バケット)<TAB>(AWS/S3のURI)<TAB>(ローカルパス)<TAB>(ステータス要因)
各カラムの意味を以下に示します。
カラム |
内容 |
|---|---|
日時 |
ファイルに書き込まれた日時が表示されます。 |
モード：アクション |
Job Scheduler for Cloudの実行モードとアクションが表示されます。 |
ステータス |
Job Scheduler for Cloudの実行ステータスが表示されます。 |
終了コード |
Job Scheduler for Cloudの終了コードが表示されます。 |
バケット |
処理の対象となるバケット名が表示されます。 |
AWS/S3のURI |
処理の対象となるAWS/S3のURIが表示されます。 |
ローカルファイルパス |
処理の対象となるローカルファイルパスが表示されます。 |
ステータス要因 |
Job Scheduler for Cloudのエラー要因を表示します。 |
3.8.3.2. Job Scheduler for Cloud(AWS/Elastic MapReduce)のジョブログファイル¶
ジョブログファイルは、以下のフォーマットで出力されます。
(日時)<TAB>(モード:アクション)<TAB>(ステータス)<TAB>(終了コード)<TAB>(ジョブフローID)<TAB>(ジョブフロー名)<TAB>(ジョブステップ名)<TAB>(ステータス要因)
各カラムの意味を以下に示します。
カラム |
内容 |
|---|---|
日時 |
ファイルに書き込まれた日時が表示されます。 |
モード：アクション |
Job Scheduler for Cloudの実行モードとアクションが表示されます。 |
ステータス |
Job Scheduler for Cloudの実行ステータスが表示されます。 |
終了コード |
Job Scheduler for Cloudの終了コードが表示されます。 |
ジョブフローID |
AWS/ Elastic MapReduceのジョブフローIDが表示されます。 |
ジョブフロー名 |
AWS/ Elastic MapReduceのジョブフロー名が表示されます。 |
ジョブステップ名 |
AWS/ Elastic MapReduceのジョブステップ名が表示されます。 |
ステータス要因 |
Job Scheduler for Cloudのエラー要因を表示します。 |
3.8.3.3. Job Scheduler for Cloud(AWS/Lambda Function)のジョブログファイル¶
ジョブログファイルは、以下のフォーマットで出力されます。
(日時)<TAB>(モード)<TAB>(ステータス)<TAB>(終了コード)<TAB>(リクエストID)<TAB>(未使用)<TAB>(関数名)<TAB>(ステータス要因)
各カラムの意味を以下に示します。
カラム |
内容 |
|---|---|
日時 |
ファイルに書き込まれた日時が表示されます。 |
モード |
AWS連携コマンドの実行モード(LS/LA)が表示されます。 |
ステータス |
Job Scheduler for Cloudの実行ステータスが表示されます。 |
終了コード |
Job Scheduler for Cloudの終了コードが表示されます。 |
リクエストID |
Lambda Functionが実行された時のリクエストIDが表示されます。非同期実行の際には取得されません。 |
(未使用) |
|
関数名 |
実行されたLambda関数名が表示されます。 |
ステータス要因 |
Job Scheduler for Cloudのエラー要因を表示します。 |
3.8.3.4. Job Scheduler for Cloud(AWS/Step Functions)のジョブログファイル¶
ジョブログファイルは、以下のフォーマットで出力されます。
(日時)<TAB>(モード:アクション)<TAB>(ステータス)<TAB>(終了コード)<TAB>(ステートマシン名)<TAB>(実行ARN)<TAB>(開始時刻 - 終了時刻)<TAB>(ステータス要因)
各カラムの意味を以下に示します。
カラム |
内容 |
|---|---|
日時 |
ファイルに書き込まれた日時が表示されます。 |
モード：アクション |
Job Scheduler for Cloudの実行モード(SF)とアクション(RUN/CHK)が表示されます。 |
ステータス |
Job Scheduler for Cloudの実行ステータスが表示されます。 |
終了コード |
Job Scheduler for Cloudの終了コードが表示されます。 |
ステートマシン名 |
開始したステートマシン名が表示されます。 |
実行ARN |
開始したステートマシンの実行名(実行ARN)が表示されます。 |
開始時刻 - 終了時刻 |
開始したステートマシンの開始時刻と終了時刻が表示されます。 |
ステータス要因 |
Job Scheduler for Cloudのステータス要因を表示します。 |
3.8.3.5. Job Scheduler for Cloud(Azure/Durable Functions)のジョブログファイル¶
ジョブログファイルは、以下のフォーマットで出力されます。
(日時)<TAB>(モード)<TAB>(ステータス)<TAB>(終了コード)<TAB>(instanceId)<TAB>(statusQueryGetUri)<TAB>(orchestrator関数名)<TAB>(ステータス要因)
各カラムの意味を以下に示します。
カラム |
内容 |
|---|---|
日時 |
ファイルに書き込まれた日時が表示されます。 |
モード |
Azure連携コマンドの実行モード(DF)が表示されます。 |
ステータス |
Job Scheduler for Cloudの実行ステータスが表示されます。 |
終了コード |
Job Scheduler for Cloudの終了コードが表示されます。 |
instanceId |
Durable Functionsが実行された時のinstanceIdが表示されます。 |
statusQueryGetUri |
Durable Functionsが実行された時のstatusQueryGetUriが表示されます。 |
orchestrator関数名 |
実行されたorchestrator関数名が表示されます。 |
ステータス要因 |
Job Scheduler for Cloudのエラー要因を表示します。 |
3.8.3.6. Job Scheduler for Cloud(Google Cloud Functions)のジョブログファイル¶
ジョブログファイルは、以下のフォーマットで出力されます。
(日時)<TAB>(モード)<TAB>(ステータス)<TAB>(終了コード)<TAB>(ProjectID)<TAB>(ExecutionID)<TAB>(関数名)<TAB>(ステータス要因)
各カラムの意味を以下に示します。
カラム |
内容 |
|---|---|
日時 |
ファイルに書き込まれた日時が表示されます。 |
モード |
クラウドジョブスケジュールコマンドの実行モード(GF)が表示されます。 |
ステータス |
Job Scheduler for Cloudの実行ステータスが表示されます。 |
終了コード |
Job Scheduler for Cloudの終了コードが表示されます。 |
ProjectID |
Cloud Functionsが実行された時のプロジェクトIDが表示されます。 |
ExecutionID |
Cloud Functionsが実行された時のExecutionIDが表示されます。 |
関数名 |
Cloud Functions名が表示されます。 |
ステータス要因 |
Job Scheduler for Cloudのエラー要因を表示します。 |
3.8.3.7. Job Scheduler for Cloud(OCI/Functions)のジョブログファイル¶
ジョブログファイルは、以下のフォーマットで出力されます。
(日時)<TAB>(モード)<TAB>(ステータス)<TAB>(終了コード)<TAB>(リクエストID)<TAB>(アプリケーション名)<TAB>(関数名)<TAB>(ステータス要因)
各カラムの意味を以下に示します。
カラム |
内容 |
|---|---|
日時 |
ファイルに書き込まれた日時が表示されます。 |
モード |
クラウドジョブスケジュールコマンドの実行モード(OF)が表示されます。 |
ステータス |
Job Scheduler for Cloudの実行ステータスが表示されます。 |
終了コード |
Job Scheduler for Cloudの終了コードが表示されます。 |
リクエストID |
Cloud Functionsが実行された時のリクエストIDが表示されます。 |
アプリケーション名 |
関数が所属するアプリケーション名が表示されます。 |
関数名 |
Cloud Functions名が表示されます。 |
ステータス要因 |
Job Scheduler for Cloudのエラー要因を表示します。 |
3.8.3.8. Job Scheduler for Cloud(IBM Cloud Functions)のジョブログファイル¶
ジョブログファイルは、以下のフォーマットで出力されます。
(日時)<TAB>(モード)<TAB>(ステータス)<TAB>(終了コード)<TAB>(リクエストID)<TAB>(ネームスペースID)<TAB>(関数名)<TAB>(ステータス要因)
各カラムの意味を以下に示します。
カラム |
内容 |
|---|---|
日時 |
ファイルに書き込まれた日時が表示されます。 |
モード |
クラウドジョブスケジュールコマンドの実行モード(IF)が表示されます。 |
ステータス |
Job Scheduler for Cloudの実行ステータスが表示されます。 |
終了コード |
Job Scheduler for Cloudの終了コードが表示されます。 |
リクエストID |
Cloud Functionsが実行された時のリクエストIDが表示されます。 |
ネームスペースID |
Cloud Functionsが所属するネームスペースIDが表示されます。 |
関数名 |
Cloud Functions名が表示されます。 |
ステータス要因 |
Job Scheduler for Cloudのエラー要因を表示します。 |
3.8.4. Job Scheduler for Cloudのコマンド一覧¶
Job Scheduler for Cloudで提供するコマンドの文法について説明します。Senju/DCのジョブスケジュール機能からの実行のほか、コマンドラインから実行することでAWSの操作を行うことができます。
3.8.4.1. AWS/S3 操作¶
3.8.4.1.1. AWS/S3データ取得¶
- 指定形式
sjPEX_AWSFunctions -m S3 -get S3URI -ak アクセスキーID -sk シークレットアクセスキー -bk S3バケット名
- 目的
AWS/S3上からデータの取得を行います。
- オプション
- S3URI
AWS/S3上のURIと取得先のローカルパスを','(カンマ)で区切って指定します。URIには s3://バケット名/を外したファイル名までを指定します。省略不可です。
- アクセスキーID
AWS接続用のアクセスキーIDを指定します。
- シークレットアクセスキー
AWS接続用のシークレットアクセスキーを指定します。
- S3バケット名
AWS/S3上のバケットを指定します。
- 実行結果
- (例)
$ sjPEX_AWSFunctions -m S3 -get output.txt,/home/senju/tmpout/output.txt -bk aws-bucket S3:GET OK 0 aws-bucket output.txt /home/senju/tmpout/output.txt
- 終了ステータス
0 ：正常終了
11：システムエラー
12：環境変数の取得に失敗
13：ローカルパスが存在しない
14：ローカルパスがファイルでない
15：ファイルのオープンに失敗
16：ファイルの書込みに失敗
17：ファイルの読込みに失敗
18：パラメータ解析に失敗
30：AWSサービスエラー
31：AWSクライアントエラー
32：AWS/S3上に指定バケットが存在しない
33：AWS/S3上に指定URIが存在しない
36：取得ファイルサイズが上限を超えている
3.8.4.1.2. AWS/S3データ登録¶
- 指定形式
sjPEX_AWSFunctions -m S3 -put S3URI -ak アクセスキーID -sk シークレットアクセスキー -bk S3バケット名
- 目的
AWS/S3上へのデータの登録を行います。
- オプション
- S3URI
AWS/S3上のURIと対象データのローカルパスを','(カンマ)で区切って指定します。URIには s3://バケット名/を外したファイル名までを指定します。省略不可です。
- アクセスキーID
AWS接続用のアクセスキーIDを指定します。 sj_aws.iniで指定している場合は、省略可能です。
- シークレットアクセスキー
AWS接続用のシークレットアクセスキーを指定します。 sj_aws.iniで指定している場合は、省略可能です。
- S3バケット名
AWS/S3上のバケットを指定します。 sj_aws.iniで指定している場合は、省略可能です。
- 実行結果
- (例)
$ sjPEX_AWSFunctions -m S3 -put put/input.txt,/home/senju/tmpout/input.txt -bk aws-bucket S3:PUT OK 0 aws-bucket put/input.txt /home/senju/tmpout/input.txt
- 終了ステータス
0 ：正常終了
11：システムエラー
12：環境変数の取得に失敗
13：ローカルパスが存在しない
14：ローカルパスがファイルでない
15：ファイルのオープンに失敗
16：ファイルの書込みに失敗
17：ファイルの読込みに失敗
18：パラメータ解析に失敗
30：AWSサービスエラー
31：AWSクライアントエラー
32：AWS/S3上に指定バケットが存在しない
33：AWS/S3上に指定URIが存在しない
3.8.4.1.3. AWS/S3データ削除¶
- 指定形式
sjPEX_AWSFunctions -m S3 -del S3URI -ak アクセスキーID -sk シークレットアクセスキー -bk S3バケット名
- 目的
AWS/S3上からデータの削除を行います。
- オプション
- S3URI
AWS/S3上のURIを指定します。s3://バケット名/を外したファイル名までを指定します。省略不可です。
- アクセスキーID
- AWS接続用のアクセスキーIDを指定します。
sj_aws.iniで指定している場合は、省略可能です。
- シークレットアクセスキー
- AWS接続用のシークレットアクセスキーを指定します。
sj_aws.iniで指定している場合は、省略可能です。
- S3バケット名
- AWS/S3上のバケットを指定します。
sj_aws.iniで指定している場合は、省略可能です。
- 実行結果
- (例)
$ sjPEX_AWSFunctions -m S3 -del del/output.txt -bk aws-bucket S3:DEL OK 0 aws-bucket del/output.txt
- 終了ステータス
0 ：正常終了
11：システムエラー
12：環境変数の取得に失敗
13：ローカルパスが存在しない
14：ローカルパスがファイルでない
15：ファイルのオープンに失敗
16：ファイルの書込みに失敗
17：ファイルの読込みに失敗
18：パラメータ解析に失敗
30：AWSサービスエラー
31：AWSクライアントエラー
32：AWS/S3上に指定バケットが存在しない
33：AWS/S3上に指定URIが存在しない
3.8.4.1.4. AWS/S3データ確認¶
- 指定形式
sjPEX_AWSFunctions -m S3 -chk S3URI -ak アクセスキーID -sk シークレットアクセスキー -bk S3バケット名
- 目的
AWS/S3上からデータの確認を行います。
- オプション
- S3URI
AWS/S3上のURIを指定します。s3://バケット名/を外したファイル名までを指定します。省略不可です。
- アクセスキーID
- AWS接続用のアクセスキーIDを指定します。
sj_aws.iniで指定している場合は、省略可能です。
- シークレットアクセスキー
- AWS接続用のシークレットアクセスキーを指定します。
sj_aws.iniで指定している場合は、省略可能です。
- S3バケット名
- AWS/S3上のバケットを指定します。
sj_aws.iniで指定している場合は、省略可能です。
- 実行結果
- (例)
$ sjPEX_AWSFunctions -m S3 -chk chk/input.txt -bk aws-bucket S3:CHK OK 0 aws-bucket chk/input.txt
- 終了ステータス
0 ：正常終了
11：システムエラー
12：環境変数の取得に失敗
13：ローカルパスが存在しない
14：ローカルパスがファイルでない
15：ファイルのオープンに失敗
16：ファイルの書込みに失敗
17：ファイルの読込みに失敗
18：パラメータ解析に失敗
30：AWSサービスエラー
31：AWSクライアントエラー
32：AWS/S3上に指定バケットが存在しない
33：AWS/S3上に指定URIが存在しない
3.8.4.2. AWS/Elastic MapReduce 操作¶
3.8.4.2.1. AWS/MapReduceジョブフロー登録¶
- 指定形式
sjPEX_AWSFunctions -m MR -exec crt -ak アクセスキーID -sk シークレットアクセスキー -reg AWSリージョン -inc EC2インスタンス数 -mit EC2マスタインスタンスタイプ -sit EC2スレーブインスタンスタイプ -jfnジョブフロー名 -vpc サブネットID -luri ジョブフロー稼働ログ出力先URI
- 目的
AWS/Elastic MapReduceジョブフローの登録を行います。ジョブフローの登録に成功した場合、AWS/Elastic MapReduceサービスからジョブフローIDが割り当てられます。
- オプション
- アクセスキーID
- AWS接続用のアクセスキーIDを指定します。
sj_aws.iniで指定している場合は、省略可能です。
- シークレットアクセスキー
- AWS接続用のシークレットアクセスキーを指定します。
sj_aws.iniで指定している場合は、省略可能です。
- AWSリージョン
- AWSの接続先リージョンを指定します。
sj_aws.iniで指定している場合は、省略可能です。
- EC2インスタンス数
- AWS/MRジョブフローを実行するEC2インスタンス数を指定します。
sj_aws.iniで指定している場合は、省略可能です。省略した場合は、デフォルト値が設定されます。
- EC2マスタインスタンスタイプ
- AWS/MRジョブフローを実行するEC2インスタンスタイプを指定します。
sj_aws.iniで指定している場合は、省略可能です。省略した場合は、デフォルト値が設定されます。
- EC2スレーブインスタンスタイプ
- AWS/MRジョブフローを実行するEC2インスタンスタイプを指定します。
sj_aws.iniで指定している場合は、省略可能です。省略した場合は、デフォルト値が設定されます。
- サブネットID
- クラスターを起動するVPCのサブネットIDを指定します。
省略した場合は、デフォルトVPCのサブネットにてクラスターが起動します。
- AWS/MapReduceジョブフローログ出力URI
- AWS/MapReduceジョブフローの稼働ログのURIを指定します。
sj_aws.iniで指定している場合は、省略可能です。
- 標準出力
- (例)
$ sjPEX_AWSFunctions -m MR -exec crt -reg ap-northeast-1 -inc 3 -mit m1.medium -sit m1.medium -jfn emr-test -luri s3://aws-bucket/emr MR:CRT OK 0 j-35E23QEM6JNWG emr-test
- 終了ステータス
0 ：正常終了
11：システムエラー
12：環境変数の取得に失敗
18：パラメータ解析に失敗
30：AWSサービスエラー
31：AWSクライアントエラー
34：AWS/Elastic MapReduce上に指定したジョブフローIDが存在しない
35：AWS/Elastic MapReduce上のジョブフローが既に終了している
3.8.4.2.2. AWS/MapReduceジョブフローステータスチェック¶
- 指定形式
sjPEX_AWSFunctions -m MR -exec chkj -ak アクセスキーID -sk シークレットアクセスキー -reg AWSリージョン -jid ジョブフローID
- 目的
AWS/Elastic MapReduceジョブフローのステータスチェックを行います。
- オプション
- アクセスキーID
- AWS接続用のアクセスキーIDを指定します。
sj_aws.iniで指定している場合は、省略可能です。
- シークレットアクセスキー
- AWS接続用のシークレットアクセスキーを指定します。
sj_aws.iniで指定している場合は、省略可能です。
- AWSリージョン
- AWSの接続先リージョンを指定します。
sj_aws.iniで指定している場合は、省略可能です。
- ジョブフローID
- AWS/MRジョブフローのジョブフローIDを指定します。
ジョブフローIDは、「AWS/MapReduceジョブフロー登録」で割り当てられた値を指定して下さい。
- 実行結果
- (例)
$ sjPEX_AWSFunctions -m MR -exec chkj -reg ap-northeast-1 -jid j-35E23QEM6JXXX MR:CHK STARTING 0 j-35E23QEM6JXXX emr-test Configuring cluster software
- 終了ステータス
0 ：正常終了
11：システムエラー
12：環境変数の取得に失敗
18：パラメータ解析に失敗
30：AWSサービスエラー
31：AWSクライアントエラー
34：AWS/Elastic MapReduce上に指定したジョブフローIDが存在しない
35：AWS/Elastic MapReduce上のジョブフローが既に終了している
3.8.4.2.3. AWS/MapReduceジョブステップ追加・実行¶
- 指定形式
sjPEX_AWSFunctions -m MR -exec run -ak アクセスキーID -sk シークレットアクセスキー -reg AWSリージョン -jidジョブフローID -juri JarURI -mc Jarメインクラス -iuri JarインプットURI -orui JarアプトプットURI -args Jarパラメータ
- 目的
既に登録されているAWS/Elastic MapReduceジョブフローにカスタムJARジョブステップの追加・実行を行います。
- オプション
- アクセスキーID
- AWS接続用のアクセスキーIDを指定します。
sj_aws.iniで指定している場合は、省略可能です。
- シークレットアクセスキー
- AWS接続用のシークレットアクセスキーを指定します。
sj_aws.iniで指定している場合は、省略可能です。
- AWSリージョン
- AWSの接続先リージョンを指定します。
sj_aws.iniで指定している場合は、省略可能です。
- ジョブフローID
- AWS/MRジョブフローのジョブフローIDを指定します。
ジョブフローIDは、「AWS/MapReduceジョブフロー登録」で割り当てられた値を指定して下さい。
- 実行結果
- (例)
$ sjPEX_AWSFunctions -m MR -exec run -reg ap-northeast-1 -jid j-35E23QEM6JNWG -juri s3://aws-bucket/emr/emr-customjar.jar -mc main -jsn Step1 -iuri s3://aws-bucket/emr/in -ouri s3://aws-bucket/emr/out -args arg1,arg2,arg3 MR:RUN OK 0 j-35E23QEM6JNWG emr-test Step1
- 終了ステータス
0 ：正常終了
11：システムエラー
12：環境変数の取得に失敗
18：パラメータ解析に失敗
30：AWSサービスエラー
31：AWSクライアントエラー
34：AWS/Elastic MapReduce上に指定したジョブフローIDが存在しない
35：AWS/Elastic MapReduce上のジョブフローが既に終了している
3.8.4.2.4. AWS/MapReduceジョブステップステータスチェック¶
- 指定形式
sjPEX_AWSFunctions -m MR -exec chks -ak アクセスキーID -sk シークレットアクセスキー -reg AWSリージョン -jid ジョブフローID
- 目的
AWS/Elastic MapReduceジョブステップのステータスチェックを行います。
- オプション
- アクセスキーID
- AWS接続用のアクセスキーIDを指定します。
sj_aws.iniで指定している場合は、省略可能です。
- シークレットアクセスキー
- AWS接続用のシークレットアクセスキーを指定します。
sj_aws.iniで指定している場合は、省略可能です。
- AWSリージョン
- AWSの接続先リージョンを指定します。
sj_aws.iniで指定している場合は、省略可能です。
- ジョブフローID
- AWS/MRジョブフローのジョブフローIDを指定します。
ジョブフローIDは、「AWS/MapReduceジョブフロー登録」で割り当てられた値を指定して下さい。
- 実行結果
- (例1)
$ sjPEX_AWSFunctions -m MR -exec chks -reg ap-northeast-1 -jid j-35E23QEM6JNWG MR:CHK RUNNING 0 j-35E23QEM6JNWG emr-test Step1 Running step
- 終了ステータス
0 ：正常終了
11：システムエラー
12：環境変数の取得に失敗
18：パラメータ解析に失敗
30：AWSサービスエラー
31：AWSクライアントエラー
34：AWS/Elastic MapReduce上に指定したジョブフローIDが存在しない
35：AWS/Elastic MapReduce上のジョブフローが既に終了している
3.8.4.2.5. AWS/MapReduceジョブフロー停止¶
- 指定形式
sjPEX_AWSFunctions -m MR -exec trm -ak アクセスキーID -sk シークレットアクセスキー -reg AWSリージョン -jid ジョブフローID
- 目的
既に登録されているAWS/Elastic MapReduceジョブフローの停止を行います。
- オプション
- アクセスキーID
- AWS接続用のアクセスキーIDを指定します。
sj_aws.iniで指定している場合は、省略可能です。
- シークレットアクセスキー
- AWS接続用のシークレットアクセスキーを指定します。
sj_aws.iniで指定している場合は、省略可能です。
- AWSリージョン
- AWSの接続先リージョンを指定します。
sj_aws.iniで指定している場合は、省略可能です。
- ジョブフローID
- AWS/MRジョブフローのジョブフローIDを指定します。
ジョブフローIDは、「AWS/MapReduceジョブフロー登録」で割り当てられた値を指定して下さい。
- 実行結果
- (例)
$ sjPEX_AWSFunctions -m MR -exec trm -reg ap-northeast-1 -jid j-35E23QEM6JNWG MR:TRM OK 0 j-35E23QEM6JNWG emr-test
- 終了ステータス
0 ：正常終了
11：システムエラー
12：環境変数の取得に失敗
18：パラメータ解析に失敗
30：AWSサービスエラー
31：AWSクライアントエラー
34：AWS/Elastic MapReduce上に指定したジョブフローIDが存在しない
35：AWS/Elastic MapReduce上のジョブフローが既に終了している
3.8.4.3. AWS/Lambda Function 操作¶
3.8.4.3.1. AWS/Lambda Functionの実行¶
- 指定形式
sjPEX_AWSFunctions -m LS -fnm Lambdaファンクション名 -lreg AWSリージョン -ak アクセスキーID -sk シークレットアクセスキー -cctf ファンクションパラメータ(JSONファイル名) -p プロファイル名 -ar ロールARN -ei AWS外部ID
- 目的
引数に指定された内容でAWS/Lambda Functionを実行し、実行結果を出力します。
- オプション
- Lambdaファンクション名
Lambda Function名を指定します。省略不可です。
- AWSリージョン
Lambda Function所属のリージョンを指定します。省略不可です。
- アクセスキーID
AWS接続用のアクセスキーIDを指定します。sj_aws.iniで指定している場合またはロール認証する場合は、省略可能です。
- シークレットアクセスキー
AWS接続用のシークレットアクセスキーを指定します。sj_aws.iniで指定している場合またはロール認証する場合は、省略可能です。
- ファンクションパラメータ(JSONファイル名)
Lambda Functionへ渡すJSONファイル名を指定します。省略可能です。
- プロファイル名
ロール認証に使用されるプロファイルを指定します。省略可能です。
- ロールARN
ロール認証に使用されるロールARNを指定します。省略可能です。
- AWS外部ID
ロール認証に使用される外部IDを指定します。省略可能です。
- 実行結果
- (例)
$ sjPEX_AWSFunctions -m LS -fnm FunctionTest -lreg ap-northeast-1 -cctf /home/senju/tmpout/cct.json -p myprofile LS OK 0 ae89055c-3006-47be-8db4-3dbb008b2a3a FunctionTest StatusCode:200, Duration: 14016.09 ms Billed Duration: 14017 ms Memory Size: 512 MB Max Memory Used: 36 MB Init Duration: 114.35 ms
- 終了ステータス
0 ：正常終了
11：システムエラー
12：環境変数の取得に失敗
15：ファイルオープンエラー
17：ファイル読み取りエラー
18：パラメータ解析に失敗
30：AWSサービスエラー
31：AWSクライアントエラー
40：Lambda Function実行エラー
3.8.4.4. AWS/Step Functions 操作¶
3.8.4.4.1. AWS/Step Functionsの実行¶
- 指定形式
sjPEX_AWSFunctions -m SF -exec run -ak アクセスキーID -sk シークレットアクセスキー -smn ステートマシンARN -exn 実行名 -sync -cctf ファンクションパラメータ(JSONファイル名)
- 目的
引数に指定された内容でAWS/Step Functionsを実行します。
- オプション
- アクセスキーID
AWS接続用のアクセスキーIDを指定します。sj_aws.iniで指定している場合は、省略可能です。
- シークレットアクセスキー
AWS接続用のシークレットアクセスキーを指定します。sj_aws.iniで指定している場合は、省略可能です。
- ステートマシンARN
AWS/Step Functions上のステートマシンARNを指定します。省略不可です。
- 実行名
AWS/Step Functions上のステートマシン実行時の識別名を指定します。省略可能です。
- sync
ワークフローの実行開始時の同期開始指定(-sync)。Expressワークフローで実行結果を取得したい場合に指定してください。省略可能です。
- ファンクションパラメータ(JSONファイル名)
ステートマシンへ渡すパラメータを記述したJSONファイル名を指定します。省略可能です。
- 実行結果
- (例1)
$ sjPEX_AWSFunctions -m SF -exec run -smn arn:aws:states:ap-northeast-1:181889877882:stateMachine:SFTest -exn test -cctf /home/senju/tmpout/cct.json SF:RUN OK 0 SFTest arn:aws:states:ap-northeast-1:181889877882:execution:SFTest:test 20220826-152425 - STARTED
- (例2)
$ sjPEX_AWSFunctions -m SF -exec run -smn arn:aws:states:ap-northeast-1:181889877882:stateMachine:ExpressTest -exn test -sync -cctf /home/senju/tmpout/cct.json SF:RUN OK 0 ExpressTest arn:aws:states:ap-northeast-1:181889877882:express:ExpressTest:test:f34499a3-cd5c-4540-b745-c2de2583dffe 20220826-135451 - 20220826-135451 SUCCEEDED
- 終了ステータス
0 ：正常終了
11：システムエラー
12：環境変数の取得に失敗
15：ファイルオープンエラー
16：ファイル書き込みエラー
17：ファイル読み取りエラー
18：パラメータ解析に失敗
30：AWSサービスエラー
31：AWSクライアントエラー
3.8.4.4.2. AWS/Step Functionsのステータスチェック¶
- 指定形式
sjPEX_AWSFunctions -m SF -exec chk -ak アクセスキーID -sk シークレットアクセスキー -exn 実行ARN
- 目的
実行されたAWS/Step Functionsステートマシンの現在の状態を確認します。
- オプション
- アクセスキーID
AWS接続用のアクセスキーIDを指定します。sj_aws.iniで指定している場合は、省略可能です。
- シークレットアクセスキー
AWS接続用のシークレットアクセスキーを指定します。sj_aws.iniで指定している場合は、省略可能です。
- 実行ARN
- AWS/Step Functionsステートマシンの実行ARNを指定します。省略不可です。
標準タイプのステートマシンの実行ARNを指定して下さい。Expressタイプの状態は取得できません。
- 実行結果
- (例)
$ sjPEX_AWSFunctions -m SF -exec chk -exn arn:aws:states:ap-northeast-1:181889877882:execution:SFTest:test SF:CHK OK 0 SFTest arn:aws:states:ap-northeast-1:181889877882:execution:SFTest:test 20220826-144738 - RUNNING
- 終了ステータス
0 ：正常終了
11：システムエラー
12：環境変数の取得に失敗
15：ファイルオープンエラー
16：ファイル書き込みエラー
17：ファイル読み取りエラー
18：パラメータ解析に失敗
30：AWSサービスエラー
31：AWSクライアントエラー
3.8.4.4.3. AWS/Step Functionsの停止¶
- 指定形式
sjPEX_AWSFunctions -m SF -exec trm -ak アクセスキーID -sk シークレットアクセスキー -exn 実行ARN -cause 停止理由
- 目的
既に実行されているAWS/Step Functionsステートマシンの停止を行います。
- オプション
- アクセスキーID
AWS接続用のアクセスキーIDを指定します。sj_aws.iniで指定している場合は、省略可能です。
- シークレットアクセスキー
AWS接続用のシークレットアクセスキーを指定します。sj_aws.iniで指定している場合は、省略可能です。
- 実行ARN
- AWS/Step Functionsステートマシンの実行ARNを指定します。省略不可です。
標準タイプのステートマシンの実行ARNを指定して下さい。Expressタイプは停止できません。
- 停止理由
- AWS/Step Functionsステートマシンを強制停止する理由を指定します。省略可能です。
省略した場合、Causeには"Forced stop"が設定されます。
- 実行結果
(例1)
$ sjPEX_AWSFunctions -m SF -exec trm -exn arn:aws:states:ap-northeast-1:181889877882:execution:SFTest:test -cause stop SF:TRM OK 0 arn:aws:states:ap-northeast-1:181889877882:execution:HelloWorld:stoptest06 - 20220826-152437
(例2)
$ sjPEX_AWSFunctions -m SF -exec trm -exn arn:aws:states:ap-northeast-1:181889877882:express:ExpressTest:test:f34499a3-cd5c-4540-b745-c2de2583dffe SF:TRM OK 0 arn:aws:states:ap-northeast-1:181889877882:express:ExpressTest:test:f34499a3-cd5c-4540-b745-c2de2583dffe - NOT SUPPORTED
- 終了ステータス
0 ：正常終了
11：システムエラー
12：環境変数の取得に失敗
15：ファイルオープンエラー
16：ファイル書き込みエラー
17：ファイル読み取りエラー
18：パラメータ解析に失敗
30：AWSサービスエラー
31：AWSクライアントエラー
3.8.4.5. Azure/Durable Functions 操作¶
3.8.4.5.1. Azure/Durable Functionsの実行¶
- 指定形式
sjPEX_AzureFunctions -furl ファンクションURL -ofnm Orchestratorファンクション名
- 目的
引数に指定された内容でAzure/Durable Functionsを実行し、実行結果を出力します。
- オプション
- ファンクションURL
Durable FunctionsのURLを指定します。省略不可です。
- Orchestratorファンクション名
Durable FunctionsのOrchestratorファンクション名を指定します。省略不可です。
- 実行結果
- (例)
2019/09/10 14:32:54 DF OK 0 b25fc5bdf8a94b35814530e2b17d18dd https://functionapphmc.azurewebsites.net/runtime/webhooks/durabletask/instances/b25fc5bdf8a94b35814530e2b17d18dd?taskHub=DurableFunctionsHub&connection=Storage&code=R4ad/aGzl7i0usBMq8xu0HnTLBgWetyHaxzknlIldJNITnCrjaUZaQ== DurableFunctionsOrchestrator1 [Hello Tokyo! Hello Seattle! Hello London!]
- 終了ステータス
0 ：正常終了
11：システムエラー
15：ファイルオープンエラー
17：ファイル読み取りエラー
18：パラメータ解析に失敗
41：Durable Functions実行エラー
3.8.4.6. Google Cloud Functions 操作¶
3.8.4.6.1. Google Cloud Functionsの実行¶
- 指定形式
sjPEX_GCPFunctions -gfnm Google Cloudファンクション名 -gfr Google Cloudリージョン -gfdf ファンクションパラメータ（JSONファイル名） -gaf Google Cloudの認証ファイル
- 目的
引数に指定された内容でGoogle Cloud Functionsを実行し、実行結果を出力します。
- オプション
- Google Cloudファンクション名
Cloud Functionsの名前を指定します。省略不可です。
- Google Cloudリージョン
Cloud Functionsが存在するリージョンを指定します。省略不可です。
- ファンクションパラメータ（JSONファイル名）
Cloud Functionsへ渡す引数が記載されたJSONファイルを絶対パスで指定します。必要ない場合は省略可能です。
- Google Cloudの認証ファイル
Google CloudのAPIキー認証ファイルを絶対パスで指定します。省略可能です。
- 実行結果
- (例)
2020/03/03 09:02:28 GF OK 0 test-develop lj0n7yjr9hfx myFunctionTest hello world
- 終了ステータス
0 ：正常終了
11：システムエラー
15：ファイルオープンエラー
17：ファイル読み取りエラー
18：パラメータ解析に失敗
42：Cloud Functions実行エラー
3.8.4.7. Google Cloud Composer 操作¶
3.8.4.7.1. タスクのクリア・起動コマンドの実行¶
- 指定形式
sjPEX_GCPCloudComposer -m ctk -pj projectId -env environment -loc location -did DAGID -tr taskRegex -us upstream -ds downstream -of onlyFailed -sd 開始日付 -ed 終了日付 -gaf 認証ファイル
- 目的
引数に指定された内容でタスクのクリア・起動を行い、実行結果を出力します。
- オプション
- モード
ctkで指定します。省略不可です。
- projectId
composer環境が所属するプロジェクトIDを指定します。省略不可です。
- environment
composer環境の名称を指定します。省略不可です。
- location
composer環境のlocationを指定します。省略不可です。
- DAGID
DAGIDを指定します。省略不可です。
- taskRegex
タスク正規表現を指定します。省略可能です。
- upstream
false:指定したタスクのみクリア; true:upstreamタスクもクリアします。省略可能です。
- downstream
false:指定したタスクのみクリア; true:downstreamタスクもクリアします。省略可能です。
- onlyFailed
false:条件を満たすタスクをクリア; true:Failedのタスクのみクリアします。省略可能です。
- 開始日付
開始日付(UTC)を指定します。(YYYY-MM-DD;YYYY-MM-DDT00:00:00.949358+00:00)。省略可能です。
- 終了日付
終了日付(UTC)を指定します。(YYYY-MM-DD;YYYY-MM-DDT00:00:00.949358+00:00)。省略可能です。
- Google Cloudの認証ファイル
Google CloudのAPIキー認証ファイルを絶対パスで指定します。省略可能です。
- 実行結果
- (例)
$ sjPEX_GCPCloudComposer -m ctk -env environment -loc location -did DAGID -tr taskRegex -sd 開始日付 -ed 終了日付 -gaf 認証ファイル clearTask was successfully executed.
- 終了ステータス
0 ：正常終了
11：システムエラー
15：ファイルオープンエラー
17：ファイル読み取りエラー
18：パラメータ解析に失敗
67：clearTask実行エラー
3.8.4.7.2. タスクのMark Failedコマンドの実行¶
- 指定形式
sjPEX_GCPCloudComposer -m mf -url airflowWebUi -did DAGID -tid タスクID -exed 実行日付 -us upstream -ds downstream -gaf 認証ファイル
- 目的
引数に指定された内容でタスクのMark Failedを行い、実行結果を出力します。
- オプション
- モード
mfで指定します。省略不可です。
- airflowWebUi
composer環境のairflowWebUiを指定します。省略不可です。
- DAGID
DAGIDを指定します。省略不可です。
- タスクID
タスクIDを指定します。省略不可です。
- 実行日付
executionDateを指定します。省略不可です。
- upstream
false:指定したタスクのみ実施;true:upstreamタスクも実施します。省略可能です。
- downstream
false:指定したタスクのみ実施;true:downstreamタスクも実施します。省略可能です。
- Google Cloudの認証ファイル
Google CloudのAPIキー認証ファイルを絶対パスで指定します。省略可能です。
- 実行結果
- (例)
$ sjPEX_GCPCloudComposer -m mf -url airflowWebUi -did DAGID -tid タスクID -exed 実行日付 -gaf 認証ファイル markFailed was successfully executed.
- 終了ステータス
0 ：正常終了
11：システムエラー
15：ファイルオープンエラー
17：ファイル読み取りエラー
18：パラメータ解析に失敗
68：markFailed実行エラー
3.8.4.7.3. DAGのMark Failedコマンドの実行¶
- 指定形式
sjPEX_GCPCloudComposer -m dmf -url airflowWebUi -did DAGID -eid 実行ID -gaf 認証ファイル
- 目的
引数に指定された内容でDAGのMark Failedを行い、実行結果を出力します。
- オプション
- モード
dmfで指定します。省略不可です。
- airflowWebUi
composer環境のairflowWebUiを指定します。省略不可です。
- DAGID
DAGIDを指定します。省略不可です。
- 実行ID
実行IDを指定します。省略不可です。
- Google Cloudの認証ファイル
Google CloudのAPIキー認証ファイルを絶対パスで指定します。省略可能です。
- 実行結果
- (例)
$ sjPEX_GCPCloudComposer -m dmf -url airflowWebUi -did DAGID -eid 実行ID -gaf 認証ファイル dagMarkFailed was successfully executed.
- 終了ステータス
0 ：正常終了
11：システムエラー
15：ファイルオープンエラー
17：ファイル読み取りエラー
18：パラメータ解析に失敗
74：dagMarkFailed実行エラー
3.8.4.7.4. タスクの強制起動コマンドの実行¶
- 指定形式
sjPEX_GCPCloudComposer -m trk -pj projectId -env environment -loc location -did DAGID -tid タスクID -eid 実行ID(実行日付) -igd ignoreDependencies -f force -gaf 認証ファイル
- 目的
引数に指定された内容でタスクの強制起動を実施し、実行結果を出力します。
- オプション
- モード
trkで指定します。省略不可です。
- projectId
composer環境が所属するプロジェクトIDを指定します。省略不可です。
- environment
composer環境の名称を指定します。省略不可です。
- location
composer環境のlocationを指定します。省略不可です。
- DAGID
DAGIDを指定します。省略不可です。
- タスクID
タスクIDを指定します。省略不可です。
- 実行ID(実行日付)
実行ID(実行日付)を指定します。(日付例：2022-09-24T12:51:13.063238+00:00)。省略不可です。
- ignoreDependencies
false:先行が終わらないと実施しない;true:先行が終わらなくても実施します。省略可能です。
- force
false:Success済みは実施しない;true:Success済みでも実施します。省略可能です。
- Google Cloudの認証ファイル
Google CloudのAPIキー認証ファイルを絶対パスで指定します。省略可能です。
- 実行結果
- (例)
$ sjPEX_GCPCloudComposer -m trk -pj projectId -env environment -loc location -did DAGID -tid タスクID -eid 実行ID(実行日付) -igd ignoreDependencies -f force -gaf 認証ファイル taskRun was successfully executed.
- 終了ステータス
0 ：正常終了
11：システムエラー
15：ファイルオープンエラー
17：ファイル読み取りエラー
18：パラメータ解析に失敗
70：taskRun実行エラー
3.8.4.7.5. DAGの強制起動コマンドの実行¶
- 指定形式
sjPEX_GCPCloudComposer -m dr -url airflowWebUi -did DAGID -eid 実行ID -ld logicalDate -df DAGパラメータ(JSONファイル名) -gaf 認証ファイル
- 目的
引数に指定された内容でDAGの強制起動を実施し、実行結果を出力します。
- オプション
- モード
drで指定します。省略不可です。
- airflowWebUi
composer環境が所属するプロジェクトIDを指定します。省略不可です。
- DAGID
DAGIDを指定します。省略不可です。
- 実行ID
実行IDを指定します。(未指定の場合、GCPにより自動採番)。省略可能です。
- logicalDate
logicalDateを指定します。(日付例：2023-02-07T09:15:00+00:00)。省略可能です。
- DAGパラメータ(JSONファイル名)
jsonファイルで「DAGへ渡すパラメータ」を指定します。省略可能です。
- Google Cloudの認証ファイル
Google CloudのAPIキー認証ファイルを絶対パスで指定します。省略可能です。
- 実行結果
- (例)
$ sjPEX_GCPCloudComposer -m dr -url airflowWebUi -did DAGID -eid 実行ID -ld logicalDate -df JSONファイル名 -gaf 認証ファイル dagRun was successfully executed.
- 終了ステータス
0 ：正常終了
11：システムエラー
15：ファイルオープンエラー
17：ファイル読み取りエラー
18：パラメータ解析に失敗
76：dagRun実行エラー
3.8.4.7.6. DAGをPauseにするコマンドの実行¶
- 指定形式
sjPEX_GCPCloudComposer -m p -url airflowWebUi -did DAGID -gaf 認証ファイル
- 目的
引数に指定された内容で対象DAGをPauseにし、実行結果を出力します。
- オプション
- モード
pで指定します。省略不可です。
- airflowWebUi
composer環境が所属するプロジェクトIDを指定します。省略不可です。
- DAGID
DAGIDを指定します。省略不可です。
- Google Cloudの認証ファイル
Google CloudのAPIキー認証ファイルを絶対パスで指定します。省略可能です。
- 実行結果
- (例)
$ sjPEX_GCPCloudComposer -m p -url airflowWebUi -did DAGID -gaf 認証ファイル pause was successfully executed.
- 終了ステータス
0 ：正常終了
11：システムエラー
15：ファイルオープンエラー
17：ファイル読み取りエラー
18：パラメータ解析に失敗
71：pause実行エラー
3.8.4.7.7. DAGをUnpauseにするコマンドの実行¶
- 指定形式
sjPEX_GCPCloudComposer -m up -url airflowWebUi -did DAGID -gaf 認証ファイル
- 目的
引数に指定された内容で対象DAGをUnpauseにし、実行結果を出力します。
- オプション
- モード
upで指定します。省略不可です。
- airflowWebUi
composer環境が所属するプロジェクトIDを指定します。省略不可です。
- DAGID
DAGIDを指定します。省略不可です。
- Google Cloudの認証ファイル
Google CloudのAPIキー認証ファイルを絶対パスで指定します。省略可能です。
- 実行結果
- (例)
$ sjPEX_GCPCloudComposer -m up -url airflowWebUi -did DAGID -gaf 認証ファイル unPause was successfully executed.
- 終了ステータス
0 ：正常終了
11：システムエラー
15：ファイルオープンエラー
17：ファイル読み取りエラー
18：パラメータ解析に失敗
72：unPause実行エラー
3.8.4.7.8. タスクのMark Successコマンドの実行¶
- 指定形式
sjPEX_GCPCloudComposer -m ms -url airflowWebUi -did DAGID -tid タスクID -exed 実行日付 -us upstream -ds downstream -gaf 認証ファイル
- 目的
引数に指定された内容でタスクのMark Successを行い、実行結果を出力します。
- オプション
- モード
msで指定します。省略不可です。
- airflowWebUi
composer環境が所属するプロジェクトIDを指定します。省略不可です。
- DAGID
DAGIDを指定します。省略不可です。
- タスクID
タスクIDを指定します。省略不可です。
- 実行日付
executionDateを指定します。省略不可です。
- upstream
false:指定したタスクのみ実施;true:upstreamタスクも実施します。省略可能です。
- downstream
false:指定したタスクのみ実施;true:downstreamタスクも実施します。省略可能です。
- Google Cloudの認証ファイル
Google CloudのAPIキー認証ファイルを絶対パスで指定します。省略可能です。
- 実行結果
- (例)
$ sjPEX_GCPCloudComposer -m ms -url airflowWebUi -did DAGID -tid タスクID -exed 実行日付 -us false -gaf 認証ファイル markSuccess was successfully executed.
- 終了ステータス
0 ：正常終了
11：システムエラー
15：ファイルオープンエラー
17：ファイル読み取りエラー
18：パラメータ解析に失敗
69：markSuccess実行エラー
3.8.4.7.9. DAGのMark Successコマンドの実行¶
- 指定形式
sjPEX_GCPCloudComposer -m dms -url airflowWebUi -did DAGID -eid 実行ID -gaf 認証ファイル
- 目的
引数に指定された内容でDAGのMark Successを行い、実行結果を出力します。
- オプション
- モード
dmsで指定します。省略不可です。
- airflowWebUi
composer環境のairflowWebUiを指定します。省略不可です。
- DAGID
DAGIDを指定します。省略不可です。
- 実行ID
実行IDを指定します。省略不可です。
- Google Cloudの認証ファイル
Google CloudのAPIキー認証ファイルを絶対パスで指定します。省略可能です。
- 実行結果
- (例)
$ sjPEX_GCPCloudComposer -m dms -url airflowWebUi -did DAGID -eid 実行ID -gaf 認証ファイル dagMarkSuccess was successfully executed.
- 終了ステータス
0 ：正常終了
11：システムエラー
15：ファイルオープンエラー
17：ファイル読み取りエラー
18：パラメータ解析に失敗
75：dagMarkSuccess実行エラー
3.8.4.7.10. 環境変数を設定_追加コマンドの実行¶
- 指定形式
sjPEX_GCPCloudComposer -m av -url airflowWebUi -k key -v value -gaf 認証ファイル
- 目的
引数に指定された内容で環境変数に値を追加し、実行結果を出力します。
- オプション
- モード
avで指定します。省略不可です。
- airflowWebUi
composer環境が所属するプロジェクトIDを指定します。省略不可です。
- key
variableKeyを指定します。省略不可です。
- value
追加したいValueを指定します。([]で囲む。例:[a1][a2][a3]。Linuxの場合、"["、"]"の前にを付ける必要あり)。省略不可です。
- Google Cloudの認証ファイル
Google CloudのAPIキー認証ファイルを絶対パスで指定します。省略可能です。
- 実行結果
- (例)
$ sjPEX_GCPCloudComposer -m av -url airflowWebUi -k skip_dag_list -v [a1][a3] -gaf 認証ファイル addVariable was successfully executed. Create a new key "skip_dag_list" because the specified key does not exist. key： skip_dag_list addValue： [a1][a3]
- 終了ステータス
0 ：正常終了
11：システムエラー
15：ファイルオープンエラー
17：ファイル読み取りエラー
18：パラメータ解析に失敗
77addVariable実行エラー
3.8.4.7.11. 環境変数を設定_削除コマンドの実行¶
- 指定形式
sjPEX_GCPCloudComposer -m dv -url airflowWebUi -k key -v value -gaf 認証ファイル
- 目的
引数に指定された内容で環境変数から値を削除し、実行結果を出力します。
- オプション
- モード
dvで指定します。省略不可です。
- airflowWebUi
composer環境が所属するプロジェクトIDを指定します。省略不可です。
- key
variableKeyを指定します。省略不可です。
- value
削除したいValueを指定します。([]で囲む。例:[a1][a2][a3]。Linuxの場合、"["、"]"の前にを付ける必要あり)。省略不可です。
- Google Cloudの認証ファイル
Google CloudのAPIキー認証ファイルを絶対パスで指定します。省略可能です。
- 実行結果
- (例)
$ sjPEX_GCPCloudComposer -m dv -url airflowWebUi -k skip_dag_list -v [a2][a3][a4] -gaf 認証ファイル delVariable was successfully executed. key： skip_dag_list delValue： [a2][a3] key： skip_dag_list skipValue： [a4]
- 終了ステータス
0 ：正常終了
11：システムエラー
15：ファイルオープンエラー
17：ファイル読み取りエラー
18：パラメータ解析に失敗
78：delVariable実行エラー
3.8.4.7.12. DAGの状態一覧を取得コマンドの実行¶
- 指定形式
sjPEX_GCPCloudComposer -m ld -url airflowWebUi -did DAGID -l limit -s ソート順 -edg 開始日付 -edl 終了日付 -gaf 認証ファイル
- 目的
引数に指定された内容でDAGの状態一覧を取得し、実行結果を出力します。
- オプション
- モード
ldで指定します。省略不可です。
- airflowWebUi
composer環境が所属するプロジェクトIDを指定します。省略不可です。
- DAGID
DAGIDを指定します。省略不可です。
- limit
取得の上限件数を指定します。(最大100件まで)。省略可能です。
- ソート順
ソート条件を指定します。（execution_date：昇順；-execution_date:降順）。省略可能です。
- 開始日付
取得範囲の開始日付を指定します。省略可能です。
- 終了日付
取得範囲の終了日付を指定します。省略可能です。
- Google Cloudの認証ファイル
Google CloudのAPIキー認証ファイルを絶対パスで指定します。省略可能です。
- 実行結果
- (例)
$ sjPEX_GCPCloudComposer -m ld -url airflowWebUi -did DAGID -l limit -s ソート順 -edg 開始日付 -edl 終了日付 -gaf 認証ファイル listDAG was successfully executed. { "dag_runs": [ { "conf": {}, "dag_id": "composer_quickstart", "dag_run_id": "scheduled__2022-05-16T08:31:04.518480+00:00", "end_date": "2022-05-17T08:31:09.974760+00:00", "execution_date": "2022-05-16T08:31:04.518480+00:00", "external_trigger": false, "logical_date": "2022-05-16T08:31:04.518480+00:00", "start_date": "2022-05-17T08:31:05.805751+00:00", "state": "success" }, { "conf": {}, "dag_id": "composer_quickstart", "dag_run_id": "manual__2022-05-17T10:41:53.513645+00:00", "end_date": "2022-05-17T10:42:00.798525+00:00", "execution_date": "2022-05-17T10:41:53.513645+00:00", "external_trigger": true, "logical_date": "2022-05-17T10:41:53.513645+00:00", "start_date": "2022-05-17T10:41:54.902172+00:00", "state": "success" }, ・・・ ・・・ ・・・ ], "total_entries": 112 }
- 終了ステータス
0 ：正常終了
11：システムエラー
15：ファイルオープンエラー
17：ファイル読み取りエラー
18：パラメータ解析に失敗
73：listDag実行エラー
3.8.4.7.13. 起動したタスクの情報取得コマンドの実行¶
- 指定形式
sjPEX_GCPCloudComposer -m gt -url airflowWebUi -did DAGID -eid 実行ID -tid タスクID -gaf 認証ファイル
- 目的
引数に指定された内容で起動したタスク情報を取得し、実行結果を出力します。
- オプション
- モード
gtで指定します。省略不可です。
- airflowWebUi
composer環境が所属するプロジェクトIDを指定します。省略不可です。
- DAGID
DAGIDを指定します。省略不可です。
- 実行ID
実行IDを指定します。省略不可です。
- タスクID
タスクIDを指定します。省略不可です。
- Google Cloudの認証ファイル
Google CloudのAPIキー認証ファイルを絶対パスで指定します。省略可能です。
- 実行結果
- (例)
$ sjPEX_GCPCloudComposer -m gt -url airflowWebUi -did DAGID -eid 実行ID -tid タスクID -gaf 認証ファイル getTask was successfully executed. { "dag_id": "composer_quickstart_230814", "duration": 31.619697, "end_date": "2023-08-14T06:03:20.679962+00:00", "execution_date": "2023-08-14T06:02:22.577503+00:00", "executor_config": "{}", "hostname": "airflow-worker-pmnjs", "max_tries": 1, "operator": "BashOperator", "pid": 6781, "pool": "default_pool", "pool_slots": 1, "priority_weight": 2, "queue": "default", "queued_when": "2023-08-14T06:02:47.480766+00:00", "sla_miss": null, "start_date": "2023-08-14T06:02:49.060265+00:00", "state": "success", "task_id": "composer_quickstart_task_230814_bye2", "try_number": 1, "unixname": "airflow" }
- 終了ステータス
0 ：正常終了
11：システムエラー
15：ファイルオープンエラー
17：ファイル読み取りエラー
18：パラメータ解析に失敗
79：getTask実行エラー
3.8.4.7.14. DAGの基本情報取得コマンドの実行¶
- 指定形式
sjPEX_GCPCloudComposer -m gd -url airflowWebUi -did DAGID -gaf 認証ファイル
- 目的
引数に指定された内容でDAGの基本情報を取得し、実行結果を出力します。
- オプション
- モード
gdで指定します。省略不可です。
- airflowWebUi
composer環境が所属するプロジェクトIDを指定します。省略不可です。
- DAGID
DAGIDを指定します。省略不可です。
- Google Cloudの認証ファイル
Google CloudのAPIキー認証ファイルを絶対パスで指定します。省略可能です。
- 実行結果
- (例)
$ sjPEX_GCPCloudComposer -m gd -url airflowWebUi -did DAGID -gaf 認証ファイル getDag was successfully executed. { "dag_id": "composer_quickstart_230814", "description": null, "file_token": "Ii9ob21lL2FpcmZsb3cvZ2NzL2RhZ3MvY29tcG9zZXJfcXVpY2tzdGFydF8yMzA5MTQucHki.aKo3bDkE0S5ZyfrSN1agiw41wvA", "fileloc": "/home/airflow/gcs/dags/composer_quickstart_230914.py", "is_active": true, "is_paused": false, "is_subdag": false, "owners": [ "Composer test1" ], "root_dag_id": null, "schedule_interval": { "__type": "TimeDelta", "days": 1, "microseconds": 0, "seconds": 0 }, "tags": [] }
- 終了ステータス
0 ：正常終了
11：システムエラー
15：ファイルオープンエラー
17：ファイル読み取りエラー
18：パラメータ解析に失敗
80：getDag実行エラー
3.8.4.8. OCI/Functions 操作¶
3.8.4.8.1. OCI/Functionsの実行¶
- 指定形式
sjPEX_OCIFunctions -ofc OCIコンパートメント名 -ofa OCIアプリケーション名 -ofn OCIファンクション名 -ofpf ファンクションパラメータ（JSONファイル名） -ouf OCIの認証ファイル
- 目的
引数に指定された内容でOCI/Functionsを実行し、実行結果を出力します。
- オプション
- OCIコンパートメント名
Cloud コンパートメントの名前を指定します。省略不可です。
- OCIアプリケーション名
Cloud アプリケーションの名前を指定します。省略不可です。
- OCIファンクション名
Oracle Functionsの名前を指定します。省略不可です。
- ファンクションパラメータ（JSONファイル名）
Oracle Functionsへ渡す引数が記載されたJSONファイルを絶対パスで指定します。必要ない場合は省略可能です。
- OCIの認証ファイル
OCIのAPIキー認証ファイルを絶対パスで指定します。省略可能です。
- 実行結果
- (例)
2020/07/28 09:02:28 OF OK 0 d7be37df9c83ea9aa0b3294041bc1f60/01EG7W79QS1BT0S3RZJ004K3CE/01EG7W79QS1BT0S3RZJ004K3CF helloworld-app functions-func hello world
- 終了ステータス
0 ：正常終了
11：システムエラー
15：ファイルオープンエラー
17：ファイル読み取りエラー
18：パラメータ解析に失敗
46：Cloud Functions実行エラー
3.8.4.9. IBM Cloud Functions 操作¶
3.8.4.9.1. IBM Cloud Functionsの実行¶
- 指定形式
sjPEX_IBCFunctions -ins ネームスペースID -ifn IBM Cloudファンクション名 -ifdf ファンクションパラメータ（JSONファイル名） -iuf IBM Cloudの認証ファイル
- 目的
引数に指定された内容でIBM Cloud Functionsを実行し、実行結果を出力します。
- オプション
- ネームスペースID
ファンクションが所属するネームスペースIDを指定します。省略不可です。
- IBM Cloudファンクション名
Cloud Functionsの名前を指定します。省略不可です。
- ファンクションパラメータ（JSONファイル名）
Cloud Functionsへ渡す引数が記載されたJSONファイルを絶対パスで指定します。必要ない場合は省略可能です。
- IBM Cloudの認証ファイル
IBM Cloudの認証ファイルを絶対パスで指定します。省略可能です。
- 実行結果
- (例)
2020/03/03 09:02:28 IF OK 0 e98dee346eac54354545ef1 we323wew-1dc4-4567-453b-2w3e4r5t6ytr testFunc {"message","hello world"}
- 終了ステータス
0 ：正常終了
11：システムエラー
15：ファイルオープンエラー
17：ファイル読み取りエラー
18：パラメータ解析に失敗
57：Cloud Functions実行エラー
3.8.5. 制限事項¶
3.8.5.1. Job Scheduler for Cloudの制限事項¶
Job Scheduler for Cloudで利用する、AWS/Azure/Google Cloud/OCI/IBM Cloudの各サービスは利用状況により料金が発生します。詳細についてはAmazon Web Services/Microsoft Azure/Google Cloud/Oracle Cloud Infrastructure/IBM Cloudよりご確認下さい。
Job Scheduler for Cloudを利用する該当ノードのマシン時刻を未来に進めた状態でAWS/Azure/Google Cloud/OCI/IBM Cloudにアクセスすると通信エラーが発生する場合があります。
- sj_aws.iniおよびAWS/Elastic MapReduceジョブフロー実行ジョブに設定可能なAWSリージョンはAWSがElastic MapReduceサービスを提供しているリージョンに依存します。
以下に、AWSリージョンと設定する値の例を示します。詳細についてはAmazon Web Servicesよりご確認下さい。
AWSリージョン |
値 |
|---|---|
米国東部（バージニア） |
us-east-1 |
米国西部（カルフォルニア） |
us-west-1 |
米国西部（オレゴン） |
us-west-2 |
EU（アイルランド） |
eu-west-1 |
アジアパフィック（シンガポール） |
ap-southeast-1 |
アジアパフィック（東京） |
ap-northeast-1 |
- sj_aws.iniおよびAWS/Elastic MapReduce AWSジョブフロー実行ジョブに設定可能なEC2インスタンスタイプはAWS/EC2で利用可能なインスタンスタイプに依存します。
以下に、インスタンスタイプと設定する値の例を示します。詳細についてはAmazon Web Servicesよりご確認下さい。
インスタンスタイプ |
値 |
|---|---|
スモール インスタンス |
m1.small |
ラージ インスタンス |
m1.large |
エクストララージ インスタンス |
m1.xlarge |
マイクロインスタンス |
t1.micro |
ハイメモリ エクストララージ インスタンス |
m2.xlarge |
ハイメモリ ダブルエクストララージ インスタンス |
m2.2xlarge |
ハイメモリ クアドラプル エクストララージ インスタンス |
m2.4xlarge |
ハイ CPU ミディアム インスタンス |
c1.medium |
ハイ CPU エクストララージ インスタンス |
c1.xlarge |
クラスタコンピュート クアドラプル エクストララージ インスタンス |
cc1.4xlarge |
クラスタ GPU コンピュート クアドラプル エクストララージ インスタンス |
cg1.4xlarge |
- AWS/S3データ取得ジョブジョブで取得可能な最大ファイルサイズは300MByteです。
300MByteを超えたファイルを指定した場合はエラーとなります。
AWS/S3データ登録ジョブでファイルの転送中に対象ファイルに書込みが行われた場合はエラーとなります。
AWS/S3のバケット名に使用可能な文字の種類はリージョンにより異なります。詳細については、Amazon Web Servicesサイトよりご確認下さい。
AWS(Elastic MapReduce)ジョブで指定可能なEC2インスタンス数の上限は、既定では１つのリージョンで20が上限となります。EC2インスタンス数上限を拡張する場合、Amazon Web Serviceの専用フォームから上限緩和の申請を行う必要があります。詳しくはAmazon Web Servicにお問い合わせ下さい。
Google Cloud Composer連携コマンドはairflow Version2.2.5までサポートします。
DAGの状態一覧を取得コマンドのパラメータ「limit」はAPIの仕様が上限100件までのため、1~100の値で指定可能です。
DAGのMark Successコマンドを利用するために、airflow Version2.2.0以上が必要となります。