3. Cloud Job Scheduler

• 3.1. はじめに
  • 3.1.1. 本章について
  • 3.1.2. 読者の対象
  • 3.1.3. 前提条件と関連資料
    • 3.1.3.1. Amazon Web Servicesの利用について
    • 3.1.3.2. Microsoft Azureの利用について
    • 3.1.3.3. Google Cloudの利用について
    • 3.1.3.4. Oracle Cloud Infrastructureの利用について
    • 3.1.3.5. IBM Cloudの利用について
    • 3.1.3.6. 関連資料
• 3.2. Job Scheduler for Cloudの概要
• 3.3. Job Scheduler for Cloud(AWS)の使い方
  • 3.3.1. Job Scheduler for Cloud(AWS/S3)の使い方
    • 3.3.1.1. Job Scheduler for Cloud(AWS/S3)の機能
    • 3.3.1.2. ポリシーの作成
    • 3.3.1.3. sj_aws.iniの設定
    • 3.3.1.4. AWS/S3ファイル取得ジョブの利用方法
      • 3.3.1.4.1. AWS/S3ファイル取得ジョブテンプレートの使い方
      • 3.3.1.4.2. AWS/S3ファイル取得ジョブの処理の流れ(通常時)
    • 3.3.1.5. AWS/S3ファイル登録ジョブの利用方法
      • 3.3.1.5.1. AWS/S3ファイル登録ジョブテンプレートの使い方
      • 3.3.1.5.2. AWS/S3ファイル登録ジョブの処理の流れ(通常時)
    • 3.3.1.6. AWS/S3ファイル削除ジョブの利用方法
      • 3.3.1.6.1. AWS/S3ファイル削除ジョブテンプレートの使い方
      • 3.3.1.6.2. AWS/S3ファイル削除ジョブの処理の流れ(通常時)
  • 3.3.2. Job Scheduler for Cloud(AWS S3オブジェクト待ちジョブ)の使い方
    • 3.3.2.1. Job Scheduler for Cloud(AWS S3オブジェクト待ちジョブ)の機能
    • 3.3.2.2. ポリシーの作成
    • 3.3.2.3. sj_aws.iniの設定
    • 3.3.2.4. AWS S3オブジェクト待ちジョブの利用方法
      • 3.3.2.4.1. AWS S3オブジェクト待ちジョブテンプレートの使い方
      • 3.3.2.4.2. AWS S3オブジェクト待ちジョブの処理の流れ(通常時)
      • 3.3.2.4.3. AWS S3オブジェクト待ちジョブの処理の流れ（強制停止時）
  • 3.3.3. Job Scheduler for Cloud(AWS/Elastic MapReduce)の使い方
    • 3.3.3.1. Job Scheduler for Cloud(AWS/Elastic MapReduce)の機能
    • 3.3.3.2. AWS/Elastic MapReduceジョブフロー実行の流れ
      • 3.3.3.2.1. 運用計画・準備段階
      • 3.3.3.2.2. 運用
    • 3.3.3.3. ポリシーの作成
    • 3.3.3.4. sj_aws.iniの設定
    • 3.3.3.5. AWS/Elastic MapReduce ジョブフロー実行ジョブの利用方法
      • 3.3.3.5.1. ジョブテンプレートの追加手順
      • 3.3.3.5.2. AWS/Elastic MapReduceジョブフロー実行ジョブテンプレートの使い方
      • 3.3.3.5.3. AWS/Elastic MapReduce ジョブフロー実行ジョブの流れ（通常時）
      • 3.3.3.5.4. AWS/Elastic MapReduce ジョブフロー実行ジョブの流れ（強制停止時）
      • 3.3.3.5.5. 動作環境の環境変数の利用法
    • 3.3.3.6. AWS/Elastic MapReduceジョブフロー異常終了時の復旧手順
  • 3.3.4. Job Scheduler for Cloud(AWS/Lambda Function)の使い方
    • 3.3.4.1. Job Scheduler for Cloud(AWS/Lambda Function)の機能
    • 3.3.4.2. ポリシーの作成
    • 3.3.4.3. sj_aws.iniの設定
    • 3.3.4.4. AWS/Lambda Function連携ジョブの利用方法
      • 3.3.4.4.1. AWS/Lambda Function連携ジョブテンプレートの使い方
      • 3.3.4.4.2. AWS/Lambda Function連携ジョブの処理の流れ(通常時)
      • 3.3.4.4.3. AWS/Lambda Function連携ジョブの処理の流れ（強制停止時）
  • 3.3.5. Job Scheduler for Cloud(AWS/Step Functions)の使い方
    • 3.3.5.1. Job Scheduler for Cloud(AWS/Step Functions)の機能
    • 3.3.5.2. ポリシーの作成
    • 3.3.5.3. sj_aws.iniの設定
    • 3.3.5.4. AWS/Step Functions連携ジョブの利用方法
      • 3.3.5.4.1. AWS/Step Functions連携ジョブテンプレートの使い方
      • 3.3.5.4.2. AWS/Step Functions連携ジョブの処理の流れ(通常時)
      • 3.3.5.4.3. AWS/Step Functions連携ジョブの処理の流れ（強制停止時）
  • 3.3.6. Job Scheduler for Cloud(AWS/Batch)の使い方
    • 3.3.6.1. Job Scheduler for Cloud(AWS/Batch)の機能
    • 3.3.6.2. ポリシーの作成
    • 3.3.6.3. sj_aws.iniの設定
    • 3.3.6.4. AWS/Batch連携ジョブの利用方法
      • 3.3.6.4.1. AWS/Batch連携ジョブテンプレートの使い方
      • 3.3.6.4.2. AWS/Batch連携ジョブの処理の流れ(通常時)
      • 3.3.6.4.3. AWS/Batch連携ジョブの処理の流れ（強制停止時）
• 3.4. Job Scheduler for Cloud(Azure)の使い方
  • 3.4.1. Job Scheduler for Cloud(Azure/Durable Functions)の使い方
    • 3.4.1.1. Job Scheduler for Cloud(Azure/Durable Functions)の機能
    • 3.4.1.2. Azure/Durable Functions連携ジョブの利用方法
      • 3.4.1.2.1. Azure/Durable Functions連携ジョブテンプレートの使い方
      • 3.4.1.2.2. Azure/Durable Functions連携ジョブの処理の流れ(通常時)
      • 3.4.1.2.3. Azure/Durable Functions連携ジョブの処理の流れ（強制停止時）
• 3.5. Job Scheduler for Cloud(Google Cloud)の使い方
  • 3.5.1. Job Scheduler for Cloud(Google Cloud Functions)の使い方
    • 3.5.1.1. Job Scheduler for Cloud(Google Cloud Functions)の機能
    • 3.5.1.2. Google Cloud連携機能の設定
      • 3.5.1.2.1. Google Cloudアカウントの登録
      • 3.5.1.2.2. 認証設定
      • 3.5.1.2.3. Google Cloud情報設定ファイル(sj_gcp_sys.json)の作成
    • 3.5.1.3. Google Cloud Functions連携ジョブの利用方法
      • 3.5.1.3.1. Google Cloud Functions連携ジョブテンプレートの使い方
      • 3.5.1.3.2. Google Cloud Functions連携ジョブの処理の流れ(通常時)
      • 3.5.1.3.3. Google Cloud Functions連携ジョブの処理の流れ（強制停止時）
  • 3.5.2. Job Scheduler for Cloud(Google Cloud Composer)の使い方
    • 3.5.2.1. Job Scheduler for Cloud(Google Cloud Composer)の機能
    • 3.5.2.2. Google Cloud Composer連携機能の設定
      • 3.5.2.2.1. Google Cloudアカウントの登録
      • 3.5.2.2.2. 認証設定
      • 3.5.2.2.3. Google Cloud情報設定ファイル(sj_gcp_sys.json)の作成
      • 3.5.2.2.4. Google Cloud Composer APIの設定
      • 3.5.2.2.5. Google Cloud SDK、Python、Kubectlのインストール
    • 3.5.2.3. Google Cloud Composer連携コマンドの利用方法
      • 3.5.2.3.1. タスクのクリア・起動
      • 3.5.2.3.2. タスクのMark Failed
      • 3.5.2.3.3. DAGのMark Failed
      • 3.5.2.3.4. タスクの強制起動
      • 3.5.2.3.5. DAGの強制起動
      • 3.5.2.3.6. DAGをPauseにする
      • 3.5.2.3.7. DAGをUnpauseにする
      • 3.5.2.3.8. タスクのMark Success
      • 3.5.2.3.9. DAGのMark Success
      • 3.5.2.3.10. 環境変数を設定_追加
      • 3.5.2.3.11. 環境変数を設定_削除
      • 3.5.2.3.12. DAGの状態一覧を取得
      • 3.5.2.3.13. 起動したタスクの情報取得
      • 3.5.2.3.14. DAGの基本情報取得
• 3.6. Job Scheduler for Cloud(OCI)の使い方
  • 3.6.1. Job Scheduler for Cloud(OCI/Functions)の使い方
    • 3.6.1.1. Job Scheduler for Cloud(OCI/Functions)の機能
    • 3.6.1.2. OCI連携機能の設定
      • 3.6.1.2.1. Oracle Cloud Infrastructureユーザーの登録
      • 3.6.1.2.2. 認証設定
      • 3.6.1.2.3. ユーザー設定ファイルの作成
      • 3.6.1.2.4. OCI情報設定ファイル(sj_oci_sys.json)の作成
    • 3.6.1.3. OCI/Functions連携ジョブの利用方法
      • 3.6.1.3.1. OCI/Functions連携ジョブテンプレートの使い方
      • 3.6.1.3.2. OCI/Functions連携ジョブの処理の流れ(通常時)
      • 3.6.1.3.3. OCI/Functions連携ジョブの処理の流れ（強制停止時）
  • 3.6.2. Job Scheduler for Cloud(OCIオブジェクト待ちジョブ)の使い方
    • 3.6.2.1. Job Scheduler for Cloud(OCIオブジェクト待ちジョブ)の機能
    • 3.6.2.2. OCI連携機能の設定
      • 3.6.2.2.1. Oracle Cloud Infrastructureユーザーの登録
      • 3.6.2.2.2. 認証設定
      • 3.6.2.2.3. ユーザー設定ファイルの作成
      • 3.6.2.2.4. OCI情報設定ファイル(sj_oci_sys.json)の作成
    • 3.6.2.3. OCIオブジェクト待ちジョブの利用方法
      • 3.6.2.3.1. OCIオブジェクト待ちジョブテンプレートの使い方
      • 3.6.2.3.2. OCIオブジェクト待ちジョブの処理の流れ(通常時)
      • 3.6.2.3.3. OCIオブジェクト待ちジョブの処理の流れ（強制停止時）
• 3.7. Job Scheduler for Cloud(IBM Cloud)の使い方
  • 3.7.1. Job Scheduler for Cloud(IBM Cloud Functions)の使い方
    • 3.7.1.1. Job Scheduler for Cloud(IBM Cloud Functions)の機能
    • 3.7.1.2. IBM Cloud連携機能の設定
      • 3.7.1.2.1. IBM Cloudユーザーの登録
      • 3.7.1.2.2. 認証設定
      • 3.7.1.2.3. IBM Cloud情報設定ファイル(sj_ibc_sys.json)の作成
    • 3.7.1.3. IBM Cloud Functions連携ジョブの利用方法
      • 3.7.1.3.1. IBM Cloud Functions連携ジョブテンプレートの使い方
      • 3.7.1.3.2. IBM Cloud Functions連携ジョブの処理の流れ(通常時)
      • 3.7.1.3.3. IBM Cloud Functions連携ジョブの処理の流れ（強制停止時）
• 3.8. 付録
  • 3.8.1. メッセージ一覧
  • 3.8.2. エラーメッセージとその対処方法
    • 3.8.2.1. Job Scheduler for Cloud(AWS/S3)
    • 3.8.2.2. Job Scheduler for Cloud(AWS S3オブジェクト待ちジョブ)
    • 3.8.2.3. Job Scheduler for Cloud(AWS/Elastic MapReduce)
    • 3.8.2.4. Job Scheduler for Cloud(AWS/Lambda Function)
    • 3.8.2.5. Job Scheduler for Cloud(AWS/Step Functions)
    • 3.8.2.6. Job Scheduler for Cloud(AWS/Batch)
    • 3.8.2.7. Job Scheduler for Cloud(Azure/Durable Functions)
    • 3.8.2.8. Job Scheduler for Cloud(Google Cloud Functions)
    • 3.8.2.9. Job Scheduler for Cloud(OCI/Functions)
    • 3.8.2.10. Job Scheduler for Cloud(OCIオブジェクト待ちジョブ)
    • 3.8.2.11. Job Scheduler for Cloud(IBM Cloud Functions)
  • 3.8.3. Job Scheduler for Cloudのジョブログファイル
    • 3.8.3.1. Job Scheduler for Cloud(AWS/S3)のジョブログファイル
    • 3.8.3.2. Job Scheduler for Cloud(AWS S3オブジェクト待ち)のジョブログファイル
    • 3.8.3.3. Job Scheduler for Cloud(AWS/Elastic MapReduce)のジョブログファイル
    • 3.8.3.4. Job Scheduler for Cloud(AWS/Lambda Function)のジョブログファイル
    • 3.8.3.5. Job Scheduler for Cloud(AWS/Step Functions)のジョブログファイル
    • 3.8.3.6. Job Scheduler for Cloud(AWS/Batch)のジョブログファイル
    • 3.8.3.7. Job Scheduler for Cloud(Azure/Durable Functions)のジョブログファイル
    • 3.8.3.8. Job Scheduler for Cloud(Google Cloud Functions)のジョブログファイル
    • 3.8.3.9. Job Scheduler for Cloud(OCI/Functions)のジョブログファイル
    • 3.8.3.10. Job Scheduler for Cloud(OCIオブジェクト待ち)のジョブログファイル
    • 3.8.3.11. Job Scheduler for Cloud(IBM Cloud Functions)のジョブログファイル
  • 3.8.4. Job Scheduler for Cloudのコマンド一覧
    • 3.8.4.1. AWS/S3 操作
      • 3.8.4.1.1. AWS/S3データ取得
      • 3.8.4.1.2. AWS/S3データ登録
      • 3.8.4.1.3. AWS/S3データ削除
      • 3.8.4.1.4. AWS/S3データ確認
    • 3.8.4.2. AWS S3オブジェクト待ちジョブ 操作
      • 3.8.4.2.1. AWS S3オブジェクト待ちジョブの実行
    • 3.8.4.3. AWS/Elastic MapReduce 操作
      • 3.8.4.3.1. AWS/MapReduceジョブフロー登録
      • 3.8.4.3.2. AWS/MapReduceジョブフローステータスチェック
      • 3.8.4.3.3. AWS/MapReduceジョブステップ追加・実行
      • 3.8.4.3.4. AWS/MapReduceジョブステップステータスチェック
      • 3.8.4.3.5. AWS/MapReduceジョブフロー停止
    • 3.8.4.4. AWS/Lambda Function 操作
      • 3.8.4.4.1. AWS/Lambda Functionの実行
    • 3.8.4.5. AWS/Step Functions 操作
      • 3.8.4.5.1. AWS/Step Functionsの実行
      • 3.8.4.5.2. AWS/Step Functionsのステータスチェック
      • 3.8.4.5.3. AWS/Step Functionsの停止
    • 3.8.4.6. AWS/Batch 操作
      • 3.8.4.6.1. AWS/Batch(FARGATE)の実行
      • 3.8.4.6.2. AWS/Batch(EC2)の実行
      • 3.8.4.6.3. AWS/Batch(EKS)の実行
    • 3.8.4.7. Azure/Durable Functions 操作
      • 3.8.4.7.1. Azure/Durable Functionsの実行
    • 3.8.4.8. Google Cloud Functions 操作
      • 3.8.4.8.1. Google Cloud Functionsの実行
    • 3.8.4.9. Google Cloud Composer 操作
      • 3.8.4.9.1. タスクのクリア・起動コマンドの実行
      • 3.8.4.9.2. タスクのMark Failedコマンドの実行
      • 3.8.4.9.3. DAGのMark Failedコマンドの実行
      • 3.8.4.9.4. タスクの強制起動コマンドの実行
      • 3.8.4.9.5. DAGの強制起動コマンドの実行
      • 3.8.4.9.6. DAGをPauseにするコマンドの実行
      • 3.8.4.9.7. DAGをUnpauseにするコマンドの実行
      • 3.8.4.9.8. タスクのMark Successコマンドの実行
      • 3.8.4.9.9. DAGのMark Successコマンドの実行
      • 3.8.4.9.10. 環境変数を設定_追加コマンドの実行
      • 3.8.4.9.11. 環境変数を設定_削除コマンドの実行
      • 3.8.4.9.12. DAGの状態一覧を取得コマンドの実行
      • 3.8.4.9.13. 起動したタスクの情報取得コマンドの実行
      • 3.8.4.9.14. DAGの基本情報取得コマンドの実行
    • 3.8.4.10. OCI/Functions 操作
      • 3.8.4.10.1. OCI/Functionsの実行
    • 3.8.4.11. OCIオブジェクト待ちジョブ 操作
      • 3.8.4.11.1. OCIオブジェクト待ちジョブの実行
    • 3.8.4.12. IBM Cloud Functions 操作
      • 3.8.4.12.1. IBM Cloud Functionsの実行
  • 3.8.5. 制限事項
    • 3.8.5.1. Job Scheduler for Cloudの制限事項