S3KeyExists - AWS Data Pipeline

AWS Data Pipeline は、新規顧客には利用できなくなりました。の既存のお客様 AWS Data Pipeline は、通常どおりサービスを引き続き使用できます。詳細はこちら

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

S3KeyExists

Amazon S3 データノードにキーがあるかどうかを確認します。

以下は、このオブジェクト型の例です。前提条件は、s3Key パラメータで参照されるキー (s3://mybucket/mykey) が存在する場合にトリガーされます。

{ "id" : "InputReady", "type" : "S3KeyExists", "role" : "test-role", "s3Key" : "s3://mybucket/mykey" }

最初のパイプラインが完了するまで待機する 2 番目のパイプラインで、S3KeyExists を前提条件として使用することもできます。そのためには、次の操作を行います。

  1. 最初のパイプラインの完了の最後に Amazon S3 にファイルを書き込みます。

  2. S3KeyExists 前提条件を 2 番目のパイプラインに作成します。

構文

必須フィールド 説明 スロットタイプ
ロール 前提条件を実行するために使用するロールを指定します。 文字列
s3Key Amazon S3 キー。 文字列

オプションのフィールド 説明 スロットタイプ
attemptStatus リモートアクティビティから最も最近報告されたステータス。 文字列
attemptTimeout リモートの作業の完了をもう 1 回試みるまでのタイムアウト。設定された場合、開始後に設定された時間内に完了しなかったリモートアクティビティが再試行されます。 [Period] (期間)
failureAndRerunモード 依存関係が失敗または再実行されたときのコンシューマーノードの動作を示します。 一覧表
lateAfterTimeout オブジェクトが完了しなければならない、パイプライン開始からの経過時間。スケジュールタイプが ondemand に設定されていない場合にのみトリガーされます。 [Period] (期間)
maximumRetries 障害時に開始される最大試行数。 整数
onFail 現在のオブジェクトが失敗したときに実行するアクション。 リファレンスオブジェクト、例: "onFail":{"ref"myActionId"}
onLateAction オブジェクトが予定されていないか、まだ完了していない場合にトリガーされるアクション。 リファレンスオブジェクト、例: "onLateAction":{"ref"myActionId"}
onSuccess 現在のオブジェクトが成功したときに実行するアクション。 リファレンスオブジェクト、例: "onSuccess":{"ref"myActionId"}
parent スロットの継承元となる現在のオブジェクトの親。 リファレンスオブジェクト、例:「parent」:{「ref"myBaseObjectId」}
preconditionTimeout まだ満たされていない場合に失敗として前提条件がマークされた後の、起動からの期間。 [Period] (期間)
reportProgressTimeout reportProgress へのリモート作業の連続した呼び出しのタイムアウト。設定された場合、指定された期間の進捗状況を報告しないリモートアクティビティは停止されたと見なし、再試行できます。 [Period] (期間)
retryDelay 2 回の連続した再試行の間のタイムアウト期間。 [Period] (期間)

実行時フィールド 説明 スロットタイプ
@activeInstances 現在スケジュールされているアクティブなインスタンスオブジェクトのリスト。 リファレンスオブジェクト、例: "activeInstances":{"ref"myRunnableObjectId"}
@actualEndTime このオブジェクトの実行が終了した時刻。 DateTime
@actualStartTime このオブジェクトの実行が開始された時刻。 DateTime
cancellationReason このオブジェクト cancellationReason がキャンセルされた場合の 。 文字列
@cascadeFailedOn オブジェクトが失敗した際の依存関係チェーンの説明。 リファレンスオブジェクト、例: "cascadeFailedOn":{"ref"myRunnableObjectId"}
currentRetryCount この試行で前提条件が試みられた回数。 文字列
emrStepLog EMR EMRアクティビティの試行でのみ使用できる ステップログ 文字列
errorId このオブジェクトが失敗 errorId した場合の 。 文字列
errorMessage このオブジェクトが失敗 errorMessage した場合の 。 文字列
errorStackTrace このオブジェクトが失敗した場合は、エラースタックトレース。 文字列
hadoopJobLog EMRベースのアクティビティの試行で使用可能な Hadoop ジョブログ。 文字列
hostname タスクの試行を取得したクライアントのホスト名。 文字列
lastRetryTime この試行内で最後に前提条件が試みられた時刻。 文字列
node この前提条件が実行されている対象ノード リファレンスオブジェクト、例:「node」:{「ref"myRunnableObjectId」}
reportProgressTime リモートアクティビティで進捗状況が報告された最新の時刻。 DateTime
@scheduledEndTime オブジェクトの予定された終了時刻 DateTime
@scheduledStartTime オブジェクトの予定された開始時刻 DateTime
@status このオブジェクトのステータス。 文字列
@version オブジェクトが作成されたパイプラインのバージョン。 文字列
@waitingOn このオブジェクトが待機している依存関係のリストの説明。 リファレンスオブジェクト、例: "waitingOn":{"ref"myRunnableObjectId"}

システムフィールド 説明 スロットタイプ
@error 形式が正しくないオブジェクトを説明するエラー 文字列
@pipelineId このオブジェクトが属するパイプラインの ID 文字列
@sphere オブジェクトの球は、ライフサイクルにおける場所を示します。コンポーネントオブジェクトにより、試行オブジェクトを実行するインスタンスオブジェクトが発生します 文字列

以下の資料も参照してください。