AWS Data Pipeline を使用した例 AWS CLI

次のコード例は、 AWS Command Line Interface でを使用してアクションを実行し、一般的なシナリオを実装する方法を示しています AWS Data Pipeline。

アクションはより大きなプログラムからのコードの抜粋であり、コンテキスト内で実行する必要があります。アクションは個々のサービス機能を呼び出す方法を示していますが、コンテキスト内のアクションは、関連するシナリオで確認できます。

各例には、完全なソースコードへのリンクが含まれています。ここでは、コンテキストでコードを設定および実行する方法の手順を確認できます。

トピック

アクション

アクション

次のコード例は、activate-pipeline を使用する方法を示しています。

AWS CLI

パイプラインをアクティブ化するには

この例では、指定されたパイプラインをアクティブ化します。


aws datapipeline activate-pipeline --pipeline-id df-00627471SOVYZEXAMPLE

特定の日時でパイプラインをアクティブ化するには、次のコマンドを使用します。


aws datapipeline activate-pipeline --pipeline-id df-00627471SOVYZEXAMPLE --start-timestamp 2015-04-07T00:00:00Z

API 詳細については、AWS CLI 「コマンドリファレンスActivatePipeline」の「」を参照してください。

次の例は、add-tags を使用する方法を説明しています。

AWS CLI

パイプラインにタグを追加するには

この例では、指定されたタグを指定されたパイプラインに追加します。


aws datapipeline add-tags --pipeline-id df-00627471SOVYZEXAMPLE --tags key=environment,value=production key=owner,value=sales

タグを表示するには、describe-pipelines コマンドを使用します。例えば、サンプルコマンドで追加されたタグは、describe-pipelines の出力に次のように表示されます。


{
    ...
        "tags": [
            {
                "value": "production",
                "key": "environment"
            },
            {
                "value": "sales",
                "key": "owner"
            }
        ]
    ...
}

API 詳細については、AWS CLI 「コマンドリファレンスAddTags」の「」を参照してください。

次の例は、create-pipeline を使用する方法を説明しています。

AWS CLI

パイプラインを作成するには

この例では、パイプラインを作成します。


aws datapipeline create-pipeline --name my-pipeline --unique-id my-pipeline-token

出力例を次に示します。


{
    "pipelineId": "df-00627471SOVYZEXAMPLE"
}

API 詳細については、AWS CLI 「コマンドリファレンスCreatePipeline」の「」を参照してください。

次のコード例は、deactivate-pipeline を使用する方法を示しています。

AWS CLI

パイプラインを非アクティブ化するには

この例では、指定されたパイプラインを非アクティブ化します。


aws datapipeline deactivate-pipeline --pipeline-id df-00627471SOVYZEXAMPLE

実行中のすべてのアクティビティが完了した後にのみパイプラインを非アクティブ化するには、次のコマンドを使用します。


aws datapipeline deactivate-pipeline --pipeline-id df-00627471SOVYZEXAMPLE --no-cancel-active

API 詳細については、AWS CLI 「コマンドリファレンスDeactivatePipeline」の「」を参照してください。

次の例は、delete-pipeline を使用する方法を説明しています。

AWS CLI

パイプラインを削除するには

この例では、指定されたパイプラインを削除します。


aws datapipeline delete-pipeline --pipeline-id df-00627471SOVYZEXAMPLE

API 詳細については、AWS CLI 「コマンドリファレンスDeletePipeline」の「」を参照してください。

次の例は、describe-pipelines を使用する方法を説明しています。

AWS CLI

パイプラインを記述するには

この例では、指定されたパイプラインについて説明します。


aws datapipeline describe-pipelines --pipeline-ids df-00627471SOVYZEXAMPLE

出力例を次に示します。


{
  "pipelineDescriptionList": [
      {
          "fields": [
              {
                  "stringValue": "PENDING",
                  "key": "@pipelineState"
              },
              {
                  "stringValue": "my-pipeline",
                  "key": "name"
              },
              {
                  "stringValue": "2015-04-07T16:05:58",
                  "key": "@creationTime"
              },
              {
                  "stringValue": "df-00627471SOVYZEXAMPLE",
                  "key": "@id"
              },
              {
                  "stringValue": "123456789012",
                  "key": "pipelineCreator"
              },
              {
                  "stringValue": "PIPELINE",
                  "key": "@sphere"
              },
              {
                  "stringValue": "123456789012",
                  "key": "@userId"
              },
              {
                  "stringValue": "123456789012",
                  "key": "@accountId"
              },
              {
                  "stringValue": "my-pipeline-token",
                  "key": "uniqueId"
              }
          ],
          "pipelineId": "df-00627471SOVYZEXAMPLE",
          "name": "my-pipeline",
          "tags": []
      }
  ]
}

API 詳細については、AWS CLI 「コマンドリファレンスDescribePipelines」の「」を参照してください。

次のコード例は、get-pipeline-definition を使用する方法を示しています。

AWS CLI

パイプライン定義を取得するには

この例では、指定されたパイプラインのパイプライン定義を取得します。


aws datapipeline get-pipeline-definition --pipeline-id df-00627471SOVYZEXAMPLE

出力例を次に示します。


{
  "parameters": [
      {
          "type": "AWS::S3::ObjectKey",
          "id": "myS3OutputLoc",
          "description": "S3 output folder"
      },
      {
          "default": "s3://us-east-1.elasticmapreduce.samples/pig-apache-logs/data",
          "type": "AWS::S3::ObjectKey",
          "id": "myS3InputLoc",
          "description": "S3 input folder"
      },
      {
          "default": "grep -rc \"GET\" ${INPUT1_STAGING_DIR}/* > ${OUTPUT1_STAGING_DIR}/output.txt",
          "type": "String",
          "id": "myShellCmd",
          "description": "Shell command to run"
      }
  ],
  "objects": [
      {
          "type": "Ec2Resource",
          "terminateAfter": "20 Minutes",
          "instanceType": "t1.micro",
          "id": "EC2ResourceObj",
          "name": "EC2ResourceObj"
      },
      {
          "name": "Default",
          "failureAndRerunMode": "CASCADE",
          "resourceRole": "DataPipelineDefaultResourceRole",
          "schedule": {
              "ref": "DefaultSchedule"
          },
          "role": "DataPipelineDefaultRole",
          "scheduleType": "cron",
          "id": "Default"
      },
      {
          "directoryPath": "#{myS3OutputLoc}/#{format(@scheduledStartTime, 'YYYY-MM-dd-HH-mm-ss')}",
          "type": "S3DataNode",
          "id": "S3OutputLocation",
          "name": "S3OutputLocation"
      },
      {
          "directoryPath": "#{myS3InputLoc}",
          "type": "S3DataNode",
          "id": "S3InputLocation",
          "name": "S3InputLocation"
      },
      {
          "startAt": "FIRST_ACTIVATION_DATE_TIME",
          "name": "Every 15 minutes",
          "period": "15 minutes",
          "occurrences": "4",
          "type": "Schedule",
          "id": "DefaultSchedule"
      },
      {
          "name": "ShellCommandActivityObj",
          "command": "#{myShellCmd}",
          "output": {
              "ref": "S3OutputLocation"
          },
          "input": {
              "ref": "S3InputLocation"
          },
          "stage": "true",
          "type": "ShellCommandActivity",
          "id": "ShellCommandActivityObj",
          "runsOn": {
              "ref": "EC2ResourceObj"
          }
      }
  ],
  "values": {
      "myS3OutputLoc": "s3://my-s3-bucket/",
      "myS3InputLoc": "s3://us-east-1.elasticmapreduce.samples/pig-apache-logs/data",
      "myShellCmd": "grep -rc \"GET\" ${INPUT1_STAGING_DIR}/* > ${OUTPUT1_STAGING_DIR}/output.txt"
  }
}

API 詳細については、AWS CLI 「コマンドリファレンスGetPipelineDefinition」の「」を参照してください。

次の例は、list-pipelines を使用する方法を説明しています。

AWS CLI

パイプラインを一覧表示するには

この例では、パイプラインを一覧表示します。


aws datapipeline list-pipelines

出力例を次に示します。


{
  "pipelineIdList": [
      {
          "id": "df-00627471SOVYZEXAMPLE",
          "name": "my-pipeline"
      },
      {
          "id": "df-09028963KNVMREXAMPLE",
          "name": "ImportDDB"
      },
      {
          "id": "df-0870198233ZYVEXAMPLE",
          "name": "CrossRegionDDB"
      },
      {
          "id": "df-00189603TB4MZEXAMPLE",
          "name": "CopyRedshift"
      }
  ]
}

API 詳細については、AWS CLI 「コマンドリファレンスListPipelines」の「」を参照してください。

次のコード例は、list-runs を使用する方法を示しています。

AWS CLI

例 1: パイプラインの実行を一覧表示するには

次のlist-runs例では、指定されたパイプラインの実行を一覧表示します。


aws datapipeline list-runs --pipeline-id df-00627471SOVYZEXAMPLE

出力:


    Name                       Scheduled Start        Status                     ID                                              Started                Ended
    -----------------------------------------------------------------------------------------------------------------------------------------------------------------------------
1.  EC2ResourceObj             2015-04-12T17:33:02    CREATING                   @EC2ResourceObj_2015-04-12T17:33:02             2015-04-12T17:33:10
2.  S3InputLocation            2015-04-12T17:33:02    FINISHED                   @S3InputLocation_2015-04-12T17:33:02            2015-04-12T17:33:09    2015-04-12T17:33:09
3.  S3OutputLocation           2015-04-12T17:33:02    WAITING_ON_DEPENDENCIES    @S3OutputLocation_2015-04-12T17:33:02           2015-04-12T17:33:09
4.  ShellCommandActivityObj    2015-04-12T17:33:02    WAITING_FOR_RUNNER         @ShellCommandActivityObj_2015-04-12T17:33:02    2015-04-12T17:33:09

例 2: 指定された日付の間のパイプライン実行を一覧表示するには

次のlist-runs例では--start-interval、を使用して、出力に含める日付を指定します。


aws datapipeline list-runs --pipeline-id df-01434553B58A2SHZUKO5 --start-interval 2017-10-07T00:00:00,2017-10-08T00:00:00

API 詳細については、AWS CLI 「コマンドリファレンスListRuns」の「」を参照してください。

次の例は、put-pipeline-definition を使用する方法を説明しています。

AWS CLI

パイプライン定義をアップロードするには

この例では、指定されたパイプライン定義を指定されたパイプラインにアップロードします。


aws datapipeline put-pipeline-definition --pipeline-id df-00627471SOVYZEXAMPLE --pipeline-definition file://my-pipeline-definition.json

出力例を次に示します。


{
  "validationErrors": [],
  "errored": false,
  "validationWarnings": []
}

API 詳細については、AWS CLI 「コマンドリファレンスPutPipelineDefinition」の「」を参照してください。

次の例は、remove-tags を使用する方法を説明しています。

AWS CLI

パイプラインからタグを削除するには

この例では、指定されたパイプラインから指定されたタグを削除します。


aws datapipeline remove-tags --pipeline-id df-00627471SOVYZEXAMPLE --tag-keys environment

API 詳細については、AWS CLI 「コマンドリファレンスRemoveTags」の「」を参照してください。

ブラウザで JavaScript が無効になっているか、使用できません。

AWS ドキュメントを使用するには、JavaScript を有効にする必要があります。手順については、使用するブラウザのヘルプページを参照してください。

ドキュメントの表記規則

Amazon Data Lifecycle Manager

DataSync