AWS Data Pipeline contoh menggunakan AWS CLI - AWS SDKContoh Kode
Tindakan

Ada lebih banyak AWS SDK contoh yang tersedia di GitHub repo SDKContoh AWS Dokumen.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

AWS Data Pipeline contoh menggunakan AWS CLI

Contoh kode berikut menunjukkan cara melakukan tindakan dan mengimplementasikan skenario umum dengan menggunakan AWS Command Line Interface with AWS Data Pipeline.

Tindakan adalah kutipan kode dari program yang lebih besar dan harus dijalankan dalam konteks. Sementara tindakan menunjukkan cara memanggil fungsi layanan individual, Anda dapat melihat tindakan dalam konteks dalam skenario terkait.

Setiap contoh menyertakan tautan ke kode sumber lengkap, di mana Anda dapat menemukan instruksi tentang cara mengatur dan menjalankan kode dalam konteks.

Tindakan

Contoh kode berikut menunjukkan cara menggunakanactivate-pipeline.

AWS CLI

Untuk mengaktifkan pipa

Contoh ini mengaktifkan pipeline yang ditentukan:

aws datapipeline activate-pipeline --pipeline-id df-00627471SOVYZEXAMPLE

Untuk mengaktifkan pipeline pada tanggal dan waktu tertentu, gunakan perintah berikut:

aws datapipeline activate-pipeline --pipeline-id df-00627471SOVYZEXAMPLE --start-timestamp 2015-04-07T00:00:00Z

Contoh kode berikut menunjukkan cara menggunakanadd-tags.

AWS CLI

Untuk menambahkan tag ke pipeline

Contoh ini menambahkan tag yang ditentukan ke pipeline yang ditentukan:

aws datapipeline add-tags --pipeline-id df-00627471SOVYZEXAMPLE --tags key=environment,value=production key=owner,value=sales

Untuk melihat tag, gunakan perintah describe-pipelines. Misalnya, tag yang ditambahkan dalam perintah contoh muncul sebagai berikut dalam output untuk describe-pipelines:

{
    ...
        "tags": [
            {
                "value": "production",
                "key": "environment"
            },
            {
                "value": "sales",
                "key": "owner"
            }
        ]
    ...
}

  • Untuk API detailnya, lihat AddTagsdi Referensi AWS CLI Perintah.

Contoh kode berikut menunjukkan cara menggunakancreate-pipeline.

AWS CLI

Untuk membuat pipa

Contoh ini membuat pipeline:

aws datapipeline create-pipeline --name my-pipeline --unique-id my-pipeline-token

Berikut ini adalah output contoh:

{
    "pipelineId": "df-00627471SOVYZEXAMPLE"
}

  • Untuk API detailnya, lihat CreatePipelinedi Referensi AWS CLI Perintah.

Contoh kode berikut menunjukkan cara menggunakandeactivate-pipeline.

AWS CLI

Untuk menonaktifkan pipa

Contoh ini menonaktifkan pipeline yang ditentukan:

aws datapipeline deactivate-pipeline --pipeline-id df-00627471SOVYZEXAMPLE

Untuk menonaktifkan pipeline hanya setelah semua aktivitas yang berjalan selesai, gunakan perintah berikut:

aws datapipeline deactivate-pipeline --pipeline-id df-00627471SOVYZEXAMPLE --no-cancel-active

Contoh kode berikut menunjukkan cara menggunakandelete-pipeline.

AWS CLI

Untuk menghapus pipeline

Contoh ini menghapus pipeline yang ditentukan:

aws datapipeline delete-pipeline --pipeline-id df-00627471SOVYZEXAMPLE

  • Untuk API detailnya, lihat DeletePipelinedi Referensi AWS CLI Perintah.

Contoh kode berikut menunjukkan cara menggunakandescribe-pipelines.

AWS CLI

Untuk mendeskripsikan saluran pipa Anda

Contoh ini menjelaskan pipeline yang ditentukan:

aws datapipeline describe-pipelines --pipeline-ids df-00627471SOVYZEXAMPLE

Berikut ini adalah output contoh:

{
  "pipelineDescriptionList": [
      {
          "fields": [
              {
                  "stringValue": "PENDING",
                  "key": "@pipelineState"
              },
              {
                  "stringValue": "my-pipeline",
                  "key": "name"
              },
              {
                  "stringValue": "2015-04-07T16:05:58",
                  "key": "@creationTime"
              },
              {
                  "stringValue": "df-00627471SOVYZEXAMPLE",
                  "key": "@id"
              },
              {
                  "stringValue": "123456789012",
                  "key": "pipelineCreator"
              },
              {
                  "stringValue": "PIPELINE",
                  "key": "@sphere"
              },
              {
                  "stringValue": "123456789012",
                  "key": "@userId"
              },
              {
                  "stringValue": "123456789012",
                  "key": "@accountId"
              },
              {
                  "stringValue": "my-pipeline-token",
                  "key": "uniqueId"
              }
          ],
          "pipelineId": "df-00627471SOVYZEXAMPLE",
          "name": "my-pipeline",
          "tags": []
      }
  ]
}

Contoh kode berikut menunjukkan cara menggunakanget-pipeline-definition.

AWS CLI

Untuk mendapatkan definisi pipeline

Contoh ini mendapatkan definisi pipeline untuk pipeline yang ditentukan:

aws datapipeline get-pipeline-definition --pipeline-id df-00627471SOVYZEXAMPLE

Berikut ini adalah output contoh:

{
  "parameters": [
      {
          "type": "AWS::S3::ObjectKey",
          "id": "myS3OutputLoc",
          "description": "S3 output folder"
      },
      {
          "default": "s3://us-east-1.elasticmapreduce.samples/pig-apache-logs/data",
          "type": "AWS::S3::ObjectKey",
          "id": "myS3InputLoc",
          "description": "S3 input folder"
      },
      {
          "default": "grep -rc \"GET\" ${INPUT1_STAGING_DIR}/* > ${OUTPUT1_STAGING_DIR}/output.txt",
          "type": "String",
          "id": "myShellCmd",
          "description": "Shell command to run"
      }
  ],
  "objects": [
      {
          "type": "Ec2Resource",
          "terminateAfter": "20 Minutes",
          "instanceType": "t1.micro",
          "id": "EC2ResourceObj",
          "name": "EC2ResourceObj"
      },
      {
          "name": "Default",
          "failureAndRerunMode": "CASCADE",
          "resourceRole": "DataPipelineDefaultResourceRole",
          "schedule": {
              "ref": "DefaultSchedule"
          },
          "role": "DataPipelineDefaultRole",
          "scheduleType": "cron",
          "id": "Default"
      },
      {
          "directoryPath": "#{myS3OutputLoc}/#{format(@scheduledStartTime, 'YYYY-MM-dd-HH-mm-ss')}",
          "type": "S3DataNode",
          "id": "S3OutputLocation",
          "name": "S3OutputLocation"
      },
      {
          "directoryPath": "#{myS3InputLoc}",
          "type": "S3DataNode",
          "id": "S3InputLocation",
          "name": "S3InputLocation"
      },
      {
          "startAt": "FIRST_ACTIVATION_DATE_TIME",
          "name": "Every 15 minutes",
          "period": "15 minutes",
          "occurrences": "4",
          "type": "Schedule",
          "id": "DefaultSchedule"
      },
      {
          "name": "ShellCommandActivityObj",
          "command": "#{myShellCmd}",
          "output": {
              "ref": "S3OutputLocation"
          },
          "input": {
              "ref": "S3InputLocation"
          },
          "stage": "true",
          "type": "ShellCommandActivity",
          "id": "ShellCommandActivityObj",
          "runsOn": {
              "ref": "EC2ResourceObj"
          }
      }
  ],
  "values": {
      "myS3OutputLoc": "s3://my-s3-bucket/",
      "myS3InputLoc": "s3://us-east-1.elasticmapreduce.samples/pig-apache-logs/data",
      "myShellCmd": "grep -rc \"GET\" ${INPUT1_STAGING_DIR}/* > ${OUTPUT1_STAGING_DIR}/output.txt"
  }
}

Contoh kode berikut menunjukkan cara menggunakanlist-pipelines.

AWS CLI

Untuk membuat daftar saluran pipa Anda

Contoh ini mencantumkan pipeline Anda:

aws datapipeline list-pipelines

Berikut ini adalah output contoh:

{
  "pipelineIdList": [
      {
          "id": "df-00627471SOVYZEXAMPLE",
          "name": "my-pipeline"
      },
      {
          "id": "df-09028963KNVMREXAMPLE",
          "name": "ImportDDB"
      },
      {
          "id": "df-0870198233ZYVEXAMPLE",
          "name": "CrossRegionDDB"
      },
      {
          "id": "df-00189603TB4MZEXAMPLE",
          "name": "CopyRedshift"
      }
  ]
}

  • Untuk API detailnya, lihat ListPipelinesdi Referensi AWS CLI Perintah.

Contoh kode berikut menunjukkan cara menggunakanlist-runs.

AWS CLI

Contoh 1: Untuk membuat daftar pipeline Anda berjalan

list-runsContoh berikut mencantumkan run untuk pipeline yang ditentukan.

aws datapipeline list-runs --pipeline-id df-00627471SOVYZEXAMPLE

Output:

    Name                       Scheduled Start        Status                     ID                                              Started                Ended
    -----------------------------------------------------------------------------------------------------------------------------------------------------------------------------
1.  EC2ResourceObj             2015-04-12T17:33:02    CREATING                   @EC2ResourceObj_2015-04-12T17:33:02             2015-04-12T17:33:10
2.  S3InputLocation            2015-04-12T17:33:02    FINISHED                   @S3InputLocation_2015-04-12T17:33:02            2015-04-12T17:33:09    2015-04-12T17:33:09
3.  S3OutputLocation           2015-04-12T17:33:02    WAITING_ON_DEPENDENCIES    @S3OutputLocation_2015-04-12T17:33:02           2015-04-12T17:33:09
4.  ShellCommandActivityObj    2015-04-12T17:33:02    WAITING_FOR_RUNNER         @ShellCommandActivityObj_2015-04-12T17:33:02    2015-04-12T17:33:09

Contoh 2: Untuk membuat daftar pipeline berjalan di antara tanggal yang ditentukan

list-runsContoh berikut menggunakan --start-interval untuk menentukan tanggal untuk memasukkan dalam output.

aws datapipeline list-runs --pipeline-id df-01434553B58A2SHZUKO5 --start-interval 2017-10-07T00:00:00,2017-10-08T00:00:00

  • Untuk API detailnya, lihat ListRunsdi Referensi AWS CLI Perintah.

Contoh kode berikut menunjukkan cara menggunakanput-pipeline-definition.

AWS CLI

Untuk mengunggah definisi pipeline

Contoh ini mengunggah definisi pipeline yang ditentukan ke pipeline yang ditentukan:

aws datapipeline put-pipeline-definition --pipeline-id df-00627471SOVYZEXAMPLE --pipeline-definition file://my-pipeline-definition.json

Berikut ini adalah output contoh:

{
  "validationErrors": [],
  "errored": false,
  "validationWarnings": []
}

Contoh kode berikut menunjukkan cara menggunakanremove-tags.

AWS CLI

Untuk menghapus tag dari pipeline

Contoh ini menghapus tag yang ditentukan dari pipeline yang ditentukan:

aws datapipeline remove-tags --pipeline-id df-00627471SOVYZEXAMPLE --tag-keys environment

  • Untuk API detailnya, lihat RemoveTagsdi Referensi AWS CLI Perintah.