AWS Data Pipeline Beispiele mit AWS CLI - AWS Command Line Interface
Aktionen

Diese Dokumentation bezieht sich AWS CLI nur auf Version 1 von. Dokumentation zu Version 2 von finden Sie im Benutzerhandbuch für Version 2. AWS CLI

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

AWS Data Pipeline Beispiele mit AWS CLI

Die folgenden Codebeispiele zeigen Ihnen, wie Sie mithilfe von AWS Command Line Interface with Aktionen ausführen und allgemeine Szenarien implementieren AWS Data Pipeline.

Aktionen sind Codeauszüge aus größeren Programmen und müssen im Kontext ausgeführt werden. Aktionen zeigen Ihnen zwar, wie Sie einzelne Servicefunktionen aufrufen, aber Sie können Aktionen im Kontext der zugehörigen Szenarien sehen.

Jedes Beispiel enthält einen Link zum vollständigen Quellcode, in dem Sie Anweisungen zum Einrichten und Ausführen des Codes im Kontext finden.

Themen

Aktionen

Das folgende Codebeispiel zeigt die Verwendungactivate-pipeline.

AWS CLI

Um eine Pipeline zu aktivieren

In diesem Beispiel wird die angegebene Pipeline aktiviert:

aws datapipeline activate-pipeline --pipeline-id df-00627471SOVYZEXAMPLE

Verwenden Sie den folgenden Befehl, um die Pipeline an einem bestimmten Datum und zu einer bestimmten Uhrzeit zu aktivieren:

aws datapipeline activate-pipeline --pipeline-id df-00627471SOVYZEXAMPLE --start-timestamp 2015-04-07T00:00:00Z

Das folgende Codebeispiel zeigt die Verwendungadd-tags.

AWS CLI

Um einer Pipeline ein Tag hinzuzufügen

In diesem Beispiel wird der angegebenen Pipeline das angegebene Tag hinzugefügt:

aws datapipeline add-tags --pipeline-id df-00627471SOVYZEXAMPLE --tags key=environment,value=production key=owner,value=sales

Verwenden Sie den Befehl describe-pipelines, um die Tags anzuzeigen. Die im Beispielbefehl hinzugefügten Tags werden beispielsweise in der Ausgabe für describe-pipelines wie folgt angezeigt:

{
    ...
        "tags": [
            {
                "value": "production",
                "key": "environment"
            },
            {
                "value": "sales",
                "key": "owner"
            }
        ]
    ...
}

  • APIEinzelheiten finden Sie AddTagsin AWS CLI der Befehlsreferenz.

Das folgende Codebeispiel zeigt die Verwendungcreate-pipeline.

AWS CLI

Um eine Pipeline zu erstellen

In diesem Beispiel wird eine Pipeline erstellt:

aws datapipeline create-pipeline --name my-pipeline --unique-id my-pipeline-token

Das Folgende ist Ausgabebeispiel:

{
    "pipelineId": "df-00627471SOVYZEXAMPLE"
}

  • APIEinzelheiten finden Sie CreatePipelinein der AWS CLI Befehlsreferenz.

Das folgende Codebeispiel zeigt die Verwendungdeactivate-pipeline.

AWS CLI

Um eine Pipeline zu deaktivieren

In diesem Beispiel wird die angegebene Pipeline deaktiviert:

aws datapipeline deactivate-pipeline --pipeline-id df-00627471SOVYZEXAMPLE

Verwenden Sie den folgenden Befehl, um die Pipeline erst zu deaktivieren, wenn alle laufenden Aktivitäten abgeschlossen sind:

aws datapipeline deactivate-pipeline --pipeline-id df-00627471SOVYZEXAMPLE --no-cancel-active

Das folgende Codebeispiel zeigt die Verwendungdelete-pipeline.

AWS CLI

Um eine Pipeline zu löschen

In diesem Beispiel wird die angegebene Pipeline gelöscht:

aws datapipeline delete-pipeline --pipeline-id df-00627471SOVYZEXAMPLE

  • APIEinzelheiten finden Sie DeletePipelinein der AWS CLI Befehlsreferenz.

Das folgende Codebeispiel zeigt die Verwendungdescribe-pipelines.

AWS CLI

Um Ihre Pipelines zu beschreiben

Dieses Beispiel beschreibt die angegebene Pipeline:

aws datapipeline describe-pipelines --pipeline-ids df-00627471SOVYZEXAMPLE

Das Folgende ist Ausgabebeispiel:

{
  "pipelineDescriptionList": [
      {
          "fields": [
              {
                  "stringValue": "PENDING",
                  "key": "@pipelineState"
              },
              {
                  "stringValue": "my-pipeline",
                  "key": "name"
              },
              {
                  "stringValue": "2015-04-07T16:05:58",
                  "key": "@creationTime"
              },
              {
                  "stringValue": "df-00627471SOVYZEXAMPLE",
                  "key": "@id"
              },
              {
                  "stringValue": "123456789012",
                  "key": "pipelineCreator"
              },
              {
                  "stringValue": "PIPELINE",
                  "key": "@sphere"
              },
              {
                  "stringValue": "123456789012",
                  "key": "@userId"
              },
              {
                  "stringValue": "123456789012",
                  "key": "@accountId"
              },
              {
                  "stringValue": "my-pipeline-token",
                  "key": "uniqueId"
              }
          ],
          "pipelineId": "df-00627471SOVYZEXAMPLE",
          "name": "my-pipeline",
          "tags": []
      }
  ]
}

Das folgende Codebeispiel zeigt die Verwendungget-pipeline-definition.

AWS CLI

Um eine Pipeline-Definition zu erhalten

In diesem Beispiel wird die Pipeline-Definition für die angegebene Pipeline abgerufen:

aws datapipeline get-pipeline-definition --pipeline-id df-00627471SOVYZEXAMPLE

Das Folgende ist Ausgabebeispiel:

{
  "parameters": [
      {
          "type": "AWS::S3::ObjectKey",
          "id": "myS3OutputLoc",
          "description": "S3 output folder"
      },
      {
          "default": "s3://us-east-1.elasticmapreduce.samples/pig-apache-logs/data",
          "type": "AWS::S3::ObjectKey",
          "id": "myS3InputLoc",
          "description": "S3 input folder"
      },
      {
          "default": "grep -rc \"GET\" ${INPUT1_STAGING_DIR}/* > ${OUTPUT1_STAGING_DIR}/output.txt",
          "type": "String",
          "id": "myShellCmd",
          "description": "Shell command to run"
      }
  ],
  "objects": [
      {
          "type": "Ec2Resource",
          "terminateAfter": "20 Minutes",
          "instanceType": "t1.micro",
          "id": "EC2ResourceObj",
          "name": "EC2ResourceObj"
      },
      {
          "name": "Default",
          "failureAndRerunMode": "CASCADE",
          "resourceRole": "DataPipelineDefaultResourceRole",
          "schedule": {
              "ref": "DefaultSchedule"
          },
          "role": "DataPipelineDefaultRole",
          "scheduleType": "cron",
          "id": "Default"
      },
      {
          "directoryPath": "#{myS3OutputLoc}/#{format(@scheduledStartTime, 'YYYY-MM-dd-HH-mm-ss')}",
          "type": "S3DataNode",
          "id": "S3OutputLocation",
          "name": "S3OutputLocation"
      },
      {
          "directoryPath": "#{myS3InputLoc}",
          "type": "S3DataNode",
          "id": "S3InputLocation",
          "name": "S3InputLocation"
      },
      {
          "startAt": "FIRST_ACTIVATION_DATE_TIME",
          "name": "Every 15 minutes",
          "period": "15 minutes",
          "occurrences": "4",
          "type": "Schedule",
          "id": "DefaultSchedule"
      },
      {
          "name": "ShellCommandActivityObj",
          "command": "#{myShellCmd}",
          "output": {
              "ref": "S3OutputLocation"
          },
          "input": {
              "ref": "S3InputLocation"
          },
          "stage": "true",
          "type": "ShellCommandActivity",
          "id": "ShellCommandActivityObj",
          "runsOn": {
              "ref": "EC2ResourceObj"
          }
      }
  ],
  "values": {
      "myS3OutputLoc": "s3://my-s3-bucket/",
      "myS3InputLoc": "s3://us-east-1.elasticmapreduce.samples/pig-apache-logs/data",
      "myShellCmd": "grep -rc \"GET\" ${INPUT1_STAGING_DIR}/* > ${OUTPUT1_STAGING_DIR}/output.txt"
  }
}

Das folgende Codebeispiel zeigt die Verwendunglist-pipelines.

AWS CLI

Um Ihre Pipelines aufzulisten

In diesem Beispiel werden Ihre Pipelines aufgeführt:

aws datapipeline list-pipelines

Das Folgende ist Ausgabebeispiel:

{
  "pipelineIdList": [
      {
          "id": "df-00627471SOVYZEXAMPLE",
          "name": "my-pipeline"
      },
      {
          "id": "df-09028963KNVMREXAMPLE",
          "name": "ImportDDB"
      },
      {
          "id": "df-0870198233ZYVEXAMPLE",
          "name": "CrossRegionDDB"
      },
      {
          "id": "df-00189603TB4MZEXAMPLE",
          "name": "CopyRedshift"
      }
  ]
}

  • APIEinzelheiten finden Sie ListPipelinesin der AWS CLI Befehlsreferenz.

Das folgende Codebeispiel zeigt die Verwendunglist-runs.

AWS CLI

Beispiel 1: Um Ihre Pipeline-Läufe aufzulisten

Das folgende list-runs Beispiel listet die Läufe für die angegebene Pipeline auf.

aws datapipeline list-runs --pipeline-id df-00627471SOVYZEXAMPLE

Ausgabe:

    Name                       Scheduled Start        Status                     ID                                              Started                Ended
    -----------------------------------------------------------------------------------------------------------------------------------------------------------------------------
1.  EC2ResourceObj             2015-04-12T17:33:02    CREATING                   @EC2ResourceObj_2015-04-12T17:33:02             2015-04-12T17:33:10
2.  S3InputLocation            2015-04-12T17:33:02    FINISHED                   @S3InputLocation_2015-04-12T17:33:02            2015-04-12T17:33:09    2015-04-12T17:33:09
3.  S3OutputLocation           2015-04-12T17:33:02    WAITING_ON_DEPENDENCIES    @S3OutputLocation_2015-04-12T17:33:02           2015-04-12T17:33:09
4.  ShellCommandActivityObj    2015-04-12T17:33:02    WAITING_FOR_RUNNER         @ShellCommandActivityObj_2015-04-12T17:33:02    2015-04-12T17:33:09

Beispiel 2: Um die Pipeline-Läufe zwischen den angegebenen Daten aufzulisten

Im folgenden list-runs Beispiel werden die Daten verwendet--start-interval, um die Daten anzugeben, die in die Ausgabe aufgenommen werden sollen.

aws datapipeline list-runs --pipeline-id df-01434553B58A2SHZUKO5 --start-interval 2017-10-07T00:00:00,2017-10-08T00:00:00

  • APIEinzelheiten finden Sie ListRunsunter AWS CLI Befehlsreferenz.

Das folgende Codebeispiel zeigt die Verwendungput-pipeline-definition.

AWS CLI

Um eine Pipeline-Definition hochzuladen

In diesem Beispiel wird die angegebene Pipeline-Definition in die angegebene Pipeline hochgeladen:

aws datapipeline put-pipeline-definition --pipeline-id df-00627471SOVYZEXAMPLE --pipeline-definition file://my-pipeline-definition.json

Das Folgende ist Ausgabebeispiel:

{
  "validationErrors": [],
  "errored": false,
  "validationWarnings": []
}

Das folgende Codebeispiel zeigt die Verwendungremove-tags.

AWS CLI

Um ein Tag aus einer Pipeline zu entfernen

In diesem Beispiel wird das angegebene Tag aus der angegebenen Pipeline entfernt:

aws datapipeline remove-tags --pipeline-id df-00627471SOVYZEXAMPLE --tag-keys environment

  • APIEinzelheiten finden Sie RemoveTagsunter AWS CLI Befehlsreferenz.