View a markdown version of this page

AWS Data Pipeline esempi di utilizzo AWS CLI - AWS Esempi di codice SDK
Azioni

Sono disponibili altri esempi di AWS SDK nel repository AWS Doc SDK Examples. GitHub

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

AWS Data Pipeline esempi di utilizzo AWS CLI

I seguenti esempi di codice mostrano come eseguire azioni e implementare scenari comuni utilizzando AWS Command Line Interface with AWS Data Pipeline.

Le azioni sono estratti di codice da programmi più grandi e devono essere eseguite nel contesto. Sebbene le azioni mostrino come richiamare le singole funzioni del servizio, è possibile visualizzarle contestualizzate negli scenari correlati.

Ogni esempio include un link al codice sorgente completo, in cui vengono fornite le istruzioni su come configurare ed eseguire il codice nel contesto.

Argomenti

Azioni

L’esempio di codice seguente mostra come utilizzare activate-pipeline.

AWS CLI

Come attivare una pipeline

Questo esempio attiva la pipeline specificata:

aws datapipeline activate-pipeline --pipeline-id df-00627471SOVYZEXAMPLE

Per attivare la pipeline a una data e a un’ora specifiche, utilizza il comando seguente:

aws datapipeline activate-pipeline --pipeline-id df-00627471SOVYZEXAMPLE --start-timestamp 2015-04-07T00:00:00Z

L’esempio di codice seguente mostra come utilizzare add-tags.

AWS CLI

Come aggiungere un tag a una pipeline

Questo esempio aggiunge il tag specificato alla pipeline specificata:

aws datapipeline add-tags --pipeline-id df-00627471SOVYZEXAMPLE --tags key=environment,value=production key=owner,value=sales

Per visualizzare i tag, utilizza il comando describe-pipelines. Ad esempio, i tag aggiunti al comando example vengono visualizzati come segue nell’output di describe-pipelines:

{
    ...
        "tags": [
            {
                "value": "production",
                "key": "environment"
            },
            {
                "value": "sales",
                "key": "owner"
            }
        ]
    ...
}

  • Per i dettagli sull'API, vedi AddTags in AWS CLI Command Reference.

L’esempio di codice seguente mostra come utilizzare create-pipeline.

AWS CLI

Come creare una pipeline

Questo esempio crea una pipeline:

aws datapipeline create-pipeline --name my-pipeline --unique-id my-pipeline-token

Di seguito è riportato un output di esempio:

{
    "pipelineId": "df-00627471SOVYZEXAMPLE"
}

L’esempio di codice seguente mostra come utilizzare deactivate-pipeline.

AWS CLI

Come disattivare una pipeline

Questo esempio disattiva la pipeline specificata:

aws datapipeline deactivate-pipeline --pipeline-id df-00627471SOVYZEXAMPLE

Per disattivare la pipeline solo dopo che tutte le attività in esecuzione sono terminate, utilizza il comando seguente:

aws datapipeline deactivate-pipeline --pipeline-id df-00627471SOVYZEXAMPLE --no-cancel-active

L’esempio di codice seguente mostra come utilizzare delete-pipeline.

AWS CLI

Come eliminare una pipeline

Questo esempio elimina la pipeline specificata:

aws datapipeline delete-pipeline --pipeline-id df-00627471SOVYZEXAMPLE

L’esempio di codice seguente mostra come utilizzare describe-pipelines.

AWS CLI

Come descrivere le pipeline

Questo esempio descrive come eliminare la pipeline specificata:

aws datapipeline describe-pipelines --pipeline-ids df-00627471SOVYZEXAMPLE

Di seguito è riportato un output di esempio:

{
  "pipelineDescriptionList": [
      {
          "fields": [
              {
                  "stringValue": "PENDING",
                  "key": "@pipelineState"
              },
              {
                  "stringValue": "my-pipeline",
                  "key": "name"
              },
              {
                  "stringValue": "2015-04-07T16:05:58",
                  "key": "@creationTime"
              },
              {
                  "stringValue": "df-00627471SOVYZEXAMPLE",
                  "key": "@id"
              },
              {
                  "stringValue": "123456789012",
                  "key": "pipelineCreator"
              },
              {
                  "stringValue": "PIPELINE",
                  "key": "@sphere"
              },
              {
                  "stringValue": "123456789012",
                  "key": "@userId"
              },
              {
                  "stringValue": "123456789012",
                  "key": "@accountId"
              },
              {
                  "stringValue": "my-pipeline-token",
                  "key": "uniqueId"
              }
          ],
          "pipelineId": "df-00627471SOVYZEXAMPLE",
          "name": "my-pipeline",
          "tags": []
      }
  ]
}

L’esempio di codice seguente mostra come utilizzare get-pipeline-definition.

AWS CLI

Come ottenere una definizione di pipeline

L’esempio seguente riceve la definizione di pipeline per la pipeline specificata:

aws datapipeline get-pipeline-definition --pipeline-id df-00627471SOVYZEXAMPLE

Di seguito è riportato un output di esempio:

{
  "parameters": [
      {
          "type": "AWS::S3::ObjectKey",
          "id": "myS3OutputLoc",
          "description": "S3 output folder"
      },
      {
          "default": "s3://us-east-1.elasticmapreduce.samples/pig-apache-logs/data",
          "type": "AWS::S3::ObjectKey",
          "id": "myS3InputLoc",
          "description": "S3 input folder"
      },
      {
          "default": "grep -rc \"GET\" ${INPUT1_STAGING_DIR}/* > ${OUTPUT1_STAGING_DIR}/output.txt",
          "type": "String",
          "id": "myShellCmd",
          "description": "Shell command to run"
      }
  ],
  "objects": [
      {
          "type": "Ec2Resource",
          "terminateAfter": "20 Minutes",
          "instanceType": "t1.micro",
          "id": "EC2ResourceObj",
          "name": "EC2ResourceObj"
      },
      {
          "name": "Default",
          "failureAndRerunMode": "CASCADE",
          "resourceRole": "DataPipelineDefaultResourceRole",
          "schedule": {
              "ref": "DefaultSchedule"
          },
          "role": "DataPipelineDefaultRole",
          "scheduleType": "cron",
          "id": "Default"
      },
      {
          "directoryPath": "#{myS3OutputLoc}/#{format(@scheduledStartTime, 'YYYY-MM-dd-HH-mm-ss')}",
          "type": "S3DataNode",
          "id": "S3OutputLocation",
          "name": "S3OutputLocation"
      },
      {
          "directoryPath": "#{myS3InputLoc}",
          "type": "S3DataNode",
          "id": "S3InputLocation",
          "name": "S3InputLocation"
      },
      {
          "startAt": "FIRST_ACTIVATION_DATE_TIME",
          "name": "Every 15 minutes",
          "period": "15 minutes",
          "occurrences": "4",
          "type": "Schedule",
          "id": "DefaultSchedule"
      },
      {
          "name": "ShellCommandActivityObj",
          "command": "#{myShellCmd}",
          "output": {
              "ref": "S3OutputLocation"
          },
          "input": {
              "ref": "S3InputLocation"
          },
          "stage": "true",
          "type": "ShellCommandActivity",
          "id": "ShellCommandActivityObj",
          "runsOn": {
              "ref": "EC2ResourceObj"
          }
      }
  ],
  "values": {
      "myS3OutputLoc": "s3://amzn-s3-demo-bucket/",
      "myS3InputLoc": "s3://us-east-1.elasticmapreduce.samples/pig-apache-logs/data",
      "myShellCmd": "grep -rc \"GET\" ${INPUT1_STAGING_DIR}/* > ${OUTPUT1_STAGING_DIR}/output.txt"
  }
}

L’esempio di codice seguente mostra come utilizzare list-pipelines.

AWS CLI

Come elencare le pipeline

Questo esempio elenca le pipeline:

aws datapipeline list-pipelines

Di seguito è riportato un output di esempio:

{
  "pipelineIdList": [
      {
          "id": "df-00627471SOVYZEXAMPLE",
          "name": "my-pipeline"
      },
      {
          "id": "df-09028963KNVMREXAMPLE",
          "name": "ImportDDB"
      },
      {
          "id": "df-0870198233ZYVEXAMPLE",
          "name": "CrossRegionDDB"
      },
      {
          "id": "df-00189603TB4MZEXAMPLE",
          "name": "CopyRedshift"
      }
  ]
}

  • Per i dettagli sull'API, vedi ListPipelines in AWS CLI Command Reference.

L’esempio di codice seguente mostra come utilizzare list-runs.

AWS CLI

Esempio 1: come elencare le esecuzioni della pipeline

L’esempio list-runs seguente elenca le esecuzioni per la pipeline specificata.

aws datapipeline list-runs --pipeline-id df-00627471SOVYZEXAMPLE

Output:

    Name                       Scheduled Start        Status                     ID                                              Started                Ended
    -----------------------------------------------------------------------------------------------------------------------------------------------------------------------------
1.  EC2ResourceObj             2015-04-12T17:33:02    CREATING                   @EC2ResourceObj_2015-04-12T17:33:02             2015-04-12T17:33:10
2.  S3InputLocation            2015-04-12T17:33:02    FINISHED                   @S3InputLocation_2015-04-12T17:33:02            2015-04-12T17:33:09    2015-04-12T17:33:09
3.  S3OutputLocation           2015-04-12T17:33:02    WAITING_ON_DEPENDENCIES    @S3OutputLocation_2015-04-12T17:33:02           2015-04-12T17:33:09
4.  ShellCommandActivityObj    2015-04-12T17:33:02    WAITING_FOR_RUNNER         @ShellCommandActivityObj_2015-04-12T17:33:02    2015-04-12T17:33:09

Esempio 2: come elencare le esecuzioni della pipeline tra le date specificate

L’esempio list-runs seguente utilizza --start-interval per specificare le date da includere nell’output.

aws datapipeline list-runs --pipeline-id df-01434553B58A2SHZUKO5 --start-interval 2017-10-07T00:00:00,2017-10-08T00:00:00

  • Per i dettagli sull'API, vedi ListRuns in AWS CLI Command Reference.

L’esempio di codice seguente mostra come utilizzare put-pipeline-definition.

AWS CLI

Come caricare una definizione di pipeline

Questo esempio carica la definizione della pipeline specificata nella pipeline specificata:

aws datapipeline put-pipeline-definition --pipeline-id df-00627471SOVYZEXAMPLE --pipeline-definition file://my-pipeline-definition.json

Di seguito è riportato un output di esempio:

{
  "validationErrors": [],
  "errored": false,
  "validationWarnings": []
}

L’esempio di codice seguente mostra come utilizzare remove-tags.

AWS CLI

Come rimuovere un tag da una pipeline

Questo esempio rimuove il tag specificato dalla pipeline specificata:

aws datapipeline remove-tags --pipeline-id df-00627471SOVYZEXAMPLE --tag-keys environment

  • Per i dettagli sull'API, vedi RemoveTags in AWS CLI Command Reference.