Ci sono altri AWS SDK esempi disponibili nel repository AWS Doc SDK Examples
Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
AWS Data Pipeline esempi utilizzando AWS CLI
I seguenti esempi di codice mostrano come eseguire azioni e implementare scenari comuni utilizzando AWS Command Line Interface with AWS Data Pipeline.
Le operazioni sono estratti di codice da programmi più grandi e devono essere eseguite nel contesto. Mentre le azioni mostrano come richiamare le singole funzioni di servizio, è possibile visualizzare le azioni nel loro contesto negli scenari correlati.
Ogni esempio include un collegamento al codice sorgente completo, in cui è possibile trovare istruzioni su come configurare ed eseguire il codice nel contesto.
Argomenti
Azioni
Il seguente esempio di codice mostra come utilizzareactivate-pipeline
.
- AWS CLI
-
Per attivare una pipeline
Questo esempio attiva la pipeline specificata:
aws datapipeline activate-pipeline --pipeline-id
df-00627471SOVYZEXAMPLE
Per attivare la pipeline in una data e un'ora specifiche, utilizzate il seguente comando:
aws datapipeline activate-pipeline --pipeline-id
df-00627471SOVYZEXAMPLE
--start-timestamp2015-04-07T00:00:00Z
-
Per API i dettagli, vedere ActivatePipeline
in AWS CLI Command Reference.
-
Il seguente esempio di codice mostra come utilizzareadd-tags
.
- AWS CLI
-
Per aggiungere un tag a una pipeline
Questo esempio aggiunge il tag specificato alla pipeline specificata:
aws datapipeline add-tags --pipeline-id
df-00627471SOVYZEXAMPLE
--tagskey=environment,value=production
key=owner,value=sales
Per visualizzare i tag, utilizzate il comando describe-pipelines. Ad esempio, i tag aggiunti nel comando example vengono visualizzati come segue nell'output di describe-pipelines:
{ ... "tags": [ { "value": "production", "key": "environment" }, { "value": "sales", "key": "owner" } ] ... }
-
Per i API dettagli, vedere AddTags
in Command Reference.AWS CLI
-
Il seguente esempio di codice mostra come utilizzarecreate-pipeline
.
- AWS CLI
-
Per creare una pipeline
Questo esempio crea una pipeline:
aws datapipeline create-pipeline --name
my-pipeline
--unique-idmy-pipeline-token
Di seguito è riportato un output di esempio:
{ "pipelineId": "df-00627471SOVYZEXAMPLE" }
-
Per API i dettagli, vedere CreatePipeline
in AWS CLI Command Reference.
-
Il seguente esempio di codice mostra come utilizzaredeactivate-pipeline
.
- AWS CLI
-
Per disattivare una pipeline
Questo esempio disattiva la pipeline specificata:
aws datapipeline deactivate-pipeline --pipeline-id
df-00627471SOVYZEXAMPLE
Per disattivare la pipeline solo al termine di tutte le attività in esecuzione, utilizzate il comando seguente:
aws datapipeline deactivate-pipeline --pipeline-id
df-00627471SOVYZEXAMPLE
--no-cancel-active-
Per API i dettagli, vedere DeactivatePipeline
in AWS CLI Command Reference.
-
Il seguente esempio di codice mostra come utilizzaredelete-pipeline
.
- AWS CLI
-
Per eliminare una pipeline
Questo esempio elimina la pipeline specificata:
aws datapipeline delete-pipeline --pipeline-id
df-00627471SOVYZEXAMPLE
-
Per API i dettagli, vedere DeletePipeline
in AWS CLI Command Reference.
-
Il seguente esempio di codice mostra come utilizzaredescribe-pipelines
.
- AWS CLI
-
Per descrivere le tue pipeline
Questo esempio descrive la pipeline specificata:
aws datapipeline describe-pipelines --pipeline-ids
df-00627471SOVYZEXAMPLE
Di seguito è riportato un output di esempio:
{ "pipelineDescriptionList": [ { "fields": [ { "stringValue": "PENDING", "key": "@pipelineState" }, { "stringValue": "my-pipeline", "key": "name" }, { "stringValue": "2015-04-07T16:05:58", "key": "@creationTime" }, { "stringValue": "df-00627471SOVYZEXAMPLE", "key": "@id" }, { "stringValue": "123456789012", "key": "pipelineCreator" }, { "stringValue": "PIPELINE", "key": "@sphere" }, { "stringValue": "123456789012", "key": "@userId" }, { "stringValue": "123456789012", "key": "@accountId" }, { "stringValue": "my-pipeline-token", "key": "uniqueId" } ], "pipelineId": "df-00627471SOVYZEXAMPLE", "name": "my-pipeline", "tags": [] } ] }
-
Per API i dettagli, vedere DescribePipelines
in AWS CLI Command Reference.
-
Il seguente esempio di codice mostra come utilizzareget-pipeline-definition
.
- AWS CLI
-
Per ottenere una definizione di pipeline
Questo esempio ottiene la definizione della pipeline per la pipeline specificata:
aws datapipeline get-pipeline-definition --pipeline-id
df-00627471SOVYZEXAMPLE
Di seguito è riportato un output di esempio:
{ "parameters": [ { "type": "AWS::S3::ObjectKey", "id": "myS3OutputLoc", "description": "S3 output folder" }, { "default": "s3://us-east-1.elasticmapreduce.samples/pig-apache-logs/data", "type": "AWS::S3::ObjectKey", "id": "myS3InputLoc", "description": "S3 input folder" }, { "default": "grep -rc \"GET\" ${INPUT1_STAGING_DIR}/* > ${OUTPUT1_STAGING_DIR}/output.txt", "type": "String", "id": "myShellCmd", "description": "Shell command to run" } ], "objects": [ { "type": "Ec2Resource", "terminateAfter": "20 Minutes", "instanceType": "t1.micro", "id": "EC2ResourceObj", "name": "EC2ResourceObj" }, { "name": "Default", "failureAndRerunMode": "CASCADE", "resourceRole": "DataPipelineDefaultResourceRole", "schedule": { "ref": "DefaultSchedule" }, "role": "DataPipelineDefaultRole", "scheduleType": "cron", "id": "Default" }, { "directoryPath": "#{myS3OutputLoc}/#{format(@scheduledStartTime, 'YYYY-MM-dd-HH-mm-ss')}", "type": "S3DataNode", "id": "S3OutputLocation", "name": "S3OutputLocation" }, { "directoryPath": "#{myS3InputLoc}", "type": "S3DataNode", "id": "S3InputLocation", "name": "S3InputLocation" }, { "startAt": "FIRST_ACTIVATION_DATE_TIME", "name": "Every 15 minutes", "period": "15 minutes", "occurrences": "4", "type": "Schedule", "id": "DefaultSchedule" }, { "name": "ShellCommandActivityObj", "command": "#{myShellCmd}", "output": { "ref": "S3OutputLocation" }, "input": { "ref": "S3InputLocation" }, "stage": "true", "type": "ShellCommandActivity", "id": "ShellCommandActivityObj", "runsOn": { "ref": "EC2ResourceObj" } } ], "values": { "myS3OutputLoc": "s3://my-s3-bucket/", "myS3InputLoc": "s3://us-east-1.elasticmapreduce.samples/pig-apache-logs/data", "myShellCmd": "grep -rc \"GET\" ${INPUT1_STAGING_DIR}/* > ${OUTPUT1_STAGING_DIR}/output.txt" } }
-
Per API i dettagli, vedere GetPipelineDefinition
in AWS CLI Command Reference.
-
Il seguente esempio di codice mostra come utilizzarelist-pipelines
.
- AWS CLI
-
Per elencare le tue pipeline
Questo esempio elenca le tue pipeline:
aws datapipeline list-pipelines
Di seguito è riportato un output di esempio:
{ "pipelineIdList": [ { "id": "df-00627471SOVYZEXAMPLE", "name": "my-pipeline" }, { "id": "df-09028963KNVMREXAMPLE", "name": "ImportDDB" }, { "id": "df-0870198233ZYVEXAMPLE", "name": "CrossRegionDDB" }, { "id": "df-00189603TB4MZEXAMPLE", "name": "CopyRedshift" } ] }
-
Per API i dettagli, vedere ListPipelines
in AWS CLI Command Reference.
-
Il seguente esempio di codice mostra come utilizzarelist-runs
.
- AWS CLI
-
Esempio 1: per elencare le esecuzioni della pipeline
L'
list-runs
esempio seguente elenca le esecuzioni per la pipeline specificata.aws datapipeline list-runs --pipeline-id
df-00627471SOVYZEXAMPLE
Output:
Name Scheduled Start Status ID Started Ended ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------- 1. EC2ResourceObj 2015-04-12T17:33:02 CREATING @EC2ResourceObj_2015-04-12T17:33:02 2015-04-12T17:33:10 2. S3InputLocation 2015-04-12T17:33:02 FINISHED @S3InputLocation_2015-04-12T17:33:02 2015-04-12T17:33:09 2015-04-12T17:33:09 3. S3OutputLocation 2015-04-12T17:33:02 WAITING_ON_DEPENDENCIES @S3OutputLocation_2015-04-12T17:33:02 2015-04-12T17:33:09 4. ShellCommandActivityObj 2015-04-12T17:33:02 WAITING_FOR_RUNNER @ShellCommandActivityObj_2015-04-12T17:33:02 2015-04-12T17:33:09
Esempio 2: Per elencare le corse della pipeline tra le date specificate
L'
list-runs
esempio seguente utilizza il--start-interval
per specificare le date da includere nell'output.aws datapipeline list-runs --pipeline-id
df-01434553B58A2SHZUKO5
--start-interval2017-10-07T00:00:00,2017-10-08T00:00:00
-
Per API i dettagli, vedere ListRuns
in AWS CLI Command Reference.
-
Il seguente esempio di codice mostra come utilizzareput-pipeline-definition
.
- AWS CLI
-
Per caricare una definizione di pipeline
Questo esempio carica la definizione della tubazione specificata nella tubazione specificata:
aws datapipeline put-pipeline-definition --pipeline-id
df-00627471SOVYZEXAMPLE
--pipeline-definitionfile://my-pipeline-definition.json
Di seguito è riportato un output di esempio:
{ "validationErrors": [], "errored": false, "validationWarnings": [] }
-
Per API i dettagli, vedete PutPipelineDefinition
in AWS CLI Command Reference.
-
Il seguente esempio di codice mostra come utilizzareremove-tags
.
- AWS CLI
-
Per rimuovere un tag da una pipeline
Questo esempio rimuove il tag specificato dalla pipeline specificata:
aws datapipeline remove-tags --pipeline-id
df-00627471SOVYZEXAMPLE
--tag-keysenvironment
-
Per API i dettagli, vedere RemoveTags
in AWS CLI Command Reference.
-