AWS Data Pipeline ejemplos que utilizan AWS CLI - AWS Command Line Interface
Acciones

Esta documentación es AWS CLI únicamente para la versión 1 de la versión. Para ver la documentación relacionada con la versión 2 de AWS CLI, consulte la Guía del usuario de la versión 2.

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

AWS Data Pipeline ejemplos que utilizan AWS CLI

Los siguientes ejemplos de código muestran cómo realizar acciones e implementar escenarios comunes mediante el uso del AWS Command Line Interface with AWS Data Pipeline.

Las acciones son extractos de código de programas más grandes y deben ejecutarse en contexto. Mientras las acciones muestran cómo llamar a las funciones de servicio individuales, es posible ver las acciones en contexto en los escenarios relacionados.

Cada ejemplo incluye un enlace al código fuente completo, donde puede encontrar instrucciones sobre cómo configurar y ejecutar el código en su contexto.

Acciones

El siguiente ejemplo de código muestra cómo usarloactivate-pipeline.

AWS CLI

Para activar una canalización

En este ejemplo, se activa la canalización especificada:

aws datapipeline activate-pipeline --pipeline-id df-00627471SOVYZEXAMPLE

Para activar la canalización en una fecha y hora específicas, usa el siguiente comando:

aws datapipeline activate-pipeline --pipeline-id df-00627471SOVYZEXAMPLE --start-timestamp 2015-04-07T00:00:00Z

  • Para API obtener más información, consulte ActivatePipelinela Referencia de AWS CLI comandos.

El siguiente ejemplo de código muestra cómo usarloadd-tags.

AWS CLI

Para añadir una etiqueta a una canalización

En este ejemplo, se añade la etiqueta especificada a la canalización especificada:

aws datapipeline add-tags --pipeline-id df-00627471SOVYZEXAMPLE --tags key=environment,value=production key=owner,value=sales

Para ver las etiquetas, utilice el comando describe-pipelines. Por ejemplo, las etiquetas agregadas en el comando example aparecen de la siguiente manera en el resultado de describe-pipelines:

{
    ...
        "tags": [
            {
                "value": "production",
                "key": "environment"
            },
            {
                "value": "sales",
                "key": "owner"
            }
        ]
    ...
}

  • Para obtener API más información, consulte la Referencia de comandos AddTags.AWS CLI

El siguiente ejemplo de código muestra cómo usarlocreate-pipeline.

AWS CLI

Para crear una canalización

En este ejemplo se crea una canalización:

aws datapipeline create-pipeline --name my-pipeline --unique-id my-pipeline-token

A continuación, se muestra un ejemplo de la salida:

{
    "pipelineId": "df-00627471SOVYZEXAMPLE"
}

  • Para API obtener más información, consulte CreatePipelinela Referencia de AWS CLI comandos.

El siguiente ejemplo de código muestra cómo usarlodeactivate-pipeline.

AWS CLI

Para desactivar una canalización

En este ejemplo se desactiva la canalización especificada:

aws datapipeline deactivate-pipeline --pipeline-id df-00627471SOVYZEXAMPLE

Para desactivar la canalización solo después de que finalicen todas las actividades en ejecución, usa el siguiente comando:

aws datapipeline deactivate-pipeline --pipeline-id df-00627471SOVYZEXAMPLE --no-cancel-active

  • Para API obtener más información, consulte DeactivatePipelinela Referencia de AWS CLI comandos.

El siguiente ejemplo de código muestra cómo usarlodelete-pipeline.

AWS CLI

Para eliminar una canalización

En este ejemplo, se elimina la canalización especificada:

aws datapipeline delete-pipeline --pipeline-id df-00627471SOVYZEXAMPLE

  • Para API obtener más información, consulte DeletePipelinela Referencia de AWS CLI comandos.

El siguiente ejemplo de código muestra cómo usarlodescribe-pipelines.

AWS CLI

Para describir tus canalizaciones

En este ejemplo se describe la canalización especificada:

aws datapipeline describe-pipelines --pipeline-ids df-00627471SOVYZEXAMPLE

A continuación, se muestra un ejemplo de la salida:

{
  "pipelineDescriptionList": [
      {
          "fields": [
              {
                  "stringValue": "PENDING",
                  "key": "@pipelineState"
              },
              {
                  "stringValue": "my-pipeline",
                  "key": "name"
              },
              {
                  "stringValue": "2015-04-07T16:05:58",
                  "key": "@creationTime"
              },
              {
                  "stringValue": "df-00627471SOVYZEXAMPLE",
                  "key": "@id"
              },
              {
                  "stringValue": "123456789012",
                  "key": "pipelineCreator"
              },
              {
                  "stringValue": "PIPELINE",
                  "key": "@sphere"
              },
              {
                  "stringValue": "123456789012",
                  "key": "@userId"
              },
              {
                  "stringValue": "123456789012",
                  "key": "@accountId"
              },
              {
                  "stringValue": "my-pipeline-token",
                  "key": "uniqueId"
              }
          ],
          "pipelineId": "df-00627471SOVYZEXAMPLE",
          "name": "my-pipeline",
          "tags": []
      }
  ]
}

  • Para API obtener más información, consulte DescribePipelinesla Referencia de AWS CLI comandos.

El siguiente ejemplo de código muestra cómo usarloget-pipeline-definition.

AWS CLI

Para obtener una definición de canalización

En este ejemplo se obtiene la definición de canalización de la canalización especificada:

aws datapipeline get-pipeline-definition --pipeline-id df-00627471SOVYZEXAMPLE

A continuación, se muestra un ejemplo de la salida:

{
  "parameters": [
      {
          "type": "AWS::S3::ObjectKey",
          "id": "myS3OutputLoc",
          "description": "S3 output folder"
      },
      {
          "default": "s3://us-east-1.elasticmapreduce.samples/pig-apache-logs/data",
          "type": "AWS::S3::ObjectKey",
          "id": "myS3InputLoc",
          "description": "S3 input folder"
      },
      {
          "default": "grep -rc \"GET\" ${INPUT1_STAGING_DIR}/* > ${OUTPUT1_STAGING_DIR}/output.txt",
          "type": "String",
          "id": "myShellCmd",
          "description": "Shell command to run"
      }
  ],
  "objects": [
      {
          "type": "Ec2Resource",
          "terminateAfter": "20 Minutes",
          "instanceType": "t1.micro",
          "id": "EC2ResourceObj",
          "name": "EC2ResourceObj"
      },
      {
          "name": "Default",
          "failureAndRerunMode": "CASCADE",
          "resourceRole": "DataPipelineDefaultResourceRole",
          "schedule": {
              "ref": "DefaultSchedule"
          },
          "role": "DataPipelineDefaultRole",
          "scheduleType": "cron",
          "id": "Default"
      },
      {
          "directoryPath": "#{myS3OutputLoc}/#{format(@scheduledStartTime, 'YYYY-MM-dd-HH-mm-ss')}",
          "type": "S3DataNode",
          "id": "S3OutputLocation",
          "name": "S3OutputLocation"
      },
      {
          "directoryPath": "#{myS3InputLoc}",
          "type": "S3DataNode",
          "id": "S3InputLocation",
          "name": "S3InputLocation"
      },
      {
          "startAt": "FIRST_ACTIVATION_DATE_TIME",
          "name": "Every 15 minutes",
          "period": "15 minutes",
          "occurrences": "4",
          "type": "Schedule",
          "id": "DefaultSchedule"
      },
      {
          "name": "ShellCommandActivityObj",
          "command": "#{myShellCmd}",
          "output": {
              "ref": "S3OutputLocation"
          },
          "input": {
              "ref": "S3InputLocation"
          },
          "stage": "true",
          "type": "ShellCommandActivity",
          "id": "ShellCommandActivityObj",
          "runsOn": {
              "ref": "EC2ResourceObj"
          }
      }
  ],
  "values": {
      "myS3OutputLoc": "s3://my-s3-bucket/",
      "myS3InputLoc": "s3://us-east-1.elasticmapreduce.samples/pig-apache-logs/data",
      "myShellCmd": "grep -rc \"GET\" ${INPUT1_STAGING_DIR}/* > ${OUTPUT1_STAGING_DIR}/output.txt"
  }
}

El siguiente ejemplo de código muestra cómo usarlolist-pipelines.

AWS CLI

Para enumerar tus canalizaciones

En este ejemplo, se muestran tus canalizaciones:

aws datapipeline list-pipelines

A continuación, se muestra un ejemplo de la salida:

{
  "pipelineIdList": [
      {
          "id": "df-00627471SOVYZEXAMPLE",
          "name": "my-pipeline"
      },
      {
          "id": "df-09028963KNVMREXAMPLE",
          "name": "ImportDDB"
      },
      {
          "id": "df-0870198233ZYVEXAMPLE",
          "name": "CrossRegionDDB"
      },
      {
          "id": "df-00189603TB4MZEXAMPLE",
          "name": "CopyRedshift"
      }
  ]
}

  • Para API obtener más información, consulta ListPipelinesla Referencia de AWS CLI comandos.

El siguiente ejemplo de código muestra cómo usarlolist-runs.

AWS CLI

Ejemplo 1: Para enumerar las ejecuciones de tu canalización

En el siguiente list-runs ejemplo, se enumeran las ejecuciones de la canalización especificada.

aws datapipeline list-runs --pipeline-id df-00627471SOVYZEXAMPLE

Salida:

    Name                       Scheduled Start        Status                     ID                                              Started                Ended
    -----------------------------------------------------------------------------------------------------------------------------------------------------------------------------
1.  EC2ResourceObj             2015-04-12T17:33:02    CREATING                   @EC2ResourceObj_2015-04-12T17:33:02             2015-04-12T17:33:10
2.  S3InputLocation            2015-04-12T17:33:02    FINISHED                   @S3InputLocation_2015-04-12T17:33:02            2015-04-12T17:33:09    2015-04-12T17:33:09
3.  S3OutputLocation           2015-04-12T17:33:02    WAITING_ON_DEPENDENCIES    @S3OutputLocation_2015-04-12T17:33:02           2015-04-12T17:33:09
4.  ShellCommandActivityObj    2015-04-12T17:33:02    WAITING_FOR_RUNNER         @ShellCommandActivityObj_2015-04-12T17:33:02    2015-04-12T17:33:09

Ejemplo 2: Para enumerar los recorridos de la canalización entre las fechas especificadas

En el siguiente list-runs ejemplo, se utiliza --start-interval para especificar las fechas que se van a incluir en la salida.

aws datapipeline list-runs --pipeline-id df-01434553B58A2SHZUKO5 --start-interval 2017-10-07T00:00:00,2017-10-08T00:00:00

  • Para API obtener más información, consulte ListRunsla Referencia de AWS CLI comandos.

El siguiente ejemplo de código muestra cómo usarloput-pipeline-definition.

AWS CLI

Para cargar una definición de canalización

En este ejemplo, se carga la definición de canalización especificada en la canalización especificada:

aws datapipeline put-pipeline-definition --pipeline-id df-00627471SOVYZEXAMPLE --pipeline-definition file://my-pipeline-definition.json

A continuación, se muestra un ejemplo de la salida:

{
  "validationErrors": [],
  "errored": false,
  "validationWarnings": []
}

El siguiente ejemplo de código muestra cómo usarloremove-tags.

AWS CLI

Para eliminar una etiqueta de una canalización

En este ejemplo, se elimina la etiqueta especificada de la canalización especificada:

aws datapipeline remove-tags --pipeline-id df-00627471SOVYZEXAMPLE --tag-keys environment

  • Para API obtener más información, consulte RemoveTagsla Referencia de AWS CLI comandos.