Programación - AWS Data Pipeline
EjemplosSintaxis

AWS Data Pipeline ya no está disponible para nuevos clientes. Clientes actuales de AWS Data Pipeline pueden seguir utilizando el servicio con normalidad. Más información

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Programación

Define los tiempos de un evento programado, como cuando se ejecuta una actividad.

nota

Cuando la hora de inicio de un programa es pasada, se AWS Data Pipeline rellena el proceso y se empieza a programar las ejecuciones inmediatamente a partir de la hora de inicio especificada. Para pruebas o desarrollo, use un intervalo relativamente corto. De lo contrario, AWS Data Pipeline intenta poner en cola y programar todas las ejecuciones de la canalización para ese intervalo. AWS Data Pipeline intenta evitar rellenamientos accidentales si el componente de la canalización scheduledStartTime se produjo antes de hace 1 día bloqueando la activación de la canalización.

Ejemplos

A continuación se muestra un ejemplo de este tipo de objeto. Define un programa de cada hora comenzando a las 00:00:00 horas el 01-09-2012 y finalizando a las 00:00:00 horas el 01-10-2012. El primer período finaliza a las 01:00:00 el 01-09-2012.

{
  "id" : "Hourly",
  "type" : "Schedule",
  "period" : "1 hours",
  "startDateTime" : "2012-09-01T00:00:00",
  "endDateTime" : "2012-10-01T00:00:00"
}

La siguiente canalización comenzará en FIRST_ACTIVATION_DATE_TIME y se ejecutará cada hora hasta las 22:00:00 horas el 25-04-2014.

{
     "id": "SchedulePeriod",
     "name": "SchedulePeriod",
     "startAt": "FIRST_ACTIVATION_DATE_TIME",
     "period": "1 hours",
     "type": "Schedule",
     "endDateTime": "2014-04-25T22:00:00"
   }

La siguiente canalización comenzará en FIRST_ACTIVATION_DATE_TIME, se ejecutará cada hora y se completará tras tres coincidencias.

{
     "id": "SchedulePeriod",
     "name": "SchedulePeriod",
     "startAt": "FIRST_ACTIVATION_DATE_TIME",
     "period": "1 hours",
     "type": "Schedule",
     "occurrences": "3"
   }

La siguiente canalización comenzará a las 22:00:00 el 25-04-2014, se ejecutará cada hora y finalizará tras tres coincidencias.

{
     "id": "SchedulePeriod",
     "name": "SchedulePeriod",
     "startDateTime": "2014-04-25T22:00:00",
     "period": "1 hours",
     "type": "Schedule",
     "occurrences": "3"
   }

Bajo demanda mediante el objeto Default

{
  "name": "Default",
  "resourceRole": "DataPipelineDefaultResourceRole",
  "role": "DataPipelineDefaultRole",
  "scheduleType": "ondemand"
}

Bajo demanda con el objeto Schedule explícito

{
  "name": "Default",
  "resourceRole": "DataPipelineDefaultResourceRole",
  "role": "DataPipelineDefaultRole",
  "scheduleType": "ondemand"
},
{
  "name": "DefaultSchedule",
  "type": "Schedule",
  "id": "DefaultSchedule",
  "period": "ONDEMAND_PERIOD",
  "startAt": "ONDEMAND_ACTIVATION_TIME"
},

En los siguientes ejemplos se muestra cómo un Schedule se puede heredar del objeto Default, establecer de forma explícita para ese objeto o proporcionar mediante una referencia principal:

Schedule heredado del objeto Default

{
  "objects": [
  {       
      "id": "Default",
      "failureAndRerunMode":"cascade",
      "resourceRole": "DataPipelineDefaultResourceRole",
      "role": "DataPipelineDefaultRole",
      "pipelineLogUri": "s3://myLogsbucket",
      "scheduleType": "cron",
      "schedule": {
        "ref": "DefaultSchedule"
      }
   },
   {
      "type": "Schedule",
      "id": "DefaultSchedule",
      "occurrences": "1",
      "period": "1 Day",
      "startAt": "FIRST_ACTIVATION_DATE_TIME"
    },
    { 
      "id": "A_Fresh_NewEC2Instance",
      "type": "Ec2Resource",
      "terminateAfter": "1 Hour"
    },
    {
      "id": "ShellCommandActivity_HelloWorld",
      "runsOn": {
        "ref": "A_Fresh_NewEC2Instance"
      },
      "type": "ShellCommandActivity",
      "command": "echo 'Hello World!'"
    }
  ]
}

Schedule explícito en el objeto

{
  "objects": [
  {       
      "id": "Default",
      "failureAndRerunMode":"cascade",
      "resourceRole": "DataPipelineDefaultResourceRole",
      "role": "DataPipelineDefaultRole",
      "pipelineLogUri": "s3://myLogsbucket",
      "scheduleType": "cron"
      
   },
   {
      "type": "Schedule",
      "id": "DefaultSchedule",
      "occurrences": "1",
      "period": "1 Day",
      "startAt": "FIRST_ACTIVATION_DATE_TIME"
    },
    { 
      "id": "A_Fresh_NewEC2Instance",
      "type": "Ec2Resource",
      "terminateAfter": "1 Hour"
    },
    {
      "id": "ShellCommandActivity_HelloWorld",
      "runsOn": {
        "ref": "A_Fresh_NewEC2Instance"
      },
      "schedule": {
        "ref": "DefaultSchedule"
      },
      "type": "ShellCommandActivity",
      "command": "echo 'Hello World!'"
    }
  ]
}

Schedule de la referencia principal

{
  "objects": [
  {       
      "id": "Default",
      "failureAndRerunMode":"cascade",
      "resourceRole": "DataPipelineDefaultResourceRole",
      "role": "DataPipelineDefaultRole",
      "pipelineLogUri": "s3://myLogsbucket",
      "scheduleType": "cron"
      
   },
   {       
      "id": "parent1",
      "schedule": {
        "ref": "DefaultSchedule"
      }
      
   },
   {
      "type": "Schedule",
      "id": "DefaultSchedule",
      "occurrences": "1",
      "period": "1 Day",
      "startAt": "FIRST_ACTIVATION_DATE_TIME"
    },
    { 
      "id": "A_Fresh_NewEC2Instance",
      "type": "Ec2Resource",
      "terminateAfter": "1 Hour"
    },
    {
      "id": "ShellCommandActivity_HelloWorld",
      "runsOn": {
        "ref": "A_Fresh_NewEC2Instance"
      },
      "parent": {
        "ref": "parent1"
      },
      "type": "ShellCommandActivity",
      "command": "echo 'Hello World!'"
    }
  ]
}

Sintaxis

Campos obligatorios Descripción Tipo de slot
periodo Con qué frecuencia se debe ejecutar la canalización. El formato es "N [minutos|horas|días|semanas|meses]", donde N es un número seguido por uno de los especificadores de tiempo. Por ejemplo, "15 minutos", ejecuta la canalización cada 15 minutos. El período mínimo es de 15 minutos y el período máximo es de 3 años. Período

Grupo obligatorio (se requiere uno de los siguientes) Descripción Tipo de slot
startAt La fecha y hora en la que se inician las ejecuciones programadas de la canalización. El valor válido es FIRST _ _ ACTIVATION DATE _TIME, que ha quedado obsoleto en favor de la creación de una canalización bajo demanda. Enumeración
startDateTime La fecha y hora en la que se inician las ejecuciones programadas. Debes usar uno startDateTime o ambos startAt , pero no ambos. DateTime

Campos opcionales Descripción Tipo de slot
endDateTime La fecha y la hora para finalizar las ejecuciones programadas. Debe ser una fecha y una hora posteriores al valor de startDateTime ostartAt. El comportamiento predeterminado es programar ejecuciones hasta que la canalización se cierre. DateTime
occurrences El número de veces que se ejecutará la canalización una vez activada. No puedes usar ocurrencias con endDateTime. Entero
parent Elemento principal del objeto actual del que se heredarán los slots. Objeto de referencia, por ejemplo, «parent»: {"ref»:» myBaseObject Id "}

Campos de tiempo de ejecución Descripción Tipo de slot
@version Versión de la canalización con la que se creó el objeto. Cadena

Campos del sistema Descripción Tipo de slot
@error Error al describir el objeto mal estructurado. Cadena
@firstActivationTime La hora de creación del objeto. DateTime
@pipelineId ID de la canalización a la que pertenece este objeto. Cadena
@sphere La esfera de un objeto denota su lugar en el ciclo de vida: los objetos de componente dan lugar a objetos de instancia que ejecutan objetos de intento. Cadena