Pianificazione - AWS Data Pipeline

AWS Data Pipeline non è più disponibile per i nuovi clienti. Clienti esistenti di AWS Data Pipeline possono continuare a utilizzare il servizio normalmente. Ulteriori informazioni

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Pianificazione

Definisce la temporizzazione di un evento programmato, ad esempio quando si esegue un'attività.

Nota

Quando l'ora di inizio di una pianificazione è AWS Data Pipeline passata, riempie la pipeline e avvia immediatamente le esecuzioni di pianificazione a partire dall'ora di inizio specificata. Per il test/lo sviluppo, utilizzare un intervallo relativamente breve. Altrimenti, AWS Data Pipeline tenta di mettere in coda e pianificare tutte le esecuzioni della pipeline per quell'intervallo. AWS Data Pipeline tenta di prevenire riempimenti accidentali se il componente della pipeline risale a prima di 1 giorno fa scheduledStartTime bloccando l'attivazione della pipeline.

Esempi

Di seguito è illustrato un esempio di questo tipo di oggetto. Definisce una pianificazione per ogni ora, a partire da 00:00:00 il 2012-09-01 e finisce alle 00:00:00 il 2012-10-01. Il primo periodo termina alle 01:00:00 il 2012-09-01.

{ "id" : "Hourly", "type" : "Schedule", "period" : "1 hours", "startDateTime" : "2012-09-01T00:00:00", "endDateTime" : "2012-10-01T00:00:00" }

La pipeline seguente inizierà al FIRST_ACTIVATION_DATE_TIME e verrà eseguita ogni ora fino alle 22:00:00 il 2014-04-25.

{ "id": "SchedulePeriod", "name": "SchedulePeriod", "startAt": "FIRST_ACTIVATION_DATE_TIME", "period": "1 hours", "type": "Schedule", "endDateTime": "2014-04-25T22:00:00" }

La pipeline seguente inizierà al FIRST_ACTIVATION_DATE_TIME e verrà eseguita ogni ora e completata dopo tre occorrenze.

{ "id": "SchedulePeriod", "name": "SchedulePeriod", "startAt": "FIRST_ACTIVATION_DATE_TIME", "period": "1 hours", "type": "Schedule", "occurrences": "3" }

La seguente pipeline inizierà alle 22:00:00 il 2014-04-25, verrà eseguita ogni ora e terminerà dopo tre occorrenze.

{ "id": "SchedulePeriod", "name": "SchedulePeriod", "startDateTime": "2014-04-25T22:00:00", "period": "1 hours", "type": "Schedule", "occurrences": "3" }

On-demand utilizzando l'oggetto predefinito

{ "name": "Default", "resourceRole": "DataPipelineDefaultResourceRole", "role": "DataPipelineDefaultRole", "scheduleType": "ondemand" }

On-demand con un oggetto di pianificazione esplicita

{ "name": "Default", "resourceRole": "DataPipelineDefaultResourceRole", "role": "DataPipelineDefaultRole", "scheduleType": "ondemand" }, { "name": "DefaultSchedule", "type": "Schedule", "id": "DefaultSchedule", "period": "ONDEMAND_PERIOD", "startAt": "ONDEMAND_ACTIVATION_TIME" },

I seguenti esempi illustrano come una pianificazione può essere ereditata dall'oggetto predefinito, essere esplicitamente impostata per l'oggetto o derivare da un riferimento padre:

Pianificazione ereditata da un oggetto predefinito

{ "objects": [ { "id": "Default", "failureAndRerunMode":"cascade", "resourceRole": "DataPipelineDefaultResourceRole", "role": "DataPipelineDefaultRole", "pipelineLogUri": "s3://myLogsbucket", "scheduleType": "cron", "schedule": { "ref": "DefaultSchedule" } }, { "type": "Schedule", "id": "DefaultSchedule", "occurrences": "1", "period": "1 Day", "startAt": "FIRST_ACTIVATION_DATE_TIME" }, { "id": "A_Fresh_NewEC2Instance", "type": "Ec2Resource", "terminateAfter": "1 Hour" }, { "id": "ShellCommandActivity_HelloWorld", "runsOn": { "ref": "A_Fresh_NewEC2Instance" }, "type": "ShellCommandActivity", "command": "echo 'Hello World!'" } ] }

Pianificazione esplicita sull'oggetto

{ "objects": [ { "id": "Default", "failureAndRerunMode":"cascade", "resourceRole": "DataPipelineDefaultResourceRole", "role": "DataPipelineDefaultRole", "pipelineLogUri": "s3://myLogsbucket", "scheduleType": "cron" }, { "type": "Schedule", "id": "DefaultSchedule", "occurrences": "1", "period": "1 Day", "startAt": "FIRST_ACTIVATION_DATE_TIME" }, { "id": "A_Fresh_NewEC2Instance", "type": "Ec2Resource", "terminateAfter": "1 Hour" }, { "id": "ShellCommandActivity_HelloWorld", "runsOn": { "ref": "A_Fresh_NewEC2Instance" }, "schedule": { "ref": "DefaultSchedule" }, "type": "ShellCommandActivity", "command": "echo 'Hello World!'" } ] }

Pianificazione da un riferimento padre

{ "objects": [ { "id": "Default", "failureAndRerunMode":"cascade", "resourceRole": "DataPipelineDefaultResourceRole", "role": "DataPipelineDefaultRole", "pipelineLogUri": "s3://myLogsbucket", "scheduleType": "cron" }, { "id": "parent1", "schedule": { "ref": "DefaultSchedule" } }, { "type": "Schedule", "id": "DefaultSchedule", "occurrences": "1", "period": "1 Day", "startAt": "FIRST_ACTIVATION_DATE_TIME" }, { "id": "A_Fresh_NewEC2Instance", "type": "Ec2Resource", "terminateAfter": "1 Hour" }, { "id": "ShellCommandActivity_HelloWorld", "runsOn": { "ref": "A_Fresh_NewEC2Instance" }, "parent": { "ref": "parent1" }, "type": "ShellCommandActivity", "command": "echo 'Hello World!'" } ] }

Sintassi

Campi obbligatori Descrizione Tipo di slot
punto Frequenza di esecuzione della pipeline. Il formato è "N [minuti|ore|giorni|settimane|mesi]", dove N è un numero seguito da uno degli specificatori di tempo. Ad esempio, "15 minuti" esegue la pipeline ogni 15 minuti. La durata minima è pari a 15 minuti, mentre la durata massima è di 3 anni. Periodo

Gruppo richiesto (uno dei seguenti è obbligatorio) Descrizione Tipo di slot
startAt La data e l'ora in cui avviare l'esecuzione della pipeline programmata. Il valore valido è FIRST _ _ ACTIVATION DATE _TIME, che è stato sostituito dalla creazione di una pipeline su richiesta. Enumerazione
startDateTime La data e l'ora di avvio delle esecuzioni programmate. È necessario utilizzare uno dei due o non entrambi. startDateTime startAt DateTime

Campi opzionali Descrizione Tipo di slot
endDateTime La data e l'ora in cui terminare le esecuzioni programmate. Deve essere una data e un'ora successive al valore di startDateTime ostartAt. Il comportamento predefinito è quello di pianificare l'esecuzione finché la pipeline non viene terminata. DateTime
occorrenze Il numero di volte in cui eseguire la pipeline quando viene attivata. Non è possibile utilizzare le occorrenze con endDateTime. Numero intero
parent Padre dell'oggetto corrente da cui saranno ereditati gli slot. Oggetto di riferimento, ad esempio «parent»: {"ref»:» myBaseObject Id "}

Campi Runtime Descrizione Tipo di slot
@version Versione della pipeline con cui l'oggetto è stato creato. Stringa

Campi di sistema Descrizione Tipo di slot
@error Errore che descrive il formato oggetto errato Stringa
@firstActivationTime L'ora della creazione di oggetti. DateTime
@pipelineId L'id della pipeline a cui appartiene questo oggetto Stringa
@sphere La sfera di un oggetto indica la propria posizione nel ciclo di vita: i Component Objects generano Instance Objects che eseguono Attempt Objects Stringa