AWS Data Pipeline non è più disponibile per i nuovi clienti. Clienti esistenti di AWS Data Pipeline possono continuare a utilizzare il servizio normalmente. Ulteriori informazioni
Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
ynamoDBDataNodo D
Definisce un nodo di dati utilizzando DynamoDB, che viene specificato come input per HiveActivity un oggetto or. EMRActivity
Nota
L'oggetto DynamoDBDataNode non supporta la precondizione Exists.
Esempio
Di seguito è illustrato un esempio di questo tipo di oggetto. Questo oggetto fa riferimento a due altri oggetti definiti nello stesso file di definizione della pipeline. CopyPeriod è un oggetto Schedule e Ready è un oggetto di precondizione.
{ "id" : "MyDynamoDBTable", "type" : "DynamoDBDataNode", "schedule" : { "ref" : "CopyPeriod" }, "tableName" : "adEvents", "precondition" : { "ref" : "Ready" } }
Sintassi
| Campi obbligatori | Descrizione | Tipo di slot |
|---|---|---|
| tableName | La tabella DynamoDB. | Stringa |
| Campi Object Invocation | Descrizione | Tipo di slot |
|---|---|---|
| schedule | Questo oggetto viene richiamato entro l'esecuzione di un intervallo di pianificazione. Gli utenti devono specificare un riferimento alla pianificazione di un altro oggetto per impostare l'ordine di esecuzione delle dipendenze per questo oggetto. Gli utenti possono soddisfare questo requisito impostando esplicitamente una pianificazione sull'oggetto, ad esempio specificando «schedule»: {"ref»: "«}. DefaultSchedule Nella maggior parte dei casi, è meglio inserire il riferimento alla pianificazione nell'oggetto pipeline di default, in modo che tutti gli oggetti possano ereditare tale pianificazione. O, se la pipeline consiste di una struttura di pianificazioni (nidificate all'interno della pianificazione principale), gli utenti possono creare un oggetto padre che dispone di un riferimento alla pianificazione. Per ulteriori informazioni sulle configurazioni di pianificazione opzionali di esempio, consulta Pianificazione. | Oggetto di riferimento, ad esempio, «schedule»: {"ref»:» myScheduleId «} |
| Campi opzionali | Descrizione | Tipo di slot |
|---|---|---|
| attemptStatus | Lo stato segnalato più di recente dall'attività remota. | Stringa |
| attemptTimeout | Timeout per il completamento del lavoro in remoto. Se questo campo è impostato, un'attività remota che non viene completata entro il tempo impostato di avvio viene tentata di nuovo. | Periodo |
| dataFormat | DataFormat per i dati descritti da questo nodo dati. Attualmente supportato per HiveActivity e HiveCopyActivity. | Oggetto di riferimento, "dataFormat«: {" ref»:» myDynamo DBDataFormatId «} |
| dependsOn | Specifica una dipendenza su un altro oggetto eseguibile | Oggetto di riferimento, ad esempio "dependsOn«: {" ref»:» myActivityId «} |
| failureAndRerunModalità | Descrive il comportamento del nodo consumer quando le dipendenze presentano un errore o vengono di nuovo eseguite | Enumerazione |
| lateAfterTimeout | Il tempo trascorso dopo l'inizio della pipeline entro il quale l'oggetto deve essere completato. Viene attivato solo quando il tipo di pianificazione non è impostato su. ondemand |
Periodo |
| maxActiveInstances | Il numero massimo di istanze attive simultanee di un componente. Le riesecuzioni non contano ai fini del numero di istanze attive. | Numero intero |
| maximumRetries | Numero massimo di tentativi in caso di errore | Numero intero |
| onFail | Un'azione da eseguire quando l'oggetto corrente ha esito negativo. | Oggetto di riferimento, ad esempio "onFail«: {" ref»:» myActionId «} |
| onLateAction | Azioni che devono essere attivate se un oggetto non è stato ancora pianificato o non è ancora completo. | Oggetto di riferimento, ad esempio "onLateAction«: {" ref»:» myActionId «} |
| onSuccess | Un'operazione da eseguire quando l'oggetto corrente ha esito positivo. | Oggetto di riferimento, ad esempio "onSuccess«: {" ref»:» myActionId «} |
| parent | Padre dell'oggetto corrente da cui saranno ereditati gli slot. | Oggetto di riferimento, ad esempio «parent»: {"ref»:» myBaseObject Id "} |
| pipelineLogUri | L'S3 URI (come 's3://BucketName/Key/ ') per caricare i log per la pipeline. | Stringa |
| precondizione | Definisce eventualmente una precondizione. Un nodo di dati non è contrassegnato con "READY" finché non sono state soddisfatte tutte le condizioni preliminari. | Oggetto di riferimento, ad esempio «precondition»: {"ref»:» «myPreconditionId} |
| readThroughputPercent | Imposta la percentuale di operazioni di lettura per mantenere il tasso di throughput assegnato di DynamoDB nell'intervallo allocato per la tabella. Il valore è compreso tra 0,1 e 1,0 inclusi. | Doppio |
| Regione | Il codice per la regione in cui esiste la tabella DynamoDB. Ad esempio, us-east-1. Viene utilizzato HiveActivity quando esegue lo staging per le tabelle DynamoDB in Hive. | Enumerazione |
| reportProgressTimeout | Timeout per il lavoro remoto, chiamate successive a. reportProgress Se impostato, le attività in remoto che non presentano avanzamenti nel periodo specificato potrebbero essere considerate bloccate e sono quindi oggetto di un altro tentativo. | Periodo |
| retryDelay | La durata del timeout tra due tentativi. | Periodo |
| runsOn | Le risorse di calcolo per eseguire l'attività o il comando. Ad esempio, un'EC2istanza Amazon o un EMR cluster Amazon. | Oggetto di riferimento, ad esempio "runsOn«: {" ref»:» myResourceId «} |
| scheduleType | Il tipo di pianificazione consente di specificare se gli oggetti nella definizione di pipeline devono essere programmati all'inizio o alla fine dell'intervallo. Time Series Style Scheduling significa che le istanze vengono programmate al termine di ogni intervallo e Cron Style Scheduling significa che le istanze vengono programmate all'inizio di ogni intervallo. Una pianificazione on demand consente di eseguire una pipeline una sola volta, per attivazione. Questo significa che non è necessario clonare o ricreare la pipeline per eseguirla di nuovo. Se si utilizza una pianificazione su richiesta, questa deve essere specificata nell'oggetto predefinito e deve essere l'unica scheduleType specificata per gli oggetti nella pipeline. Per utilizzare le pipeline su richiesta, è sufficiente chiamare l' ActivatePipeline operazione per ogni esecuzione successiva. I valori sono: cron, ondemand e timeseries. | Enumerazione |
| workerGroup | Il gruppo di lavoro. Utilizzato per le attività di routing. Se si fornisce un runsOn valore ed workerGroup esiste, workerGroup viene ignorato. | Stringa |
| writeThroughputPercent | Imposta la percentuale di operazioni di scrittura per mantenere il tasso di throughput assegnato di DynamoDB nell'intervallo allocato per la tabella. Il valore è compreso tra 0,1 e 1,0 inclusi. | Doppio |
| Campi Runtime | Descrizione | Tipo di slot |
|---|---|---|
| @activeInstances | Elenco di oggetti di istanze attive attualmente programmate. | Oggetto di riferimento, ad esempio "activeInstances«: {" ref»:» myRunnableObject Id "} |
| @actualEndTime | L'ora in cui è terminata l'esecuzione di questo oggetto. | DateTime |
| @actualStartTime | L'ora in cui è stata avviata l'esecuzione di questo oggetto. | DateTime |
| cancellationReason | Il cancellationReason se questo oggetto è stato annullato. | Stringa |
| @cascadeFailedOn | Descrizione della catena di dipendenza che ha generato l'errore dell'oggetto. | Oggetto di riferimento, ad esempio "cascadeFailedOn«: {" ref»:» myRunnableObject Id "} |
| emrStepLog | EMRi registri dei passaggi sono disponibili solo in caso di tentativi di EMR attività | Stringa |
| errorId | Il errorId se questo oggetto ha fallito. | Stringa |
| errorMessage | Il errorMessage se questo oggetto ha avuto esito negativo. | Stringa |
| errorStackTrace | Traccia dello stack di errore se l'oggetto non è riuscito. | Stringa |
| @finishedTime | L'ora in cui è terminata l'esecuzione di questo oggetto. | DateTime |
| hadoopJobLog | I log dei job Hadoop sono disponibili per EMR i tentativi di attività basate su di esse. | Stringa |
| @healthStatus | Lo stato di integrità dell'oggetto che riflette l'esito positivo o negativo dell'ultima istanza dell'oggetto che ha raggiunto lo stato di un'istanza terminata. | Stringa |
| @healthStatusFromInstanceId | Id dell'ultimo oggetto dell'istanza che ha raggiunto lo stato terminato. | Stringa |
| @ Ora healthStatusUpdated | L'ora in cui lo stato di integrità è stato aggiornato l'ultima volta. | DateTime |
| hostname | Il nome host del client che si è aggiudicato il tentativo dell'attività. | Stringa |
| @lastDeactivatedTime | L'ora in cui l'oggetto è stato disattivato. | DateTime |
| @ latestCompletedRun Ora | L'orario dell'esecuzione più recente durante il quale l'esecuzione è stata completata. | DateTime |
| @latestRunTime | L'orario dell'esecuzione più recente durante il quale l'esecuzione è stata pianificata. | DateTime |
| @nextRunTime | L'orario dell'esecuzione da programmare come successiva. | DateTime |
| reportProgressTime | Il periodo di tempo più recente in cui l'attività remota ha segnalato un progresso. | DateTime |
| @scheduledEndTime | L'orario di termine della pianificazione per un oggetto | DateTime |
| @scheduledStartTime | L'orario di inizio della pianificazione per l'oggetto | DateTime |
| @status | Lo stato di questo oggetto. | Stringa |
| @version | Versione della pipeline con cui l'oggetto è stato creato. | Stringa |
| @waitingOn | Descrizione dell'elenco di dipendenze per cui questo oggetto è in attesa. | Oggetto di riferimento, ad esempio "waitingOn«: {" ref»:» myRunnableObject Id "} |
| Campi di sistema | Descrizione | Tipo di slot |
|---|---|---|
| @error | Errore che descrive il formato oggetto errato | Stringa |
| @pipelineId | L'id della pipeline a cui appartiene questo oggetto | Stringa |
| @sphere | La sfera di un oggetto indica la propria posizione nel ciclo di vita: i Component Objects generano Instance Objects che eseguono Attempt Objects | Stringa |
