RedshiftDataNode

Definisce un nodo di dati utilizzando Amazon Redshift. RedshiftDataNoderappresenta le proprietà dei dati all'interno di un database, ad esempio una tabella di dati, utilizzata dalla pipeline.

Esempio

Di seguito è illustrato un esempio di questo tipo di oggetto.


{
  "id" : "MyRedshiftDataNode",
  "type" : "RedshiftDataNode",
  "database": { "ref": "MyRedshiftDatabase" },
  "tableName": "adEvents",
  "schedule": { "ref": "Hour" }
}

Sintassi

Campi obbligatori	Descrizione	Tipo di slot
database	Il database in cui risiede la tabella.	Oggetto di riferimento, ad esempio «database»: {"ref»:» myRedshiftDatabase Id "}
tableName	Nome della tabella Amazon Redshift. La tabella viene creata se non esiste già e se l'hai fornita createTableSql.	Stringa

Campi Object Invocation	Descrizione	Tipo di slot
schedule	Questo oggetto viene richiamato entro l'esecuzione di un intervallo di pianificazione. Gli utenti devono specificare un riferimento alla pianificazione di un altro oggetto per impostare l'ordine di esecuzione delle dipendenze per questo oggetto. Gli utenti possono soddisfare questo requisito impostando esplicitamente una pianificazione sull'oggetto, ad esempio specificando «schedule»: {"ref»: "DefaultSchedule«}. Nella maggior parte dei casi, è meglio inserire il riferimento alla pianificazione nell'oggetto pipeline di default, in modo che tutti gli oggetti possano ereditare tale pianificazione. O, se la pipeline consiste di una struttura di pianificazioni (nidificate all'interno della pianificazione principale), gli utenti possono creare un oggetto padre che dispone di un riferimento alla pianificazione. Per ulteriori informazioni sulle configurazioni di pianificazione opzionali di esempio, consulta https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html	Oggetto di riferimento, ad esempio «schedule»: {"ref»:» «myScheduleId}

Campi opzionali	Descrizione	Tipo di slot
attemptStatus	Lo stato segnalato più di recente dall'attività remota.	Stringa
attemptTimeout	Timeout per il completamento del lavoro in remoto. Se questo campo è impostato, un'attività remota che non viene completata entro il tempo impostato di avvio viene tentata di nuovo.	Periodo
createTableSql	Un'SQLespressione per creare la tabella nel database. Si consiglia di specificare lo schema in cui deve essere creata la tabella, ad esempio: CREATE TABLEmySchema. myTable (bestColumn varchar (25) chiave primaria distkey, numberOfWins numero intero). sortKey AWS Data Pipeline esegue lo script nel createTableSql campo se la tabella, specificata datableName, non esiste nello schema specificato dal campo. schemaName Ad esempio, se si specifica schemaName as mySchema ma non lo si include mySchema nel createTableSql campo, la tabella viene creata nello schema errato (per impostazione predefinita, verrebbe creata inPUBLIC). Ciò si verifica perché AWS Data Pipeline non analizza le tue istruzioni. CREATE TABLE	Stringa
dependsOn	Specifica una dipendenza su un altro oggetto eseguibile	Oggetto di riferimento, ad esempio "dependsOn«: {" ref»:» myActivityId «}
failureAndRerunModalità	Descrive il comportamento del nodo consumer quando le dipendenze presentano un errore o vengono di nuovo eseguite	Enumerazione
lateAfterTimeout	Il tempo trascorso dopo l'inizio della pipeline entro il quale l'oggetto deve essere completato. Viene attivato solo quando il tipo di pianificazione non è impostato su. `ondemand`	Periodo
maxActiveInstances	Il numero massimo di istanze attive simultanee di un componente. Le riesecuzioni non contano ai fini del numero di istanze attive.	Numero intero
maximumRetries	Numero massimo di tentativi in caso di errore.	Numero intero
onFail	Un'azione da eseguire quando l'oggetto corrente ha esito negativo.	Oggetto di riferimento, ad esempio "onFail«: {" ref»:» myActionId «}
onLateAction	Azioni che devono essere attivate se un oggetto non è stato ancora pianificato o non è ancora completo.	Oggetto di riferimento, ad esempio "onLateAction«: {" ref»:» myActionId «}
onSuccess	Un'operazione da eseguire quando l'oggetto corrente ha esito positivo.	Oggetto di riferimento, ad esempio "onSuccess«: {" ref»:» myActionId «}
parent	Padre dell'oggetto corrente da cui saranno ereditati gli slot.	Oggetto di riferimento, ad esempio «parent»: {"ref»:» myBaseObject Id "}
pipelineLogUri	L'S3 URI (come 's3://BucketName/Key/ ') per caricare i log per la pipeline.	Stringa
precondizione	Definisce eventualmente una precondizione. Un nodo di dati non è contrassegnato con "READY" finché non sono state soddisfatte tutte le condizioni preliminari.	Oggetto di riferimento, ad esempio «precondition»: {"ref»:» «myPreconditionId}
primaryKeys	Se non si specifica una tabella primaryKeys di destinazione in`RedShiftCopyActivity`, è possibile specificare un elenco di colonne utilizzando il primaryKeys quale fungerà da. mergeKey Tuttavia, se hai una primaryKey definizione esistente in una tabella Amazon Redshift, questa impostazione sostituisce la chiave esistente.	Stringa
reportProgressTimeout	Timeout per il lavoro remoto, chiamate successive a. reportProgress Se impostato, le attività in remoto che non presentano avanzamenti nel periodo specificato potrebbero essere considerate bloccate e sono quindi oggetto di un altro tentativo.	Periodo
retryDelay	La durata del timeout tra due tentativi.	Periodo
runsOn	Le risorse di calcolo per eseguire l'attività o il comando. Ad esempio, un'EC2istanza Amazon o un EMR cluster Amazon.	Oggetto di riferimento, ad esempio "runsOn«: {" ref»:» myResourceId «}
scheduleType	Il tipo di pianificazione consente di specificare se gli oggetti nella definizione di pipeline devono essere programmati all'inizio o alla fine dell'intervallo. Time Series Style Scheduling significa che le istanze vengono programmate al termine di ogni intervallo e Cron Style Scheduling significa che le istanze vengono programmate all'inizio di ogni intervallo. Una pianificazione on demand consente di eseguire una pipeline una sola volta, per attivazione. Questo significa che non è necessario clonare o ricreare la pipeline per eseguirla di nuovo. Se si utilizza una pianificazione su richiesta, questa deve essere specificata nell'oggetto predefinito e deve essere l'unica scheduleType specificata per gli oggetti nella pipeline. Per utilizzare le pipeline su richiesta, è sufficiente chiamare l' ActivatePipeline operazione per ogni esecuzione successiva. I valori sono: cron, ondemand e timeseries.	Enumerazione
schemaName	Questo campo facoltativo specifica il nome dello schema per la tabella di Amazon Redshift. Se non specificato, il nome dello schema èPUBLIC, che è lo schema predefinito in Amazon Redshift. Per ulteriori informazioni, consulta la Guida per sviluppatori del database di Amazon Redshift.	Stringa
workerGroup	Il gruppo di lavoro. Utilizzato per le attività di routing. Se fornisci un runsOn valore ed workerGroup esiste, workerGroup viene ignorato.	Stringa

Campi Runtime	Descrizione	Tipo di slot
@activeInstances	Elenco di oggetti di istanze attive attualmente programmate.	Oggetto di riferimento, ad esempio "activeInstances«: {" ref»:» myRunnableObject Id "}
@actualEndTime	L'ora in cui è terminata l'esecuzione di questo oggetto.	DateTime
@actualStartTime	L'ora in cui è stata avviata l'esecuzione di questo oggetto.	DateTime
cancellationReason	Il cancellationReason se questo oggetto è stato annullato.	Stringa
@cascadeFailedOn	Descrizione della catena di dipendenza che ha generato l'errore dell'oggetto.	Oggetto di riferimento, ad esempio "cascadeFailedOn«: {" ref»:» myRunnableObject Id "}
emrStepLog	EMRi registri dei passaggi sono disponibili solo in caso di tentativi di EMR attività	Stringa
errorId	Il errorId se questo oggetto ha fallito.	Stringa
errorMessage	Il errorMessage se questo oggetto ha avuto esito negativo.	Stringa
errorStackTrace	Traccia dello stack di errore se l'oggetto non è riuscito.	Stringa
@finishedTime	L'ora in cui è terminata l'esecuzione di questo oggetto.	DateTime
hadoopJobLog	I log dei job Hadoop sono disponibili per EMR i tentativi di attività basate su di esse.	Stringa
@healthStatus	Lo stato di integrità dell'oggetto che riflette l'esito positivo o negativo dell'ultima istanza dell'oggetto che ha raggiunto lo stato di un'istanza terminata.	Stringa
@healthStatusFromInstanceId	Id dell'ultimo oggetto dell'istanza che ha raggiunto lo stato terminato.	Stringa
@ Ora healthStatusUpdated	L'ora in cui lo stato di integrità è stato aggiornato l'ultima volta.	DateTime
hostname	Il nome host del client che si è aggiudicato il tentativo dell'attività.	Stringa
@lastDeactivatedTime	L'ora in cui l'oggetto è stato disattivato.	DateTime
@ latestCompletedRun Ora	L'orario dell'esecuzione più recente durante il quale l'esecuzione è stata completata.	DateTime
@latestRunTime	L'orario dell'esecuzione più recente durante il quale l'esecuzione è stata pianificata.	DateTime
@nextRunTime	L'orario dell'esecuzione da programmare come successiva.	DateTime
reportProgressTime	Il periodo di tempo più recente in cui l'attività remota ha segnalato un progresso.	DateTime
@scheduledEndTime	L'orario di termine della pianificazione per un oggetto	DateTime
@scheduledStartTime	L'orario di inizio della pianificazione per l'oggetto	DateTime
@status	Lo stato di questo oggetto.	Stringa
@version	Versione della pipeline con cui l'oggetto è stato creato.	Stringa
@waitingOn	Descrizione dell'elenco di dipendenze per cui questo oggetto è in attesa.	Oggetto di riferimento, ad esempio "waitingOn«: {" ref»:» myRunnableObject Id "}

Campi di sistema	Descrizione	Tipo di slot
@error	Errore che descrive il formato oggetto errato.	Stringa
@pipelineId	L'id della pipeline a cui appartiene questo oggetto.	Stringa
@sphere	La sfera di un oggetto indica la propria posizione nel ciclo di vita: i Component Objects generano Instance Objects che eseguono Attempt Objects.	Stringa

Avvertimento JavaScript è disabilitato o non è disponibile nel tuo browser.

Per usare la documentazione AWS, JavaScript deve essere abilitato. Consulta le pagine della guida del browser per le istruzioni.

Convenzioni dei documenti

MySqlDataNode

S3 DataNode