AWS Data Pipeline não está mais disponível para novos clientes. Clientes existentes da AWS Data Pipeline pode continuar usando o serviço normalmente. Saiba mais
As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
HiveCopyActivity
Executa uma consulta do Hive em um EMR cluster. HiveCopyActivity
facilita a cópia de dados entre tabelas do DynamoDB. HiveCopyActivity
aceita uma instrução HiveQL para filtrar dados de entrada do DynamoDB no nível da coluna e da linha.
Exemplo
O exemplo a seguir mostra como usar HiveCopyActivity
e DynamoDBExportDataFormat
para copiar dados de um DynamoDBDataNode
para outro ao filtrar dados com base em um time stamp.
{ "objects": [ { "id" : "DataFormat.1", "name" : "DataFormat.1", "type" : "DynamoDBExportDataFormat", "column" : "timeStamp BIGINT" }, { "id" : "DataFormat.2", "name" : "DataFormat.2", "type" : "DynamoDBExportDataFormat" }, { "id" : "DynamoDBDataNode.1", "name" : "DynamoDBDataNode.1", "type" : "DynamoDBDataNode", "tableName" : "item_mapped_table_restore_temp", "schedule" : { "ref" : "ResourcePeriod" }, "dataFormat" : { "ref" : "DataFormat.1" } }, { "id" : "DynamoDBDataNode.2", "name" : "DynamoDBDataNode.2", "type" : "DynamoDBDataNode", "tableName" : "restore_table", "region" : "us_west_1", "schedule" : { "ref" : "ResourcePeriod" }, "dataFormat" : { "ref" : "DataFormat.2" } }, { "id" : "EmrCluster.1", "name" : "EmrCluster.1", "type" : "EmrCluster", "schedule" : { "ref" : "ResourcePeriod" }, "masterInstanceType" : "m1.xlarge", "coreInstanceCount" : "4" }, { "id" : "HiveTransform.1", "name" : "Hive Copy Transform.1", "type" : "HiveCopyActivity", "input" : { "ref" : "DynamoDBDataNode.1" }, "output" : { "ref" : "DynamoDBDataNode.2" }, "schedule" :{ "ref" : "ResourcePeriod" }, "runsOn" : { "ref" : "EmrCluster.1" }, "filterSql" : "`timeStamp` > unix_timestamp(\"#{@scheduledStartTime}\", \"yyyy-MM-dd'T'HH:mm:ss\")" }, { "id" : "ResourcePeriod", "name" : "ResourcePeriod", "type" : "Schedule", "period" : "1 Hour", "startDateTime" : "2013-06-04T00:00:00", "endDateTime" : "2013-06-04T01:00:00" } ] }
Sintaxe
Campos de invocação de objetos | Descrição | Tipo de slot |
---|---|---|
schedule | Esse objeto é invocado durante a execução de um intervalo de programação. Os usuários precisam especificar uma referência de programação para outro objeto de modo a definir a ordem de execução de dependência desse objeto. Os usuários podem satisfazer esse requisito definindo explicitamente uma programação no objeto, por exemplo, especificando “agenda”: {"ref”: "DefaultSchedule“}. Na maioria dos casos, é melhor colocar a referência de programação no objeto de pipeline padrão para que todos os objetos herdem essa programação. Como alternativa, se o pipeline tiver uma árvore de programações (outras programações dentro de uma programação principal), os usuários poderão criar um objeto principal que tenha uma referência de programação. Para obter mais informações sobre o exemplo de configurações opcionais de programação, consulte https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html. | Objeto de referência, por exemplo, “agenda”: {"ref”:” myScheduleId “} |
Grupo obrigatório (um dos seguintes é obrigatório) | Descrição | Tipo de slot |
---|---|---|
runsOn | Especifique o cluster de execução. | Objeto de referência, por exemplo, "runsOn“: {" ref”:” myResourceId “} |
workerGroup | O grupo de operadores. Isso é usado para tarefas de roteamento. Se você fornecer um valor de runsOn e workerGroup existir, será ignorado.workerGroup |
String |
Campos opcionais | Descrição | Tipo de slot |
---|---|---|
attemptStatus | O status mais recente da atividade remota. | String |
attemptTimeout | O tempo limite para a conclusão do trabalho remoto. Se definida, uma atividade remota não concluída dentro do prazo definido poderá ser executada novamente. | Período |
dependsOn | Especifica a dependência em outro objeto executável. | Objeto de referência, por exemplo, "dependsOn“: {" ref”:” myActivityId “} |
failureAndRerunModo | Descreve o comportamento do nó do consumidor quando as dependências apresentam falhas ou são executadas novamente. | Enumeração |
filterSql | Um fragmento de SQL instrução do Hive que filtra um subconjunto de dados do DynamoDB ou do Amazon S3 para cópia. O filtro deve conter apenas predicados e não começar com uma WHERE cláusula, pois a AWS Data Pipeline adiciona automaticamente. |
String |
input | A fonte de dados de entrada. Deve ser S3DataNode ou DynamoDBDataNode . Se você usar DynamoDBNode , especifique um DynamoDBExportDataFormat . |
Objeto de referência, por exemplo, “input”: {"ref”:” myDataNode Id "} |
lateAfterTimeout | O tempo decorrido após o início do pipeline no qual o objeto deve ser concluído. Ele é acionado somente quando o tipo de programação não está definido como ondemand . |
Período |
maxActiveInstances | O número máximo de instâncias ativas simultâneas de um componente. Novas execuções não contam para o número de instâncias ativas. | Inteiro |
maximumRetries | A quantidade máxima de novas tentativas após uma falha. | Inteiro |
onFail | Uma ação a ser executada quando há falha no objeto atual. | Objeto de referência, por exemplo, "onFail“: {" ref”:” myActionId “} |
onLateAction | Ações que devem ser acionadas se um objeto ainda não foi agendado ou não foi concluído. | Objeto de referência, por exemplo, "onLateAction“: {" ref”:” myActionId “} |
onSuccess | Uma ação a ser executada quando o objeto atual é executado com êxito. | Objeto de referência, por exemplo, "onSuccess“: {" ref”:” myActionId “} |
output | A fonte de dados de saída. Se a entrada for S3DataNode , a saída precisará ser DynamoDBDataNode . Caso contrário, ela poderá ser S3DataNode ou DynamoDBDataNode . Se você usar DynamoDBNode , especifique um DynamoDBExportDataFormat . |
Objeto de referência, por exemplo, “output”: {"ref”:” myDataNode Id "} |
parent | O pai do objeto atual do qual os slots serão herdados. | Objeto de referência, por exemplo, “parent”: {"ref”:” myBaseObject Id "} |
pipelineLogUri | O Amazon S3URI, por exemplo 's3://BucketName/Key/' , para fazer upload de registros para o pipeline. |
String |
postActivityTaskConfig | O Script de configuração pós-atividade a ser executado. Isso consiste em um script URI de shell no Amazon S3 e uma lista de argumentos. | Objeto de referência, por exemplo, "postActivityTaskConfig”: {"ref”:” myShellScript ConfigId “} |
preActivityTaskConfig | O script de configuração pré-atividade a ser executado. Isso consiste em um script URI de shell no Amazon S3 e uma lista de argumentos. | Objeto de referência, por exemplo, "preActivityTaskConfig”: {"ref”:” myShellScript ConfigId “} |
precondition | Opcionalmente define uma precondição. Um nó de dados não é marcado como "READY" até que todas as condições prévias tenham sido atendidas. | Objeto de referência, por exemplo, “pré-condição”: {"ref”:” myPreconditionId “} |
reportProgressTimeout | O tempo limite para as chamadas sucessivas de trabalho remoto para reportProgress . Se definidas, as atividades remotas sem progresso para o período especificado podem ser consideradas como interrompidas e executadas novamente. |
Período |
resizeClusterBeforeCorrendo | Redimensione o cluster antes de executar esta atividade para acomodar nós de dados do DynamoDB especificados como entradas ou saídas. notaSe sua atividade usa a |
Booleano |
resizeClusterMaxInstâncias | Um limite no número máximo de instâncias que pode ser solicitado pelo algoritmo de redimensionamento | Inteiro |
retryDelay | A duração do tempo limite entre duas novas tentativas. | Período |
scheduleType | O tipo de programação permite que você especifique se os objetos na sua definição de pipeline devem ser programados no início ou no final do intervalo. Programação com estilo de séries temporais significa que as instâncias são programadas no final de cada intervalo, e Programação com estilo Cron significa que as instâncias são programadas no início de cada intervalo. Uma programação sob demanda permite que você execute um pipeline uma vez por ativação. Isso significa que você não precisa clonar nem recriar o pipeline para executá-lo novamente. Se você usar uma programação sob demanda, ela deverá ser especificada no objeto padrão e deverá ser a única scheduleType especificada para objetos no pipeline. Para usar pipelines sob demanda, basta chamar a ActivatePipeline operação para cada execução subsequente. Os valores são: cron, ondemand e timeseries. | Enumeração |
Campos de tempo de execução | Descrição | Tipo de slot |
---|---|---|
@activeInstances | Lista dos objetos da instância ativa agendados no momento. | Objeto de referência, por exemplo, "activeInstances“: {" ref”:” myRunnableObject Id "} |
@actualEndTime | Hora em que a execução deste objeto foi concluída. | DateTime |
@actualStartTime | Hora em que a execução deste objeto foi iniciada. | DateTime |
cancellationReason | cancellationReason Se esse objeto foi cancelado. | String |
@cascadeFailedOn | Descrição da cadeia de dependência na qual o objeto apresentou falha. | Objeto de referência, por exemplo, "cascadeFailedOn“: {" ref”:” myRunnableObject Id "} |
emrStepLog | Os registros de EMR etapas da Amazon estão disponíveis somente em tentativas de EMR atividade. | String |
errorId | errorId Se esse objeto falhar. | String |
errorMessage | errorMessage Se esse objeto falhar. | String |
errorStackTrace | O rastreamento de pilha com erro se esse objeto apresentou falha. | String |
@finishedTime | A hora em que esse objeto terminou a execução. | DateTime |
hadoopJobLog | Registros de tarefas do Hadoop disponíveis em tentativas de atividades EMR baseadas. | String |
@healthStatus | O status de integridade do objeto que indica se houve sucesso ou falha na última instância concluída do objeto. | String |
@healthStatusFromInstanceId | ID do último objeto da instância concluído. | String |
@ healthStatusUpdated Hora | Hora em que o status de integridade foi atualizado pela última vez. | DateTime |
hostname | O nome do host do cliente que capturou a tentativa da tarefa. | String |
@lastDeactivatedTime | A hora em que esse objeto foi desativado pela última vez. | DateTime |
@ latestCompletedRun Hora | Hora da última execução concluída. | DateTime |
@latestRunTime | Hora da última execução programada. | DateTime |
@nextRunTime | Hora da próxima execução a ser programada. | DateTime |
reportProgressTime | A última vez em que a atividade remota relatou progresso. | DateTime |
@scheduledEndTime | Horário de término da programação para o objeto. | DateTime |
@scheduledStartTime | Horário de início da programação para o objeto. | DateTime |
@status | O status deste objeto. | String |
@version | A versão do pipeline com que o objeto foi criado. | String |
@waitingOn | Descrição da lista de dependências em que este objeto está aguardando. | Objeto de referência, por exemplo, "waitingOn“: {" ref”:” myRunnableObject Id "} |
Campos do sistema | Descrição | Tipo de slot |
---|---|---|
@error | Erro ao descrever o objeto malformado. | String |
@pipelineId | ID do pipeline ao qual este objeto pertence. | String |
@sphere | A esfera de um objeto denota seu lugar no ciclo de vida: os objetos componentes dão origem aos objetos de instância que executam os objetos de tentativa. | String |