Execuções de trabalhos
A API de execuções de trabalhos descreve os tipos de dados e a API relacionada para iniciar, interromper ou visualizar execuções de trabalhos e redefinir marcações de trabalhos no AWS Glue. O histórico de execução de trabalhos pode ser acessado por 90 dias para seu fluxo de trabalho e execução de trabalhos.
Tipos de dados
Estrutura JobRun
Contém informações sobre uma execução de trabalho.
Campos
-
Id
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID dessa execução de trabalho.
-
Attempt
– Número (íntegro).O número de tentativas para execução deste trabalho.
-
PreviousRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID da execução anterior deste trabalho. Por exemplo, o
JobRunId
especificado na açãoStartJobRun
. -
TriggerName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do gatilho que iniciou esta execução de trabalho.
-
JobName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome da definição de trabalho que está sendo usada nesta execução.
-
JobMode
– String UTF-8 (valores válidos:SCRIPT=""
|VISUAL=""
|NOTEBOOK=""
).Um modo que descreve como um trabalho foi criado. Os valores válidos são:
-
SCRIPT
: o trabalho foi criado usando o editor de scripts do AWS Glue Studio. -
VISUAL
: o trabalho foi criado usando o editor visual do AWS Glue Studio. -
NOTEBOOK
: o trabalho foi criado usando um caderno de sessões interativas.
Quando o campo
JobMode
está ausente ou é nulo,SCRIPT
é atribuído como o valor padrão. -
-
JobRunQueuingEnabled
– Booleano.Especifica se o enfileiramento da execução de trabalhos está habilitado para a execução do trabalho.
Um valor "verdadeiro" significa que o enfileiramento da execução de trabalhos está habilitado para as execuções do trabalho. Se o valor for "falso" ou não estiver preenchido, a execução do trabalho não será considerada para enfileiramento.
-
StartedOn
– Timestamp.A data e a hora em que a execução deste trabalho foi iniciada.
-
LastModifiedOn
– Timestamp.A hora em que a execução desse trabalho foi modificada.
-
CompletedOn
– Timestamp.A data e a hora em que a execução desse trabalho foi concluída.
-
JobRunState
: string UTF-8 (valores válidos:STARTING
|RUNNING
|STOPPING
|STOPPED
|SUCCEEDED
|FAILED
|TIMEOUT
|ERROR
|WAITING
|EXPIRED
).O estado atual da execução do trabalho. Para obter mais informações sobre os status de trabalhos que foram terminados de forma anormal, consulte Status de execução de trabalhos do AWS Glue.
-
Arguments
– Um array de mapa dos pares de valor-chave.Cada chave é uma sequência de caracteres UTF-8.
Cada valor é uma sequência de caracteres UTF-8.
Os argumentos de trabalho associados a esta execução. Para essa execução de tarefa, eles substituem os argumentos padrão definidos na própria definição de tarefa.
Aqui, você pode especificar os argumentos que seu próprio script de execução de trabalho consome, além dos argumentos que o AWS Glue consome.
Os argumentos do trabalho podem ser registrados em log. Não transmita segredos em texto simples como argumentos. Recupere os segredos de uma conexão do AWS Glue, AWS Secrets Manager ou outro mecanismo de gerenciamento de segredo se pretender mantê-los dentro do trabalho.
Para obter informações sobre como especificar e consumir seus próprios argumentos de trabalho, consulte o tópico Chamar APIs do AWS Glue em Python no guia do desenvolvedor.
Para obter informações sobre os argumentos que você pode fornecer a esse campo ao configurar trabalhos do Spark, consulte o tópico Special Parameters Used by AWS Glue no guia do desenvolvedor.
Para obter informações sobre os argumentos que você pode fornecer a esse campo ao configurar trabalhos do Ray, consulte o tópico Using job parameters in Ray jobs no guia do desenvolvedor.
-
ErrorMessage
– String UTF-8.Uma mensagem de erro associada à execução deste trabalho.
-
PredecessorRuns
– Uma matriz de objetos Predecessor.Uma lista de predecessores para a execução deste trabalho.
-
AllocatedCapacity
– Número (íntegro).Este campo está obsoleto. Use
MaxCapacity
em vez disso.O número de unidades de processamento de dados (DPUs) do AWS Glue atribuídas a esse JobRun. É possível atribuir de 2 a 100 DPUs, e o padrão é 10. Uma DPU é uma medida relativa do poder de processamento que consiste em uma capacidade computacional de 4 vCPUs e 16 GB de memória. Para obter mais informações, consulte a página de definição de preços do AWS Glue
. -
ExecutionTime
– Número (íntegro).A quantidade de tempo (em segundos) em que o trabalho executado consumiu recursos.
-
Timeout
– Número (inteiro), pelo menos 1.O tempo limite de
JobRun
em minutos. Este é o tempo máximo durante o qual uma execução de trabalho pode consumir recursos antes de ser encerrada e entrar no statusTIMEOUT
. Esse valor substitui o valor de tempo limite definido no trabalho principal.Os trabalhos de streaming devem ter valores de tempo limite inferiores a 7 dias ou 10.080 minutos. Quando o valor for deixado em branco, o trabalho será reiniciado após 7 dias, caso você não tenha configurado uma janela de manutenção. Se você tiver uma janela de manutenção de configuração, ela será reiniciada durante a janela de manutenção após 7 dias.
-
MaxCapacity
– Número (duplo).Para trabalhos do Glue versão 1.0 ou anterior, usando o tipo de operador padrão, é o número de unidades de processamento de dados (DPUs) do AWS Glue que poderão ser alocadas quando esse trabalho for executado. Uma DPU é uma medida relativa do poder de processamento que consiste em uma capacidade computacional de 4 vCPUs e 16 GB de memória. Para obter mais informações, consulte a página de definição de preços do AWS Glue
. Para trabalhos do Glue versão 2.0+, você não pode especificar uma
Maximum capacity
. Em vez disso, você deve especificar umWorker type
e oNumber of workers
.Não defina
MaxCapacity
se estiver usandoWorkerType
eNumberOfWorkers
.O valor que pode ser alocado para
MaxCapacity
depende se você está executando um trabalho de shell do Python, um trabalho de ETL do Apache Spark ou um trabalho de ETL de streaming do Apache Spark:-
Ao especificar um trabalho de shell do Python (
JobCommand.Name
="pythonshell"), você poderá alocar 0,0625 ou 1 DPU. O padrão é 0,0625 DPU. -
Ao especificar um trabalho de ETL do Apache Spark (
JobCommand.Name
="glueetl") ou um trabalho de ETL de streaming do Apache Spark (JobCommand.Name
="gluestreaming"), é possível alocar de 2 a 100 DPUs. O padrão é de 10 DPUs. Esse tipo de trabalho não pode ter uma alocação de DPU fracionada.
-
-
WorkerType
– String UTF-8 (valores válidos:Standard=""
|G.1X=""
|G.2X=""
|G.025X=""
|G.4X=""
|G.8X=""
|Z.2X=""
).O tipo de operador predefinido que é alocado quando um trabalho é executado. Aceita um valor de G.1X, G.2X, G.4X, G.8X ou G.025X para trabalhos do Spark. Aceita o valor Z.2X para trabalhos do Ray.
-
Para o tipo de operador
G.1X
, cada operador é mapeado para 1 DPU (4 vCPU, 16 GB de memória) com disco de 84 GB (aproximadamente 34 GB livres) e fornece 1 executor por operador. Recomendamos esse tipo de operador para workloads, como transformações de dados, uniões e consultas, para oferecer uma maneira escalável e econômica de executar a maioria dos trabalhos. -
Para o tipo de operador
G.2X
, cada operador é mapeado para 2 DPU (8 vCPU, 32 GB de memória) com disco de 128 GB (aproximadamente 77 GB livres) e fornece 1 executor por operador. Recomendamos esse tipo de operador para workloads, como transformações de dados, uniões e consultas, para oferecer uma maneira escalável e econômica de executar a maioria dos trabalhos. -
Para o tipo de operador
G.4X
, cada operador é mapeado para 4 DPU (16 vCPU, 64 GB de memória) com disco de 256 GB (aproximadamente 235 GB livres) e fornece 1 executor por operador. Recomendamos esse tipo de operador para trabalhos cujas workloads contêm as transformações, agregações, uniões e consultas mais exigentes. Esse tipo de operador está disponível somente para trabalhos de ETL do Spark no AWS Glue versão 3.0 ou posterior nas seguintes regiões da AWS: Leste dos EUA (Ohio), Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Tóquio), Canadá (Central), Europa (Frankfurt), Europa (Irlanda) e Europa (Estocolmo). -
Para o tipo de operador
G.8X
, cada operador é mapeado para 8 DPU (32 vCPU, 128 GB de memória) com disco de 512 GB (aproximadamente 487 GB livres) e fornece 1 executor por operador. Recomendamos esse tipo de operador para trabalhos cujas workloads contêm as transformações, agregações, uniões e consultas mais exigentes. Esse tipo de operador está disponível somente para trabalhos de ETL do Spark no AWS Glue versão 3.0 ou posterior, nas mesmas regiões da AWS compatíveis com o tipo de operadorG.4X
. -
Para o tipo de operador
G.025X
, cada operador é mapeado para 0,25 DPU (2 vCPU, 4 GB de memória) com disco de 84 GB (aproximadamente 34 GB livres) e fornece 1 executor por operador. Recomendamos esse tipo de operador para trabalhos de streaming de baixo volume. Esse tipo de operador só está disponível para trabalhos de streaming AWS Glue versão 3.0. -
Para o tipo de operador
Z.2X
, cada operador é mapeado para 2 M-DPU (8 vCPUs, 64 GB de memória) com 128 GB de disco (aproximadamente 120 GB livres) e fornece até 8 operadores do Ray baseados no escalador automático.
-
-
NumberOfWorkers
– Número (íntegro).O número de operadores de determinado
workerType
que são alocados quando um trabalho é executado. -
SecurityConfiguration
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome da estrutura de
SecurityConfiguration
a ser usada com a execução desse trabalho. -
LogGroupName
– String UTF-8.O nome do grupo de logs para registro seguro, que pode ser criptografado no lado do servidor no Amazon CloudWatch usando o AWS KMS. Esse nome pode ser
/aws-glue/jobs/
e, nesse caso, a criptografia padrão éNONE
. Se você adicionar o nome de uma função e o nome deSecurityConfiguration
(em outras palavras,/aws-glue/jobs-yourRoleName-yourSecurityConfigurationName/
), essa configuração de segurança será usada para criptografar o grupo de logs. -
NotificationProperty
– Um objeto NotificationProperty.Especifica propriedades de configuração de uma notificação de execução de trabalho.
-
GlueVersion
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Custom string pattern #20.Nas tarefas do Spark,
GlueVersion
determina as versões do Apache Spark e do Python que o AWS Glue disponibiliza em um trabalho. A versão do Python indica a versão compatível com trabalhos do tipo Spark.Os trabalhos de Ray devem definir
GlueVersion
como4.0
ou mais. Porém, as versões do Ray, do Python e das bibliotecas adicionais disponíveis no seu trabalho do Ray são determinadas pelo parâmetroRuntime
do comando Job.Para obter mais informações sobre as versões disponíveis do AWS Glue e as versões correspondentes do Spark e do Python, consulte Versão do Glue no guia do desenvolvedor.
Os trabalhos criados sem especificar uma versão do Glue usam como padrão o Glue 0.9.
-
DPUSeconds
– Número (duplo).Esse campo pode ser preenchido para execuções de trabalhos com classes de execução
FLEX
ou quando o Auto Scaling está habilitado e representa o tempo total de execução de um executor durante o ciclo de vida de uma execução de trabalho em segundos, multiplicado por um fator de DPU (1 para operadoresG.1X
, 2 para operadoresG.2X
e 0,25 para operadoresG.025X
). Esse valor pode ser diferente deexecutionEngineRuntime
*MaxCapacity
, como no caso de trabalhos do Auto Scaling, pois o número de executores em execução em um determinado momento pode ser menor queMaxCapacity
. Portanto, é possível que o valor deDPUSeconds
seja menor queexecutionEngineRuntime
*MaxCapacity
. -
ExecutionClass
: string UTF-8, inferior a 16 bytes de comprimento (valores válidos:FLEX=""
|STANDARD=""
).Indica se o trabalho é executado com uma classe de execução padrão ou flexível. A classe de execução padrão é ideal para workloads sensíveis ao tempo que exigem a inicialização rápida de trabalhos e recursos dedicados.
A classe de execução flexível é adequada para trabalhos insensíveis ao tempo, cujos horários de início e conclusão podem variar.
Somente trabalhos com o AWS Glue versão 3.0 e posterior e o tipo de comando
glueetl
terão permissão para definirExecutionClass
comoFLEX
. A classe de execução flexível está disponível para trabalhos do Spark. -
MaintenanceWindow
– String UTF-8 correspondente a Custom string pattern #30.Esse campo especifica um dia da semana e uma hora para uma janela de manutenção para trabalhos de streaming. O AWS Glue realiza periodicamente atividades de manutenção. Durante essas janelas de manutenção, o AWS Glue precisará reiniciar seus trabalhos de streaming.
O AWS Glue reiniciará o trabalho dentro de 3 horas da janela de manutenção especificada. Por exemplo, se você configurar a janela de manutenção para segunda-feira às 10h (GMT), seus trabalhos serão reiniciados entre 10h (GMT) e 13h (GMT).
-
ProfileName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome de um perfil de uso do AWS Glue associado à execução do trabalho.
-
StateDetail
: string UTF-8, não superior a 400.000 bytes de comprimento.Esse campo contém detalhes referentes ao estado da execução de um trabalho. O campo é anulável.
Por exemplo, quando a execução de um trabalho está em um estado "EM ESPERA" como resultado da fila de execução de um trabalho, o campo contém o motivo pelo qual a execução do trabalho está nesse estado.
Estrutura Predecessor
Uma execução de trabalho usada no predicado de um gatilho condicional que a acionou.
Campos
-
JobName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome da definição de trabalho usada pela execução do trabalho antecessor.
-
RunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID da execução de trabalho predecessor.
Estrutura JobBookmarkEntry
Define um ponto em que um trabalho pode retomar o processamento.
Campos
-
JobName
– String UTF-8.O nome do trabalho em questão.
-
Version
– Número (íntegro).A versão do trabalho.
-
Run
– Número (íntegro).O número do ID de execução.
-
Attempt
– Número (íntegro).O número do ID de tentativa.
-
PreviousRunId
– String UTF-8.O identificador de execução exclusivo associado à execução do trabalho anterior.
-
RunId
– String UTF-8.O número do ID de execução.
-
JobBookmark
– String UTF-8.O próprio marcador.
Estrutura BatchStopJobRunSuccessfulSubmission
Registra uma solicitação bem-sucedido para interromper um JobRun
especificado.
Campos
-
JobName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome da definição de trabalho usada na execução do trabalho que foi interrompida.
-
JobRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O
JobRunId
da execução de trabalho que foi interrompida.
Estrutura BatchStopJobRunError
Registra um erro que ocorreu ao tentar interromper uma execução de trabalho especificada.
Campos
-
JobName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome da definição de trabalho usada na execução do trabalho em questão.
-
JobRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O
JobRunId
da execução do trabalho em questão. -
ErrorDetail
– Um objeto ErrorDetail.Especifica detalhes sobre o erro encontrado.
Estrutura NotificationProperty
Especifica propriedades de configuração de uma notificação.
Campos
-
NotifyDelayAfter
– Número (inteiro), pelo menos 1.Depois que a execução de um trabalho for iniciada, o número de minutos a esperar antes de enviar uma notificação de atraso de execução de trabalho.
Operações
Ação StartJobRun (Python: start_job_run)
Inicia uma execução de trabalho usando uma definição de trabalho.
Solicitação
-
JobName
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O nome da definição de trabalho que será usada.
-
JobRunQueuingEnabled
– Booleano.Especifica se o enfileiramento da execução de trabalhos está habilitado para a execução do trabalho.
Um valor "verdadeiro" significa que o enfileiramento da execução de trabalhos está habilitado para as execuções do trabalho. Se o valor for "falso" ou não estiver preenchido, a execução do trabalho não será considerada para enfileiramento.
-
JobRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID de um
JobRun
anterior para tentar novamente. -
Arguments
– Um array de mapa dos pares de valor-chave.Cada chave é uma sequência de caracteres UTF-8.
Cada valor é uma sequência de caracteres UTF-8.
Os argumentos de trabalho associados a esta execução. Para essa execução de tarefa, eles substituem os argumentos padrão definidos na própria definição de tarefa.
Aqui, você pode especificar os argumentos que seu próprio script de execução de trabalho consome, além dos argumentos que o AWS Glue consome.
Os argumentos do trabalho podem ser registrados em log. Não transmita segredos em texto simples como argumentos. Recupere os segredos de uma conexão do AWS Glue, AWS Secrets Manager ou outro mecanismo de gerenciamento de segredo se pretender mantê-los dentro do trabalho.
Para obter informações sobre como especificar e consumir seus próprios argumentos de trabalho, consulte o tópico Chamar APIs do AWS Glue em Python no guia do desenvolvedor.
Para obter informações sobre os argumentos que você pode fornecer a esse campo ao configurar trabalhos do Spark, consulte o tópico Special Parameters Used by AWS Glue no guia do desenvolvedor.
Para obter informações sobre os argumentos que você pode fornecer a esse campo ao configurar trabalhos do Ray, consulte o tópico Using job parameters in Ray jobs no guia do desenvolvedor.
-
AllocatedCapacity
– Número (íntegro).Este campo está obsoleto. Use
MaxCapacity
em vez disso.O número de unidades de processamento de dados (DPUs) do AWS Glue a serem atribuídas a esse JobRun. Você pode alocar um mínimo de 2 DPUs. O padrão é 10. Uma DPU é uma medida relativa do poder de processamento que consiste em uma capacidade computacional de 4 vCPUs e 16 GB de memória. Para obter mais informações, consulte a página de definição de preços do AWS Glue
. -
Timeout
– Número (inteiro), pelo menos 1.O tempo limite de
JobRun
em minutos. Este é o tempo máximo durante o qual uma execução de trabalho pode consumir recursos antes de ser encerrada e entrar no statusTIMEOUT
. Esse valor substitui o valor de tempo limite definido no trabalho principal.Os trabalhos de streaming devem ter valores de tempo limite inferiores a 7 dias ou 10.080 minutos. Quando o valor for deixado em branco, o trabalho será reiniciado após 7 dias, caso você não tenha configurado uma janela de manutenção. Se você tiver uma janela de manutenção de configuração, ela será reiniciada durante a janela de manutenção após 7 dias.
-
MaxCapacity
– Número (duplo).Para trabalhos do Glue versão 1.0 ou anterior, usando o tipo de operador padrão, é o número de unidades de processamento de dados (DPUs) do AWS Glue que poderão ser alocadas quando esse trabalho for executado. Uma DPU é uma medida relativa do poder de processamento que consiste em uma capacidade computacional de 4 vCPUs e 16 GB de memória. Para obter mais informações, consulte a página de definição de preços do AWS Glue
. Para trabalhos do Glue versão 2.0+, você não pode especificar uma
Maximum capacity
. Em vez disso, você deve especificar umWorker type
e oNumber of workers
.Não defina
MaxCapacity
se estiver usandoWorkerType
eNumberOfWorkers
.O valor que pode ser alocado para
MaxCapacity
depende se você está executando um trabalho de shell do Python, um trabalho de ETL do Apache Spark ou um trabalho de ETL de streaming do Apache Spark:-
Ao especificar um trabalho de shell do Python (
JobCommand.Name
="pythonshell"), você poderá alocar 0,0625 ou 1 DPU. O padrão é 0,0625 DPU. -
Ao especificar um trabalho de ETL do Apache Spark (
JobCommand.Name
="glueetl") ou um trabalho de ETL de streaming do Apache Spark (JobCommand.Name
="gluestreaming"), é possível alocar de 2 a 100 DPUs. O padrão é de 10 DPUs. Esse tipo de trabalho não pode ter uma alocação de DPU fracionada.
-
-
SecurityConfiguration
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome da estrutura de
SecurityConfiguration
a ser usada com a execução desse trabalho. -
NotificationProperty
– Um objeto NotificationProperty.Especifica propriedades de configuração de uma notificação de execução de trabalho.
-
WorkerType
– String UTF-8 (valores válidos:Standard=""
|G.1X=""
|G.2X=""
|G.025X=""
|G.4X=""
|G.8X=""
|Z.2X=""
).O tipo de operador predefinido que é alocado quando um trabalho é executado. Aceita um valor de G.1X, G.2X, G.4X, G.8X ou G.025X para trabalhos do Spark. Aceita o valor Z.2X para trabalhos do Ray.
-
Para o tipo de operador
G.1X
, cada operador é mapeado para 1 DPU (4 vCPU, 16 GB de memória) com disco de 84 GB (aproximadamente 34 GB livres) e fornece 1 executor por operador. Recomendamos esse tipo de operador para workloads, como transformações de dados, uniões e consultas, para oferecer uma maneira escalável e econômica de executar a maioria dos trabalhos. -
Para o tipo de operador
G.2X
, cada operador é mapeado para 2 DPU (8 vCPU, 32 GB de memória) com disco de 128 GB (aproximadamente 77 GB livres) e fornece 1 executor por operador. Recomendamos esse tipo de operador para workloads, como transformações de dados, uniões e consultas, para oferecer uma maneira escalável e econômica de executar a maioria dos trabalhos. -
Para o tipo de operador
G.4X
, cada operador é mapeado para 4 DPU (16 vCPU, 64 GB de memória) com disco de 256 GB (aproximadamente 235 GB livres) e fornece 1 executor por operador. Recomendamos esse tipo de operador para trabalhos cujas workloads contêm as transformações, agregações, uniões e consultas mais exigentes. Esse tipo de operador está disponível somente para trabalhos de ETL do Spark no AWS Glue versão 3.0 ou posterior nas seguintes regiões da AWS: Leste dos EUA (Ohio), Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Tóquio), Canadá (Central), Europa (Frankfurt), Europa (Irlanda) e Europa (Estocolmo). -
Para o tipo de operador
G.8X
, cada operador é mapeado para 8 DPU (32 vCPU, 128 GB de memória) com disco de 512 GB (aproximadamente 487 GB livres) e fornece 1 executor por operador. Recomendamos esse tipo de operador para trabalhos cujas workloads contêm as transformações, agregações, uniões e consultas mais exigentes. Esse tipo de operador está disponível somente para trabalhos de ETL do Spark no AWS Glue versão 3.0 ou posterior, nas mesmas regiões da AWS compatíveis com o tipo de operadorG.4X
. -
Para o tipo de operador
G.025X
, cada operador é mapeado para 0,25 DPU (2 vCPU, 4 GB de memória) com disco de 84 GB (aproximadamente 34 GB livres) e fornece 1 executor por operador. Recomendamos esse tipo de operador para trabalhos de streaming de baixo volume. Esse tipo de operador só está disponível para trabalhos de streaming AWS Glue versão 3.0. -
Para o tipo de operador
Z.2X
, cada operador é mapeado para 2 M-DPU (8 vCPUs, 64 GB de memória) com 128 GB de disco (aproximadamente 120 GB livres) e fornece até 8 operadores do Ray baseados no escalador automático.
-
-
NumberOfWorkers
– Número (íntegro).O número de operadores de determinado
workerType
que são alocados quando um trabalho é executado. -
ExecutionClass
: string UTF-8, inferior a 16 bytes de comprimento (valores válidos:FLEX=""
|STANDARD=""
).Indica se o trabalho é executado com uma classe de execução padrão ou flexível. A classe de execução padrão é ideal para workloads sensíveis ao tempo que exigem a inicialização rápida de trabalhos e recursos dedicados.
A classe de execução flexível é adequada para trabalhos insensíveis ao tempo, cujos horários de início e conclusão podem variar.
Somente trabalhos com o AWS Glue versão 3.0 e posterior e o tipo de comando
glueetl
terão permissão para definirExecutionClass
comoFLEX
. A classe de execução flexível está disponível para trabalhos do Spark. -
ProfileName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome de um perfil de uso do AWS Glue associado à execução do trabalho.
Resposta
-
JobRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID atribuído a esta execução de trabalho.
Erros
InvalidInputException
EntityNotFoundException
InternalServiceException
OperationTimeoutException
ResourceNumberLimitExceededException
ConcurrentRunsExceededException
Ação BatchStopJobRun (Python: batch_stop_job_run)
Interrompe uma ou mais execuções de trabalho para uma definição de trabalho determinada.
Solicitação
-
JobName
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O nome da definição de trabalho para a qual as execuções de trabalho são interrompidas.
-
JobRunIds
– Obrigatório: uma matriz de strings UTF-8, no mínimo 1 ou mais de 25 strings.Uma lista dos
JobRunIds
que devem ser interrompidos para essa definição de trabalho.
Resposta
-
SuccessfulSubmissions
– Uma matriz de objetos BatchStopJobRunSuccessfulSubmission.Uma lista dos JobRuns que foram enviados com sucesso para interrupção.
-
Errors
– Uma matriz de objetos BatchStopJobRunError.Uma lista dos erros que foram encontrados durante a tentativa de interrupção de
JobRuns
, incluindo oJobRunId
para o qual cada erro foi encontrado e os detalhes do erro.
Erros
InvalidInputException
InternalServiceException
OperationTimeoutException
Ação GetJobRun (Python: get_job_run)
Recupera os metadados para uma execução de trabalho específica. O histórico de execução de trabalhos pode ser acessado por 90 dias para seu fluxo de trabalho e execução de trabalhos.
Solicitação
-
JobName
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.Nome da definição de trabalho em execução.
-
RunId
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O ID da execução de trabalho.
-
PredecessorsIncluded
– Booleano.True, se uma lista de execuções antecessoras for retornada.
Resposta
-
JobRun
– Um objeto JobRun.Os metadados solicitados da execução de trabalho.
Erros
InvalidInputException
EntityNotFoundException
InternalServiceException
OperationTimeoutException
Ação GetJobRuns (Python: get_job_runs)
Recupera os metadados para todas as execuções de uma determinada definição de trabalho.
GetJobRuns
retorna as execuções da tarefa em ordem cronológica, com as tarefas mais recentes primeiro.
Solicitação
-
JobName
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O nome da definição de trabalho para a qual todas as execuções de trabalho são recuperadas.
-
NextToken
– String UTF-8.Um token de continuação, se esta for uma chamada de continuação.
-
MaxResults
: número (inteiro) não inferior a 1 nem superior a 200.O tamanho máximo da resposta.
Resposta
-
JobRuns
– Uma matriz de objetos JobRun.Uma lista de objetos de metadados de execução de trabalho.
-
NextToken
– String UTF-8.Um token de continuação, se todas as execuções de trabalho solicitadas não tiverem sido retornadas.
Erros
InvalidInputException
EntityNotFoundException
InternalServiceException
OperationTimeoutException
Ação GetJobBookmark (Python: get_job_bookmark)
Retorna informações sobre uma entrada de marcador de trabalho.
Para obter mais informações sobre como habilitar e usar marcadores de trabalho, consulte:
Solicitação
-
JobName
– Obrigatório: string UTF-8.O nome do trabalho em questão.
-
Version
– Número (íntegro).A versão do trabalho.
-
RunId
– String UTF-8.O identificador de execução exclusivo associado à execução desse trabalho.
Resposta
-
JobBookmarkEntry
– Um objeto JobBookmarkEntry.Uma estrutura que define um ponto em que um trabalho pode retomar o processamento.
Erros
EntityNotFoundException
InvalidInputException
InternalServiceException
OperationTimeoutException
ValidationException
Ação GetJobBookmarks (Python: get_job_bookmarks)
Retorna informações sobre as entradas de marcador de trabalho. A ordem da lista é em números de versão decrescentes.
Para obter mais informações sobre como habilitar e usar marcadores de trabalho, consulte:
Solicitação
-
JobName
– Obrigatório: string UTF-8.O nome do trabalho em questão.
-
MaxResults
– Número (íntegro).O tamanho máximo da resposta.
-
NextToken
– Número (íntegro).Um token de continuação, se esta for uma chamada de continuação.
Resposta
-
JobBookmarkEntries
– Uma matriz de objetos JobBookmarkEntry.Uma lista de entradas de marcador de trabalho que define um ponto em que um trabalho pode retomar o processamento.
-
NextToken
– Número (íntegro).Um token de continuação, que terá um valor de 1 se todas as entradas forem retornadas ou > 1 se nem todas as execuções solicitadas forem retornadas.
Erros
InvalidInputException
EntityNotFoundException
InternalServiceException
OperationTimeoutException
Ação ResetJobBookmark (Python: reset_job_bookmark)
Redefine uma entrada de marcador.
Para obter mais informações sobre como habilitar e usar marcadores de trabalho, consulte:
Solicitação
-
JobName
– Obrigatório: string UTF-8.O nome do trabalho em questão.
-
RunId
– String UTF-8.O identificador de execução exclusivo associado à execução desse trabalho.
Resposta
-
JobBookmarkEntry
– Um objeto JobBookmarkEntry.A redefinição da entrada de marcador.
Erros
EntityNotFoundException
InvalidInputException
InternalServiceException
OperationTimeoutException