Jobs

• Estructura de trabajo

• Estructura ExecutionProperty

• Estructura NotificationProperty

• Estructura JobCommand

• Estructura ConnectionsList

• Estructura JobUpdate

• Estructura SourceControlDetails

Campos

• Name: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El nombre que se asigna a esta definición de flujo de trabajo.

• JobMode: cadena UTF-8 (valores válidos: SCRIPT="" | VISUAL="" | NOTEBOOK="").

  Un modo que describe cómo se creó un trabajo. Los valores válidos son:

  • SCRIPT: El trabajo se creó con el editor de scripts de AWS Glue Studio.

  • VISUAL: El trabajo se creó con el editor visual de AWS Glue Studio.

  • NOTEBOOK: El trabajo se creó con un cuaderno de sesiones interactivo.

  Cuando el campo JobMode no aparece o es nulo, se asigna SCRIPT como valor predeterminado.

• JobRunQueuingEnabled: booleano.

  Especifica si la fila de ejecuciones de trabajos está habilitada para las ejecuciones de este trabajo.

  Un valor verdadero significa que la fila de ejecución de tareas está habilitada para las ejecuciones. Si es falso o no se completa, los trabajos ejecutados no se considerarán para ingresar en la fila.

  Si este campo no coincide con el valor establecido en la ejecución del trabajo, se utilizará el valor proveniente del campo de ejecución del trabajo.

• Description: cadena de descripción de un máximo de 2048 bytes de largo, que coincide con el URI address multi-line string pattern.

  Una descripción del trabajo.

• LogUri: cadena UTF-8.

  Este campo se reserva para un uso ulterior.

• Role: cadena UTF-8.

  El nombre o nombre de recurso de Amazon (ARN) del rol de IAM asociado a este trabajo.

• CreatedOn: marca temporal.

  La fecha y hora en que se creó esta definición de flujo de trabajo.

• LastModifiedOn: marca temporal.

  La última vez en que se modificó esta definición de flujo de trabajo.

• ExecutionProperty: un objeto ExecutionProperty.

  Un ExecutionProperty que especifica el número máximo de ejecuciones simultáneas permitidas para este trabajo.

• Command: un objeto JobCommand.

  El JobCommand que ejecuta este trabajo.

• DefaultArguments: matriz de mapas de pares clave-valor.

  Cada clave es una cadena UTF-8.

  Cada valor es una cadena UTF-8.

  Los argumentos predeterminados para cada ejecución de este trabajo, que se especifican como pares nombre-valor.

  Aquí puede especificar argumentos que su propio script de ejecución de tareas consume, así como argumentos que AWS Glue consume.

  Es posible que se registren los argumentos del trabajo. No utilice secretos con formato de texto no cifrado como argumentos. Recupere los secretos desde una conexión de AWS Glue, AWS Secrets Manager u otro mecanismo de administración de secretos si tiene la intención de conservarlos dentro del trabajo.

  Para obtener información acerca de cómo especificar y utilizar sus propios argumentos de trabajo, consulte Llamadas a las API de AWS Glue en Python en la guía para desarrolladores.

  Para obtener información sobre los argumentos que puede proporcionar a este campo al configurar los trabajos de Spark, consulte el tema Parámetros especiales utilizados por AWS Glue en la guía para desarrolladores.

  Para obtener información sobre los argumentos que puede proporcionar a este campo al configurar los trabajos de Ray, consulte Utilizar parámetros de trabajo utilizados en trabajos de Ray en la guía para desarrolladores.

• NonOverridableArguments: matriz de mapas de pares clave-valor.

  Cada clave es una cadena UTF-8.

  Cada valor es una cadena UTF-8.

  Los argumentos para este trabajo que no se anulan cuando se proporcionan argumentos de trabajo en una ejecución de trabajos, se especifican como pares nombre-valor.

• Connections: un objeto ConnectionsList.

  Las conexiones que se utilizan para este flujo de trabajo.

• MaxRetries: número (entero).

  Número máximo de reintentos permitidos para este flujo de trabajo después de un error de JobRun.

• AllocatedCapacity: número (entero).

  Este campo está obsoleto. En su lugar, use MaxCapacity.

  El número de unidades de procesamiento de datos (DPU) de AWS Glue asignadas a las ejecuciones de este trabajo. Puede asignar un mínimo de 2 DPU; el valor predeterminado es 10. Una DPU es una medida relativa de la potencia de procesamiento que consta de 4 vCPU de capacidad de cómputo y 16 GB de memoria. Para obtener más información, consulte la página de precios de AWS Glue.

• Timeout: número (entero), como mínimo 1.

  El tiempo de espera del flujo de trabajo en minutos. Es el tiempo máximo que una ejecución de trabajo puede consumir recursos antes de que se termine y cambie al estado TIMEOUT. El valor predeterminado es 2 880 minutos (48 horas) para los trabajos por lotes.

  Los trabajos de streaming deben tener valores de tiempo de espera inferiores a 7 días o 10 080 minutos. Si el valor se deja en blanco, el trabajo se reiniciará al cabo de 7 días si no se ha configurado un período de mantenimiento. Si ha configurado un período de mantenimiento, se reiniciará durante el período de mantenimiento a los 7 días.

• MaxCapacity: número (doble).

  Para trabajos de la versión 1.0 de Glue o anteriores, con el tipo de empleado estándar, debe especificar el número de unidades de procesamiento de datos (DPU) de AWS Glue que se pueden asignar cuando se ejecute este trabajo. Una DPU es una medida relativa de la potencia de procesamiento que consta de 4 vCPU de capacidad de cómputo y 16 GB de memoria. Para obtener más información, consulte la página de precios de AWS Glue.

  En los trabajos de Glue versión 2.0 o posterior, no puede especificar un Maximum capacity. En su lugar, debe especificar un Worker type y el Number of workers.

  No establezca MaxCapacity si utiliza WorkerType y NumberOfWorkers.

  El valor que se puede asignar a MaxCapacity depende de si se está ejecutando un trabajo de shell de Python, un trabajo de ETL de Apache Spark o un trabajo de ETL de streaming de Apache Spark:

  • Cuando especifica un trabajo de shell de Python (JobCommand.Name=“pythonshell”), puede asignar 0,0625 o 1 DPU. El valor predeterminado es 0,0625 DPU.

  • Cuando especifica un trabajo ETL de Apache Spark (JobCommand.Name=”glueetl”) o un trabajo de ETL de streaming de Apache Spark (JobCommand.Name=”gluestreaming”), puede asignar de 2 a 100 DPU. El valor predeterminado es 10 DPU. Este tipo de trabajo no puede tener una asignación de DPU fraccionaria.

• WorkerType: cadena UTF-8 (valores válidos: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="").

  El tipo de proceso de trabajo predefinido que se asigna cuando se ejecuta un trabajo. Acepta un valor de G.1X, G.2X, G.4X, G.8X o G.025X para los trabajos de Spark. Acepta el valor Z.2X para los trabajos Ray.

  • Para el tipo de trabajador G.1X, cada trabajador se asocia a 1 DPU (4 vCPU, 16 GB de memoria) con un disco de 84 GB (aproximadamente 34 GB libres) y proporciona 1 ejecutor por trabajador. Recomendamos este tipo de trabajador para cargas de trabajo como transformaciones de datos, uniones y consultas, ya que ofrece una forma escalable y rentable de ejecutar la mayoría de los trabajos.

  • Para el tipo de trabajador G.2X, cada trabajador se asocia a 2 DPU (8 vCPU, 32 GB de memoria) con un disco de 128 GB (aproximadamente 77 GB libres) y proporciona 1 ejecutor por trabajador. Recomendamos este tipo de trabajador para cargas de trabajo como transformaciones de datos, uniones y consultas, ya que ofrece una forma escalable y rentable de ejecutar la mayoría de los trabajos.

  • Para el tipo de trabajador G.4X, cada trabajador se asocia a 4 DPU (16 vCPU, 64 GB de memoria) con un disco de 256 GB (aproximadamente 235 GB libres) y proporciona 1 ejecutor por trabajador. Recomendamos este tipo de trabajador para los trabajos cuyas cargas de trabajo contengan las transformaciones, agregaciones, uniones y consultas más exigentes. Este tipo de trabajador solo está disponible para los trabajos de Spark ETL de la versión 3.0 de AWS Glue o posteriores en las siguientes regiones de AWS: Este de EE. UU. (Ohio), Este de EE. UU. (Norte de Virginia), Oeste de EE. UU. (Oregón), Asia Pacífico (Singapur), Asia Pacífico (Sídney), Asia Pacífico (Tokio), Canadá (centro), Europa (Fráncfort), Europa (Irlanda) y Europa (Estocolmo).

  • Para el tipo de trabajador G.8X, cada trabajador se asocia a 8 DPU (32 GB vCPU, 128 GB de memoria) con un disco de 512 GB (aproximadamente 487 GB libres) y proporciona 1 ejecutor por trabajador. Recomendamos este tipo de trabajador para los trabajos cuyas cargas de trabajo contengan las transformaciones, agregaciones, uniones y consultas más exigentes. Este tipo de trabajador solo está disponible para los trabajos ETL de Spark de la versión 3.0 de AWS Glue o posteriores, en las mismas regiones de AWS compatibles con el tipo de trabajador G.4X.

  • Para el tipo de trabajador G.025X, cada trabajador se asigna a 0,25 DPU (2 vCPU, 4 GB de memoria) con un disco de 84 GB (aproximadamente 34 GB libres) y proporciona 1 ejecutor por trabajador. Le recomendamos este tipo de proceso de trabajo para trabajos de streaming de bajo volumen. Este tipo de proceso de trabajo solo está disponible para trabajos de streaming con la versión 3.0 de AWS Glue.

  • Para el tipo de trabajador Z.2X, cada trabajador se asigna a 2 M-DPU (8 vCPU, 64 GB de memoria) con un disco de 128 GB (aproximadamente 120 GB libres) y proporciona hasta 8 trabajadores de Ray en función del escalador automático.

• NumberOfWorkers: número (entero).

  El número de procesos de trabajo de workerType definido que se asignan cuando se ejecuta un trabajo.

• SecurityConfiguration: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El nombre de la estructura SecurityConfiguration que se va a utilizar con este trabajo.

• NotificationProperty: un objeto NotificationProperty.

  Especifica las propiedades de configuración de una notificación de flujo de trabajo.

• Running: booleano.

  Este campo se reserva para un uso ulterior.

• GlueVersion: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Custom string pattern #20.

  En los trabajos de Spark, GlueVersion determina las versiones de Apache Spark y Python que AWS Glue están disponibles en un trabajo. La versión de Python indica la versión admitida para trabajos de tipo Spark.

  Los trabajos de Ray se deben configurar GlueVersion en 4.0 o superior. Sin embargo, las versiones de Ray, Python y bibliotecas adicionales que están disponibles en el trabajo de Ray están determinadas por el parámetro Runtime del comando del trabajo.

  Para obtener más información acerca de las versiones de AWS Glue disponibles y las versiones de Spark y Python correspondientes, consulte Versión de Glue en la guía para desarrolladores.

  Los trabajos que se crean sin especificar una versión de Glue se establecen de forma predeterminada en Glue 0.9.

• CodeGenConfigurationNodes: matriz de mapas de pares clave-valor.

  Cada clave es una cadena UTF-8 que coincide con el Custom string pattern #42.

  Cada valor es un objeto A CodeGenConfigurationNode.

  La representación de un gráfico acíclico dirigido en el que se basa tanto el componente visual de Glue Studio como la generación de código de Glue Studio.

• ExecutionClass: cadena UTF-8 de 16 bytes de largo como máximo (valores válidos: FLEX="" | STANDARD="").

  Indica si el trabajo se ejecuta con una clase de ejecución estándar o flexible. La clase de ejecución estándar es ideal para cargas de trabajo urgentes que requieren un inicio rápido de los trabajos y recursos dedicados.

  La clase de ejecución flexible es adecuada para trabajos no urgentes cuyos momentos de inicio y finalización pueden variar.

  Solo trabajos con AWS Glue versión 3.0 y posterior y tipo de comando glueetl podrán configurar ExecutionClass en FLEX. La clase de ejecución flexible está disponible para los trabajos de Spark.

• SourceControlDetails: un objeto SourceControlDetails.

  Los detalles de una configuración de control de código de origen para un trabajo, que permite la sincronización de los artefactos del trabajo hacia o desde un repositorio remoto.

• MaintenanceWindow: cadena UTF-8 que coincide con el Custom string pattern #30.

  Este campo especifica un día de la semana y una hora para el período de mantenimiento de los trabajos de streaming. AWS Glue lleva a cabo actividades de mantenimiento de forma periódica. Durante estos períodos de mantenimiento, AWS Glue tendrá que reiniciar sus trabajos de streaming.

  AWS Glue reiniciará el trabajo en un plazo de 3 horas a partir del inicio del período de mantenimiento especificado. Por ejemplo, si configura el período de mantenimiento para el lunes a las 10:00 h GMT, sus trabajos se reiniciarán entre las 10:00 h GMT y las 13:00 h GMT.

• ProfileName: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El nombre de un perfil de utilización de AWS Glue asociado al trabajo.

Campos

• MaxConcurrentRuns: número (entero).

  El número máximo de ejecuciones simultáneas que están permitidas para el flujo de trabajo. El valor predeterminado de es 1. Se produce un error cuando se llega a este umbral. El valor máximo que puede especificar se controla mediante un límite de servicio.

Campos

• NotifyDelayAfter: número (entero), como mínimo 1.

  Después de que comience una ejecución de flujo de trabajo, el número de minutos que se debe esperar antes de enviar una notificación de retraso de ejecución de un flujo de trabajo.

Campos

• Name: cadena UTF-8.

  El nombre del comando de trabajo. Para un trabajo de ETL de Apache Spark, este debe ser glueetl. Para un trabajo de shell de Python, debe ser pythonshell. Para un trabajo de ETL de streaming Apache Spark, este debe ser gluestreaming. Para un trabajo de Ray, esto debe ser glueray.

• ScriptLocation: cadena UTF-8 de 400 000 bytes de largo como máximo.

  Especifica la ruta de Amazon Simple Storage Service (Amazon S3) a un script que ejecuta un trabajo.

• PythonVersion: cadena UTF-8 que coincide con el Custom string pattern #21.

  La versión de Python que se utiliza para ejecutar un trabajo de shell de Python. Los valores permitidos son 2 o 3.

• Runtime: cadena UTF-8, de 64 bytes de largo como máximo, que coincide con Custom string pattern #29.

  En los trabajos de Ray, el tiempo de ejecución se utiliza para especificar las versiones de Ray, Python y bibliotecas adicionales disponibles en su entorno. Este campo no se usa en otros tipos de trabajos. Para ver los valores del entorno de tiempo de ejecución compatibles, consulte Entornos de tiempo de ejecución de Ray compatibles en la Guía de desarrolladores de AWS Glue.

Campos

• Connections: matriz de cadenas UTF-8.

  Lista de conexiones que utiliza el flujo de trabajo.

Campos

• JobMode: cadena UTF-8 (valores válidos: SCRIPT="" | VISUAL="" | NOTEBOOK="").

  Un modo que describe cómo se creó un trabajo. Los valores válidos son:

  • SCRIPT: El trabajo se creó con el editor de scripts de AWS Glue Studio.

  • VISUAL: El trabajo se creó con el editor visual de AWS Glue Studio.

  • NOTEBOOK: El trabajo se creó con un cuaderno de sesiones interactivo.

  Cuando el campo JobMode no aparece o es nulo, se asigna SCRIPT como valor predeterminado.

• JobRunQueuingEnabled: booleano.

  Especifica si la fila de ejecuciones de trabajos está habilitada para las ejecuciones de este trabajo.

  Un valor verdadero significa que la fila de ejecución de tareas está habilitada para las ejecuciones. Si es falso o no se completa, los trabajos ejecutados no se considerarán para ingresar en la fila.

  Si este campo no coincide con el valor establecido en la ejecución del trabajo, se utilizará el valor proveniente del campo de ejecución del trabajo.

• Description: cadena de descripción de un máximo de 2048 bytes de largo, que coincide con el URI address multi-line string pattern.

  Descripción del flujo de trabajo que se va a definir.

• LogUri: cadena UTF-8.

  Este campo se reserva para un uso ulterior.

• Role: cadena UTF-8.

  El nombre o nombre de recurso de Amazon (ARN) del rol de IAM asociado a este trabajo (obligatorio).

• ExecutionProperty: un objeto ExecutionProperty.

  Un ExecutionProperty que especifica el número máximo de ejecuciones simultáneas permitidas para este trabajo.

• Command: un objeto JobCommand.

  El JobCommand que ejecuta este trabajo (obligatorio).

• DefaultArguments: matriz de mapas de pares clave-valor.

  Cada clave es una cadena UTF-8.

  Cada valor es una cadena UTF-8.

  Los argumentos predeterminados para cada ejecución de este trabajo, que se especifican como pares nombre-valor.

  Aquí puede especificar argumentos que su propio script de ejecución de tareas consume, así como argumentos que AWS Glue consume.

  Es posible que se registren los argumentos del trabajo. No utilice secretos con formato de texto no cifrado como argumentos. Recupere los secretos desde una conexión de AWS Glue, AWS Secrets Manager u otro mecanismo de administración de secretos si tiene la intención de conservarlos dentro del trabajo.

  Para obtener información acerca de cómo especificar y utilizar sus propios argumentos de trabajo, consulte Llamadas a las API de AWS Glue en Python en la guía para desarrolladores.

  Para obtener información sobre los argumentos que puede proporcionar a este campo al configurar los trabajos de Spark, consulte el tema Parámetros especiales utilizados por AWS Glue en la guía para desarrolladores.

  Para obtener información sobre los argumentos que puede proporcionar a este campo al configurar los trabajos de Ray, consulte Utilizar parámetros de trabajo utilizados en trabajos de Ray en la guía para desarrolladores.

• NonOverridableArguments: matriz de mapas de pares clave-valor.

  Cada clave es una cadena UTF-8.

  Cada valor es una cadena UTF-8.

  Los argumentos para este trabajo que no se anulan cuando se proporcionan argumentos de trabajo en una ejecución de trabajos, se especifican como pares nombre-valor.

• Connections: un objeto ConnectionsList.

  Las conexiones que se utilizan para este flujo de trabajo.

• MaxRetries: número (entero).

  Número máximo de reintentos permitidos para esta tarea si se genera un error.

• AllocatedCapacity: número (entero).

  Este campo está obsoleto. En su lugar, use MaxCapacity.

  El número de unidades de procesamiento de datos (DPU) de AWS Glue que se van a asignar a este trabajo. Puede asignar un mínimo de 2 DPU; el valor predeterminado es 10. Una DPU es una medida relativa de la potencia de procesamiento que consta de 4 vCPU de capacidad de cómputo y 16 GB de memoria. Para obtener más información, consulte la página de precios de AWS Glue.

• Timeout: número (entero), como mínimo 1.

  El tiempo de espera del flujo de trabajo en minutos. Es el tiempo máximo que una ejecución de trabajo puede consumir recursos antes de que se termine y cambie al estado TIMEOUT. El valor predeterminado es 2 880 minutos (48 horas) para los trabajos por lotes.

  Los trabajos de streaming deben tener valores de tiempo de espera inferiores a 7 días o 10 080 minutos. Si el valor se deja en blanco, el trabajo se reiniciará al cabo de 7 días si no se ha configurado un período de mantenimiento. Si ha configurado un período de mantenimiento, se reiniciará durante el período de mantenimiento a los 7 días.

• MaxCapacity: número (doble).

  Para trabajos de la versión 1.0 de Glue o anteriores, con el tipo de empleado estándar, debe especificar el número de unidades de procesamiento de datos (DPU) de AWS Glue que se pueden asignar cuando se ejecute este trabajo. Una DPU es una medida relativa de la potencia de procesamiento que consta de 4 vCPU de capacidad de cómputo y 16 GB de memoria. Para obtener más información, consulte la página de precios de AWS Glue.

  En los trabajos de Glue versión 2.0+, no puede especificar un Maximum capacity. En su lugar, debe especificar un Worker type y el Number of workers.

  No establezca MaxCapacity si utiliza WorkerType y NumberOfWorkers.

  El valor que se puede asignar a MaxCapacity depende de si se está ejecutando un trabajo de shell de Python, un trabajo de ETL de Apache Spark o un trabajo de ETL de streaming de Apache Spark:

  • Cuando especifica un trabajo de shell de Python (JobCommand.Name=“pythonshell”), puede asignar 0,0625 o 1 DPU. El valor predeterminado es 0,0625 DPU.

  • Cuando especifica un trabajo ETL de Apache Spark (JobCommand.Name=”glueetl”) o un trabajo de ETL de streaming de Apache Spark (JobCommand.Name=”gluestreaming”), puede asignar de 2 a 100 DPU. El valor predeterminado es 10 DPU. Este tipo de trabajo no puede tener una asignación de DPU fraccionaria.

• WorkerType: cadena UTF-8 (valores válidos: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="").

  El tipo de proceso de trabajo predefinido que se asigna cuando se ejecuta un trabajo. Acepta un valor de G.1X, G.2X, G.4X, G.8X o G.025X para los trabajos de Spark. Acepta el valor Z.2X para los trabajos Ray.

  • Para el tipo de trabajador G.1X, cada trabajador se asocia a 1 DPU (4 vCPU, 16 GB de memoria) con un disco de 84 GB (aproximadamente 34 GB libres) y proporciona 1 ejecutor por trabajador. Recomendamos este tipo de trabajador para cargas de trabajo como transformaciones de datos, uniones y consultas, ya que ofrece una forma escalable y rentable de ejecutar la mayoría de los trabajos.

  • Para el tipo de trabajador G.2X, cada trabajador se asocia a 2 DPU (8 vCPU, 32 GB de memoria) con un disco de 128 GB (aproximadamente 77 GB libres) y proporciona 1 ejecutor por trabajador. Recomendamos este tipo de trabajador para cargas de trabajo como transformaciones de datos, uniones y consultas, ya que ofrece una forma escalable y rentable de ejecutar la mayoría de los trabajos.

  • Para el tipo de trabajador G.4X, cada trabajador se asocia a 4 DPU (16 vCPU, 64 GB de memoria) con un disco de 256 GB (aproximadamente 235 GB libres) y proporciona 1 ejecutor por trabajador. Recomendamos este tipo de trabajador para los trabajos cuyas cargas de trabajo contengan las transformaciones, agregaciones, uniones y consultas más exigentes. Este tipo de trabajador solo está disponible para los trabajos de Spark ETL de la versión 3.0 de AWS Glue o posteriores en las siguientes regiones de AWS: Este de EE. UU. (Ohio), Este de EE. UU. (Norte de Virginia), Oeste de EE. UU. (Oregón), Asia Pacífico (Singapur), Asia Pacífico (Sídney), Asia Pacífico (Tokio), Canadá (centro), Europa (Fráncfort), Europa (Irlanda) y Europa (Estocolmo).

  • Para el tipo de trabajador G.8X, cada trabajador se asocia a 8 DPU (32 GB vCPU, 128 GB de memoria) con un disco de 512 GB (aproximadamente 487 GB libres) y proporciona 1 ejecutor por trabajador. Recomendamos este tipo de trabajador para los trabajos cuyas cargas de trabajo contengan las transformaciones, agregaciones, uniones y consultas más exigentes. Este tipo de trabajador solo está disponible para los trabajos ETL de Spark de la versión 3.0 de AWS Glue o posteriores, en las mismas regiones de AWS compatibles con el tipo de trabajador G.4X.

  • Para el tipo de trabajador G.025X, cada trabajador se asigna a 0,25 DPU (2 vCPU, 4 GB de memoria) con un disco de 84 GB (aproximadamente 34 GB libres) y proporciona 1 ejecutor por trabajador. Le recomendamos este tipo de proceso de trabajo para trabajos de streaming de bajo volumen. Este tipo de proceso de trabajo solo está disponible para trabajos de streaming con la versión 3.0 de AWS Glue.

  • Para el tipo de trabajador Z.2X, cada trabajador se asigna a 2 M-DPU (8 vCPU, 64 GB de memoria) con un disco de 128 GB (aproximadamente 120 GB libres) y proporciona hasta 8 trabajadores de Ray en función del escalador automático.

• NumberOfWorkers: número (entero).

  El número de procesos de trabajo de workerType definido que se asignan cuando se ejecuta un trabajo.

• SecurityConfiguration: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El nombre de la estructura SecurityConfiguration que se va a utilizar con este trabajo.

• NotificationProperty: un objeto NotificationProperty.

  Especifica las propiedades de configuración de una notificación de trabajo.

• GlueVersion: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Custom string pattern #20.

  En los trabajos de Spark, GlueVersion determina las versiones de Apache Spark y Python que AWS Glue están disponibles en un trabajo. La versión de Python indica la versión admitida para trabajos de tipo Spark.

  Los trabajos de Ray se deben configurar GlueVersion en 4.0 o superior. Sin embargo, las versiones de Ray, Python y bibliotecas adicionales que están disponibles en el trabajo de Ray están determinadas por el parámetro Runtime del comando del trabajo.

  Para obtener más información acerca de las versiones de AWS Glue disponibles y las versiones de Spark y Python correspondientes, consulte Versión de Glue en la guía para desarrolladores.

  Los trabajos que se crean sin especificar una versión de Glue se establecen de forma predeterminada en Glue 0.9.

• CodeGenConfigurationNodes: matriz de mapas de pares clave-valor.

  Cada clave es una cadena UTF-8 que coincide con el Custom string pattern #42.

  Cada valor es un objeto A CodeGenConfigurationNode.

  La representación de un gráfico acíclico dirigido en el que se basa tanto el componente visual de Glue Studio como la generación de código de Glue Studio.

• ExecutionClass: cadena UTF-8 de 16 bytes de largo como máximo (valores válidos: FLEX="" | STANDARD="").

  Indica si el trabajo se ejecuta con una clase de ejecución estándar o flexible. La clase de ejecución estándar es ideal para cargas de trabajo urgentes que requieren un inicio rápido de los trabajos y recursos dedicados.

  La clase de ejecución flexible es adecuada para trabajos no urgentes cuyos momentos de inicio y finalización pueden variar.

  Solo trabajos con AWS Glue versión 3.0 y posterior y tipo de comando glueetl podrán configurar ExecutionClass en FLEX. La clase de ejecución flexible está disponible para los trabajos de Spark.

• SourceControlDetails: un objeto SourceControlDetails.

  Los detalles de una configuración de control de código de origen para un trabajo, que permite la sincronización de los artefactos del trabajo hacia o desde un repositorio remoto.

• MaintenanceWindow: cadena UTF-8 que coincide con el Custom string pattern #30.

  Este campo especifica un día de la semana y una hora para el período de mantenimiento de los trabajos de streaming. AWS Glue lleva a cabo actividades de mantenimiento de forma periódica. Durante estos períodos de mantenimiento, AWS Glue tendrá que reiniciar sus trabajos de streaming.

  AWS Glue reiniciará el trabajo en un plazo de 3 horas a partir del inicio del período de mantenimiento especificado. Por ejemplo, si configura el período de mantenimiento para el lunes a las 10:00 h GMT, sus trabajos se reiniciarán entre las 10:00 h GMT y las 13:00 h GMT.

• ProfileName: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El nombre de un perfil de utilización de AWS Glue asociado al trabajo.

Campos

• Provider: cadena UTF-8.

  El proveedor del repositorio remoto.

• Repository: cadena UTF-8, con 1 byte de largo como mínimo y 512 bytes de largo como máximo.

  Nombre del repositorio remoto que contiene los artefactos del trabajo.

• Owner: cadena UTF-8, con 1 byte de largo como mínimo y 512 bytes de largo como máximo.

  Propietario del repositorio remoto que contiene los artefactos del trabajo.

• Branch: cadena UTF-8, con 1 byte de largo como mínimo y 512 bytes de largo como máximo.

  Una rama opcional en el repositorio remoto.

• Folder: cadena UTF-8, con 1 byte de largo como mínimo y 512 bytes de largo como máximo.

  Una carpeta opcional en el repositorio remoto.

• LastCommitId: cadena UTF-8, con 1 byte de largo como mínimo y 512 bytes de largo como máximo.

  El último identificador de confirmación de una confirmación en el repositorio remoto.

• LastSyncTimestamp: cadena UTF-8, con 1 byte de largo como mínimo y 512 bytes de largo como máximo.

  La fecha y hora en que se realizó la última sincronización del trabajo.

• AuthStrategy: cadena UTF-8.

  El tipo de autenticación, que puede ser un token de autenticación almacenado en elemento AWS de Secrets Manager o un token de acceso personal.

• AuthToken: cadena UTF-8, con 1 byte de largo como mínimo y 512 bytes de largo como máximo.

  El valor de un token de autorización.

• Acción CreateJob (Python: create_job)

• Acción UpdateJob (Python: update_job)

• Acción GetJob (Python: get_job)

• Acción GetJobs (Python: get_jobs)

• Acción DeleteJob (Python: delete_job)

• Acción ListJobs (Python: list_jobs)

• Acción BatchGetJobs (Python: batch_get_jobs)

Solicitud

• Name: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El nombre que se asigna a esta definición de flujo de trabajo. Debe ser único en la cuenta de .

• JobMode: cadena UTF-8 (valores válidos: SCRIPT="" | VISUAL="" | NOTEBOOK="").

  Un modo que describe cómo se creó un trabajo. Los valores válidos son:

  • SCRIPT: El trabajo se creó con el editor de scripts de AWS Glue Studio.

  • VISUAL: El trabajo se creó con el editor visual de AWS Glue Studio.

  • NOTEBOOK: El trabajo se creó con un cuaderno de sesiones interactivo.

  Cuando el campo JobMode no aparece o es nulo, se asigna SCRIPT como valor predeterminado.

• JobRunQueuingEnabled: booleano.

  Especifica si la fila de ejecuciones de trabajos está habilitada para las ejecuciones de este trabajo.

  Un valor verdadero significa que la fila de ejecución de tareas está habilitada para las ejecuciones. Si es falso o no se completa, los trabajos ejecutados no se considerarán para ingresar en la fila.

  Si este campo no coincide con el valor establecido en la ejecución del trabajo, se utilizará el valor proveniente del campo de ejecución del trabajo.

• Description: cadena de descripción de un máximo de 2048 bytes de largo, que coincide con el URI address multi-line string pattern.

  Descripción del flujo de trabajo que se va a definir.

• LogUri: cadena UTF-8.

  Este campo se reserva para un uso ulterior.

• Role – Obligatorio: cadena UTF-8.

  El nombre o nombre de recurso de Amazon (ARN) del rol de IAM asociado a este trabajo.

• ExecutionProperty: un objeto ExecutionProperty.

  Un ExecutionProperty que especifica el número máximo de ejecuciones simultáneas permitidas para este trabajo.

• Command: obligatorio: objeto JobCommand.

  El JobCommand que ejecuta este trabajo.

• DefaultArguments: matriz de mapas de pares clave-valor.

  Cada clave es una cadena UTF-8.

  Cada valor es una cadena UTF-8.

  Los argumentos predeterminados para cada ejecución de este trabajo, que se especifican como pares nombre-valor.

  Aquí puede especificar argumentos que su propio script de ejecución de tareas consume, así como argumentos que AWS Glue consume.

  Es posible que se registren los argumentos del trabajo. No utilice secretos con formato de texto no cifrado como argumentos. Recupere los secretos desde una conexión de AWS Glue, AWS Secrets Manager u otro mecanismo de administración de secretos si tiene la intención de conservarlos dentro del trabajo.

  Para obtener información acerca de cómo especificar y utilizar sus propios argumentos de trabajo, consulte Llamadas a las API de AWS Glue en Python en la guía para desarrolladores.

  Para obtener información sobre los argumentos que puede proporcionar a este campo al configurar los trabajos de Spark, consulte el tema Parámetros especiales utilizados por AWS Glue en la guía para desarrolladores.

  Para obtener información sobre los argumentos que puede proporcionar a este campo al configurar los trabajos de Ray, consulte Utilizar parámetros de trabajo utilizados en trabajos de Ray en la guía para desarrolladores.

• NonOverridableArguments: matriz de mapas de pares clave-valor.

  Cada clave es una cadena UTF-8.

  Cada valor es una cadena UTF-8.

  Los argumentos para este trabajo que no se anulan cuando se proporcionan argumentos de trabajo en una ejecución de trabajos, se especifican como pares nombre-valor.

• Connections: un objeto ConnectionsList.

  Las conexiones que se utilizan para este flujo de trabajo.

• MaxRetries: número (entero).

  Número máximo de reintentos permitidos para esta tarea si se genera un error.

• AllocatedCapacity: número (entero).

  Este parámetro se ha quedado obsoleto. En su lugar, use MaxCapacity.

  El número de unidades de procesamiento de datos (DPU) de AWS Glue que se van a asignar a este trabajo. Puede asignar un mínimo de 2 DPU; el valor predeterminado es 10. Una DPU es una medida relativa de la potencia de procesamiento que consta de 4 vCPU de capacidad de cómputo y 16 GB de memoria. Para obtener más información, consulte la página de precios de AWS Glue.

• Timeout: número (entero), como mínimo 1.

  El tiempo de espera del flujo de trabajo en minutos. Es el tiempo máximo que una ejecución de trabajo puede consumir recursos antes de que se termine y cambie al estado TIMEOUT. El valor predeterminado es 2 880 minutos (48 horas) para los trabajos por lotes.

  Los trabajos de streaming deben tener valores de tiempo de espera inferiores a 7 días o 10 080 minutos. Si el valor se deja en blanco, el trabajo se reiniciará al cabo de 7 días si no se ha configurado un período de mantenimiento. Si ha configurado un período de mantenimiento, se reiniciará durante el período de mantenimiento a los 7 días.

• MaxCapacity: número (doble).

  Para trabajos de la versión 1.0 de Glue o anteriores, con el tipo de empleado estándar, debe especificar el número de unidades de procesamiento de datos (DPU) de AWS Glue que se pueden asignar cuando se ejecute este trabajo. Una DPU es una medida relativa de la potencia de procesamiento que consta de 4 vCPU de capacidad de cómputo y 16 GB de memoria. Para obtener más información, consulte la página de precios de AWS Glue.

  En los trabajos de Glue versión 2.0+, no puede especificar un Maximum capacity. En su lugar, debe especificar un Worker type y el Number of workers.

  No establezca MaxCapacity si utiliza WorkerType y NumberOfWorkers.

  El valor que se puede asignar a MaxCapacity depende de si se está ejecutando un trabajo de shell de Python, un trabajo de ETL de Apache Spark o un trabajo de ETL de streaming de Apache Spark:

  • Cuando especifica un trabajo de shell de Python (JobCommand.Name=“pythonshell”), puede asignar 0,0625 o 1 DPU. El valor predeterminado es 0,0625 DPU.

  • Cuando especifica un trabajo ETL de Apache Spark (JobCommand.Name=”glueetl”) o un trabajo de ETL de streaming de Apache Spark (JobCommand.Name=”gluestreaming”), puede asignar de 2 a 100 DPU. El valor predeterminado es 10 DPU. Este tipo de trabajo no puede tener una asignación de DPU fraccionaria.

• SecurityConfiguration: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El nombre de la estructura SecurityConfiguration que se va a utilizar con este trabajo.

• Tags: matriz de mapas de pares de clave-valor, con 50 pares como máximo.

  Cada clave es una cadena UTF-8 con una longitud de entre 1 y 128 bytes.

  Cada valor es una cadena UTF-8 que no tiene más de 256 bytes de largo.

  Etiquetas que se van a utilizar con este trabajo. Puede utilizar etiquetas para limitar el acceso al trabajo. Para obtener más información acerca de las etiquetas en AWS Glue, consulte Etiquetas de AWS en AWS Glue en la guía para desarrolladores.

• NotificationProperty: un objeto NotificationProperty.

  Especifica las propiedades de configuración de una notificación de flujo de trabajo.

• GlueVersion: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Custom string pattern #20.

  En los trabajos de Spark, GlueVersion determina las versiones de Apache Spark y Python que AWS Glue están disponibles en un trabajo. La versión de Python indica la versión admitida para trabajos de tipo Spark.

  Los trabajos de Ray se deben configurar GlueVersion en 4.0 o superior. Sin embargo, las versiones de Ray, Python y bibliotecas adicionales que están disponibles en el trabajo de Ray están determinadas por el parámetro Runtime del comando del trabajo.

  Para obtener más información acerca de las versiones de AWS Glue disponibles y las versiones de Spark y Python correspondientes, consulte Versión de Glue en la guía para desarrolladores.

  Los trabajos que se crean sin especificar una versión de Glue se establecen de forma predeterminada en Glue 0.9.

• NumberOfWorkers: número (entero).

  El número de procesos de trabajo de workerType definido que se asignan cuando se ejecuta un trabajo.

• WorkerType: cadena UTF-8 (valores válidos: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="").

  El tipo de proceso de trabajo predefinido que se asigna cuando se ejecuta un trabajo. Acepta un valor de G.1X, G.2X, G.4X, G.8X o G.025X para los trabajos de Spark. Acepta el valor Z.2X para los trabajos Ray.

  • Para el tipo de trabajador G.1X, cada trabajador se asocia a 1 DPU (4 vCPU, 16 GB de memoria) con un disco de 84 GB (aproximadamente 34 GB libres) y proporciona 1 ejecutor por trabajador. Recomendamos este tipo de trabajador para cargas de trabajo como transformaciones de datos, uniones y consultas, ya que ofrece una forma escalable y rentable de ejecutar la mayoría de los trabajos.

  • Para el tipo de trabajador G.2X, cada trabajador se asocia a 2 DPU (8 vCPU, 32 GB de memoria) con un disco de 128 GB (aproximadamente 77 GB libres) y proporciona 1 ejecutor por trabajador. Recomendamos este tipo de trabajador para cargas de trabajo como transformaciones de datos, uniones y consultas, ya que ofrece una forma escalable y rentable de ejecutar la mayoría de los trabajos.

  • Para el tipo de trabajador G.4X, cada trabajador se asocia a 4 DPU (16 vCPU, 64 GB de memoria) con un disco de 256 GB (aproximadamente 235 GB libres) y proporciona 1 ejecutor por trabajador. Recomendamos este tipo de trabajador para los trabajos cuyas cargas de trabajo contengan las transformaciones, agregaciones, uniones y consultas más exigentes. Este tipo de trabajador solo está disponible para los trabajos de Spark ETL de la versión 3.0 de AWS Glue o posteriores en las siguientes regiones de AWS: Este de EE. UU. (Ohio), Este de EE. UU. (Norte de Virginia), Oeste de EE. UU. (Oregón), Asia Pacífico (Singapur), Asia Pacífico (Sídney), Asia Pacífico (Tokio), Canadá (centro), Europa (Fráncfort), Europa (Irlanda) y Europa (Estocolmo).

  • Para el tipo de trabajador G.8X, cada trabajador se asocia a 8 DPU (32 GB vCPU, 128 GB de memoria) con un disco de 512 GB (aproximadamente 487 GB libres) y proporciona 1 ejecutor por trabajador. Recomendamos este tipo de trabajador para los trabajos cuyas cargas de trabajo contengan las transformaciones, agregaciones, uniones y consultas más exigentes. Este tipo de trabajador solo está disponible para los trabajos ETL de Spark de la versión 3.0 de AWS Glue o posteriores, en las mismas regiones de AWS compatibles con el tipo de trabajador G.4X.

  • Para el tipo de trabajador G.025X, cada trabajador se asigna a 0,25 DPU (2 vCPU, 4 GB de memoria) con un disco de 84 GB (aproximadamente 34 GB libres) y proporciona 1 ejecutor por trabajador. Le recomendamos este tipo de proceso de trabajo para trabajos de streaming de bajo volumen. Este tipo de proceso de trabajo solo está disponible para trabajos de streaming con la versión 3.0 de AWS Glue.

  • Para el tipo de trabajador Z.2X, cada trabajador se asigna a 2 M-DPU (8 vCPU, 64 GB de memoria) con un disco de 128 GB (aproximadamente 120 GB libres) y proporciona hasta 8 trabajadores de Ray en función del escalador automático.

• CodeGenConfigurationNodes: matriz de mapas de pares clave-valor.

  Cada clave es una cadena UTF-8 que coincide con el Custom string pattern #42.

  Cada valor es un objeto A CodeGenConfigurationNode.

  La representación de un gráfico acíclico dirigido en el que se basa tanto el componente visual de Glue Studio como la generación de código de Glue Studio.

• ExecutionClass: cadena UTF-8 de 16 bytes de largo como máximo (valores válidos: FLEX="" | STANDARD="").

  Indica si el trabajo se ejecuta con una clase de ejecución estándar o flexible. La clase de ejecución estándar es ideal para cargas de trabajo urgentes que requieren un inicio rápido de los trabajos y recursos dedicados.

  La clase de ejecución flexible es adecuada para trabajos no urgentes cuyos momentos de inicio y finalización pueden variar.

  Solo trabajos con AWS Glue versión 3.0 y posterior y tipo de comando glueetl podrán configurar ExecutionClass en FLEX. La clase de ejecución flexible está disponible para los trabajos de Spark.

• SourceControlDetails: un objeto SourceControlDetails.

  Los detalles de una configuración de control de código de origen para un trabajo, que permite la sincronización de los artefactos del trabajo hacia o desde un repositorio remoto.

• MaintenanceWindow: cadena UTF-8 que coincide con el Custom string pattern #30.

  Este campo especifica un día de la semana y una hora para el período de mantenimiento de los trabajos de streaming. AWS Glue lleva a cabo actividades de mantenimiento de forma periódica. Durante estos períodos de mantenimiento, AWS Glue tendrá que reiniciar sus trabajos de streaming.

  AWS Glue reiniciará el trabajo en un plazo de 3 horas a partir del inicio del período de mantenimiento especificado. Por ejemplo, si configura el período de mantenimiento para el lunes a las 10:00 h GMT, sus trabajos se reiniciarán entre las 10:00 h GMT y las 13:00 h GMT.

• ProfileName: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El nombre de un perfil de utilización de AWS Glue asociado al trabajo.

Respuesta

• Name: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El nombre único que se proporcionó para esta definición de flujo de trabajo.

Errores

• InvalidInputException

• IdempotentParameterMismatchException

• AlreadyExistsException

• InternalServiceException

• OperationTimeoutException

• ResourceNumberLimitExceededException

• ConcurrentModificationException

Solicitud

• JobName: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  Nombre de la definición de trabajo que se va a actualizar.

• JobUpdate: obligatorio: objeto JobUpdate.

  Especifica los valores con los que se va a actualizar la definición de flujo de trabajo. La configuración no especificada se elimina o se restablece a los valores predeterminados.

• ProfileName: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El nombre de un perfil de utilización de AWS Glue asociado al trabajo.

Respuesta

• JobName: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  Devuelve el nombre de la definición de flujo de trabajo actualizada.

Errores

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• ConcurrentModificationException

Solicitud

• JobName: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El nombre de la definición de flujo de trabajo que se va a recuperar.

Respuesta

• Job: un objeto Trabajo.

  La definición de flujo de trabajo solicitada.

Errores

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

Solicitud

• NextToken: cadena UTF-8.

  Token de continuación si se trata de una llamada de continuidad.

• MaxResults: número (entero) que no es inferior a 1 ni es superior a 1000.

  Tamaño máximo de la respuesta.

Respuesta

• Jobs: matriz de objetos Trabajo.

  Lista de definiciones de flujo de trabajo.

• NextToken: cadena UTF-8.

  Token de continuación si todavía no se han devuelto todas las definiciones de flujo de trabajo.

Errores

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

Solicitud

• JobName: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  El nombre de la definición de flujo de trabajo que se va a eliminar.

Respuesta

• JobName: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  Nombre de la definición de flujo de trabajo que se eliminó.

Errores

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

Solicitud

• NextToken: cadena UTF-8.

  Token de continuación, si se trata de una solicitud de continuidad.

• MaxResults: número (entero) que no es inferior a 1 ni es superior a 1000.

  Tamaño máximo de una lista que se devolverá.

• Tags: matriz de mapas de pares de clave-valor, con 50 pares como máximo.

  Cada clave es una cadena UTF-8 con una longitud de entre 1 y 128 bytes.

  Cada valor es una cadena UTF-8 que no tiene más de 256 bytes de largo.

  Especifica que se devuelvan solamente los recursos etiquetados.

Respuesta

• JobNames: matriz de cadenas UTF-8.

  Nombres de todos los trabajos de la cuenta o de los trabajos con las etiquetas especificadas.

• NextToken: cadena UTF-8.

  Token de continuación, si la lista devuelta no contiene la última métrica disponible.

Errores

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

Solicitud

• JobNames – Obligatorio: una matriz de cadenas UTF-8.

  Una lista de nombres de trabajos, que pueden ser los nombres devueltos en la operación ListJobs.

Respuesta

• Jobs: matriz de objetos Trabajo.

  Lista de definiciones de flujo de trabajo.

• JobsNotFound: matriz de cadenas UTF-8.

  No se encuentra ninguna lista de nombres de trabajos.

Errores

• InternalServiceException

• OperationTimeoutException

• InvalidInputException