Uso del escalado automático para AWS Glue

Auto Scaling está disponible para su AWS Glue ETL, sesiones interactivas y trabajos en streaming con AWS Glue versión 3.0 o posterior.

Con Auto Scaling habilitado, obtendrá los siguientes beneficios:

Auto Scaling para AWS Glue ETLy la transmisión de trabajos permite ampliar y ampliar según demanda los recursos informáticos de su AWS Glue puestos de trabajo. El escalado vertical bajo demanda lo ayuda a asignar solo los recursos informáticos necesarios, en principio, en el inicio de la ejecución de trabajos, así como a aprovisionar los recursos necesarios según la demanda durante el trabajo.

Auto Scaling también admite el escalado dinámico de AWS Glue recursos laborales a lo largo de un trabajo. Durante la ejecución de un trabajo, cuando la aplicación Spark solicite más ejecutores, se agregarán más empleados al clúster. Cuando el ejecutor ha estado inactivo sin tareas de cálculo activas, se eliminarán el ejecutor y el empleado correspondiente.

Los escenarios comunes en los que el escalado automático ayuda con el costo y el uso de sus aplicaciones de Spark incluyen:

Requisitos

Auto Scaling solo está disponible para AWS Glue versión 3.0 o posterior. Para usar Auto Scaling, puede seguir la guía de migración para migrar sus trabajos actuales a AWS Glue versión 3.0 o posterior o cree nuevos trabajos con AWS Glue versión 3.0 o posterior.

Auto Scaling está disponible para AWS Glue trabajos con los tipos de trabajador G.1X G.2X G.4XG.8X,,, o G.025X (solo para trabajos de streaming). No DPUs se admiten los estándares.

Activación de Auto Scaling en AWS Glue Studio

En la pestaña Detalles del trabajo en AWS Glue Studio, elige el tipo como Spark o Spark Streaming y la versión Glue a partir de Glue 3.0 esa fecha. A continuación, se mostrará una casilla de verificación debajo de Tipo de trabajador.

Habilitar Auto Scaling con AWS CLI o SDK

Para activar Auto Scaling desde la AWS CLI ejecución de su trabajo, ejecútelo start-job-run con la siguiente configuración:

{
    "JobName": "<your job name>",
    "Arguments": {
        "--enable-auto-scaling": "true"
    },
    "WorkerType": "G.2X", // G.1X and G.2X are allowed for Auto Scaling Jobs
    "NumberOfWorkers": 20, // represents Maximum number of workers
    ...other job run configurations...
}

Una vez finalizada la ejecución de la ETL tarea, también puede realizar una llamada get-job-run para comprobar el uso real de los recursos de la ejecución de la tarea en DPU cuestión de segundos. Nota: el nuevo campo solo DPUSecondsse mostrará para sus trabajos por lotes en la AWS Glue versión 4.0 o versiones posteriores habilitadas con Auto Scaling. Este campo no es compatible con trabajos de streaming.

$ aws glue get-job-run --job-name your-job-name --run-id jr_xx --endpoint https://glue.us-east-1.amazonaws.com --region us-east-1
{
    "JobRun": {
        ...
        "GlueVersion": "3.0",
        "DPUSeconds": 386.0
    }
}

También puede configurar las ejecuciones de tareas con Auto Scaling utilizando la AWS Glue SDKmisma configuración.

Habilitación del escalado automático con sesiones interactivas

Para habilitar Auto Scaling al crear AWS Glue trabajos con sesiones interactivas, consulte Configuración de sesiones AWS Glue interactivas.

Sugerencias y consideraciones

Consejos y consideraciones para ajustar AWS Glue Auto Scaling con precisión:

Monitorización de Auto Scaling con CloudWatch métricas de Amazon

Las métricas del CloudWatch ejecutor están disponibles para su AWS Glue Trabajos 3.0 o posteriores si habilita Auto Scaling. Las métricas se pueden utilizar para monitorear la demanda y la utilización optimizada de los ejecutores en sus aplicaciones Spark habilitadas con Auto Scaling. Para obtener más información, consulte Supervisión de AWS Glue con métricas de Amazon CloudWatch.

También puede utilizar las métricas de AWS Glue observabilidad para obtener información sobre la utilización de los recursos. Por ejemplo, al supervisar glue.driver.workerUtilization, puede supervisar la cantidad de recursos que se usó realmente con y sin el escalado automático. Por otro ejemplo, al supervisar glue.driver.skewness.job y glue.driver.skewness.stage, puede ver cómo están sesgados los datos. Esa información le ayudará a decidir si se habilita el escalado automático y se afinan las configuraciones. Para obtener más información, consulte Supervisión con Monitorización con métricas de observabilidad de AWS Glue.

Para obtener más información sobre estas métricas, consulte Monitorización de la planificación de la capacidad de DPU.

Supervisión de Auto Scaling con Amazon CloudWatch Logs

Si utilizas sesiones interactivas, puedes monitorizar el número de ejecutores activando Amazon CloudWatch Logs de forma continua y buscando «ejecutor» en los registros, o bien mediante la interfaz de usuario de Spark. Para ello, utilice el comando mágico %%configure para habilitar el registro continuo junto con enable auto scaling.

%%configure{
    "--enable-continuous-cloudwatch-log": "true",
    "--enable-auto-scaling": "true"
}

En los CloudWatch eventos de Amazon Logs, busque «executor» en los registros:

Monitorear Auto Scaling con la IU de Spark

Con Auto Scaling habilitado, también puede monitorear la adición y eliminación de ejecutores con escalado dinámico hacia arriba y hacia abajo en función de la demanda de su AWS Glue trabajos mediante la interfaz de usuario de Glue Spark. Para obtener más información, consulte Habilitación de la interfaz de usuario web de Apache Spark para trabajos de AWS Glue.

Cuando usa sesiones interactivas desde el cuaderno de Jupyter, puede ejecutar el siguiente comando mágico para habilitar el escalado automático junto con la interfaz de usuario de Spark:

%%configure{
    "--enable-auto-scaling": "true",
    "--enable-continuous-cloudwatch-log": "true"
}

Supervisión del DPU uso de la ejecución de tareas de Auto Scaling

Puede usar la vista de ejecución de AWS Glue Studio tareas para comprobar el DPU uso de sus trabajos de Auto Scaling.

Limitaciones

AWS Glue Auto Scaling de transmisión actualmente no admite una DataFrame unión de transmisión con una estática DataFrame creada fuera deForEachBatch. Una estática DataFrame creada dentro de él ForEachBatch funcionará según lo esperado.