Utilice el escalado automático en Managed Service for Apache Flink - Managed Service para Apache Flink
Implemente el escalado automático personalizadoImplemente el escalado automático programado

Amazon Managed Service para Apache Flink Amazon se denominaba anteriormente Amazon Kinesis Data Analytics para Apache Flink.

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Utilice el escalado automático en Managed Service for Apache Flink

Managed Service para Apache Flink escala elásticamente el paralelismo de la aplicación para adaptarse al rendimiento de datos de su fuente y a la complejidad del operador en la mayoría de los escenarios. El escalado automático está habilitado de forma predeterminada. Managed Service for Apache Flink monitorea el uso de recursos (CPU) de su aplicación y escala el paralelismo de la aplicación de forma elástica hacia arriba o hacia abajo en consecuencia:

  • Su aplicación se amplía (aumenta el paralelismo) si el máximo de la CloudWatch métrica containerCPUUtilization es superior al 75 por ciento o superior durante 15 minutos. Esto significa que la ScaleUp acción se inicia cuando hay 15 puntos de datos consecutivos con un período de 1 minuto igual o superior al 75 por ciento. Una ScaleUp acción duplica la CurrentParallelism de tu aplicación. ParallelismPerKPUno se modifica. Como consecuencia, el número de asignadas KPUs también se duplica.

  • La aplicación se reduce (reduce el paralelismo) cuando el CPU uso se mantiene por debajo del 10 por ciento durante seis horas. Esto significa que la ScaleDown acción se inicia cuando hay 360 puntos de datos consecutivos con un período de 1 minuto inferior al 10 por ciento. Una ScaleDown acción reduce a la mitad (redondeado hacia arriba) el paralelismo de la aplicación. ParallelismPerKPUno se modifica y el número de asignadas KPUs también se reduce a la mitad (redondeado al alza).

nota

Se puede hacer referencia a un período máximo de containerCPUUtilization más de 1 minuto para encontrar la correlación con un punto de datos utilizado para la acción de escalado, pero no es necesario reflejar el momento exacto en que se inicializa la acción.

Managed Service para Apache Flink no reducirá el valor CurrentParallelism de la aplicación a un valor inferior al de la configuración Parallelism de la aplicación.

Cuando el servicio de Managed Service para Apache Flink escale su aplicación, aparecerá en estado AUTOSCALING. Puede comprobar el estado actual de su solicitud mediante las acciones DescribeApplicationo ListApplications. Mientras el servicio escala tu aplicación, la única API acción válida que puedes usar es StopApplicationestablecer el Force parámetro entrue.

Puede usar la propiedad AutoScalingEnabled (parte de FlinkApplicationConfiguration) para habilitar o deshabilitar el comportamiento de escalado automático. Se le cobrará a su AWS cuenta las prestaciones del servicio gestionado por Apache Flink, que depende de la parallelismPerKPU configuración parallelism y de la aplicación. KPUs Si se produce un pico de actividad, ello aumentará los costos de Managed Service para Apache Flink.

Para obtener más información sobre precios, consulte Precios de Amazon Managed Service para Apache Flink.

Tenga en cuenta lo siguiente en relación con el escalado de la aplicación:

  • El escalado automático está habilitado de forma predeterminada.

  • El escalado no se aplica a los cuadernos de Studio. Sin embargo, si implementa un cuaderno de Studio como una aplicación de estado perdurable, el escalado se aplicará a la aplicación implementada.

  • Su aplicación tiene un límite predeterminado de 64KPUs. Para obtener más información, consulte Servicio gestionado para la cuota de portátiles Apache Flink y Studio.

  • Cuando el escalado automático actualiza el paralelismo de la aplicación, la aplicación sufre un tiempo de inactividad. Para evitar este tiempo de inactividad, haga lo siguiente:

    • Deshabilite el escalado automático.

    • Configura el parallelism y parallelismPerKPU con la UpdateApplicationacción de tu aplicación. Para obtener más información sobre cómo configurar los ajustes de paralelismo de su aplicación, consulte. Actualice el paralelismo de su aplicación

    • Supervise periódicamente el uso de los recursos de la aplicación para comprobar que la aplicación tenga una configuración de paralelismo correcta adecuada para su carga de trabajo. Para obtener información sobre supervisión del uso de recursos de asignación, consulte Métricas y dimensiones del servicio gestionado para Apache Flink.

Implemente el escalado automático personalizado

Si quieres tener un control más preciso del escalado automático o utilizar otras métricas de activacióncontainerCPUUtilization, puedes utilizar este ejemplo:

  • AutoScaling

    Este ejemplo ilustra cómo escalar la aplicación Managed Service for Apache Flink utilizando una CloudWatch métrica diferente de la aplicación Apache Flink, incluidas las métricas de Amazon MSK y Amazon Kinesis Data Streams, utilizadas como fuentes o receptáculos.

Para obtener información adicional, consulte Supervisión mejorada y escalado automático para Apache Flink.

Implemente el escalado automático programado

Si su carga de trabajo sigue un perfil predecible a lo largo del tiempo, tal vez prefiera escalar su aplicación Apache Flink de forma preventiva. Esto escala la aplicación a una hora programada, en lugar de escalarla de forma reactiva en función de una métrica. Para configurar el escalado ascendente y descendente a horas fijas del día, puede usar este ejemplo: