Amazon Managed Service para Apache Flink Amazon se denominaba anteriormente Amazon Kinesis Data Analytics para Apache Flink.
Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Analice los CloudWatch registros con Logs Insights
Una vez que haya agregado una opción de CloudWatch registro a su aplicación, tal como se describe en la sección anterior, puede usar CloudWatch Logs Insights para consultar sus flujos de registro en busca de eventos o errores específicos.
CloudWatch Logs Insights te permite buscar y analizar de forma interactiva tus datos de registro en CloudWatch Logs.
Para obtener información sobre cómo empezar a utilizar CloudWatch Logs Insights, consulte Analizar los datos de registro con CloudWatch Logs Insights.
Ejecutar una consulta de muestra
En esta sección se describe cómo ejecutar un ejemplo de consulta de CloudWatch Logs Insights.
Requisitos previos
-
Los grupos de registros y los flujos de registros existentes se configuran en CloudWatch Logs.
-
Los registros existentes se almacenan en CloudWatch los registros.
Si utilizas servicios como AWS CloudTrail Amazon Route 53 o AmazonVPC, probablemente ya hayas configurado los registros de esos servicios para que vayan a CloudWatch Logs. Para obtener más información sobre el envío de CloudWatch registros a Logs, consulta Cómo empezar a usar CloudWatch Logs.
Las consultas en CloudWatch Logs Insights devuelven un conjunto de campos de eventos de registro o el resultado de una agregación matemática u otra operación realizada en el registro de eventos. Esta sección muestra una consulta que devuelve una lista de eventos de registro.
Para ejecutar una consulta de ejemplo CloudWatch de Logs Insights
Abra la CloudWatch consola en https://console.aws.amazon.com/cloudwatch/
. -
En el panel de navegación, elija Información.
-
El editor de consultas cerca de la parte superior de la pantalla contiene una consulta predeterminada que devuelve los 20 eventos de registro más recientes. Encima del editor de consultas, seleccione un grupo de registro que se va a consultar.
Al seleccionar un grupo de CloudWatch registros, Logs Insights detecta automáticamente los campos de los datos del grupo de registros y los muestra en Campos detectados en el panel derecho. También muestra un gráfico de barras de eventos de registro en este grupo de registro con el paso del tiempo. Este gráfico de barras muestra la distribución de los eventos en el grupo de registro que coincide con la consulta y el intervalo de tiempo, no solo los eventos que se muestran en la tabla.
-
Elija Ejecutar consulta.
Aparecen los resultados de la consulta. En este ejemplo, los resultados son los últimos 20 eventos de registro de cualquier tipo.
-
Para ver todos los campos para uno de los eventos de registro devueltos, seleccione la flecha que aparece a la izquierda de ese evento de registro.
Para obtener más información sobre cómo ejecutar y modificar las consultas de CloudWatch Logs Insights, consulte Ejecutar y modificar una consulta de muestra.
Revise las consultas de ejemplo
Esta sección contiene consultas de ejemplo de CloudWatch Logs Insights para analizar los registros de aplicaciones de Managed Service for Apache Flink. Estas consultas buscan varios ejemplos de condiciones de error y sirven como plantillas para escribir consultas que encuentren otras condiciones de error.
nota
Sustituya la región (us-west-2), ID de cuenta (012345678901) y nombre de la aplicación (YourApplication) en los siguientes ejemplos de consultas con la región de su aplicación y su ID de cuenta.
Este tema contiene las siguientes secciones:
Analice las operaciones: distribución de las tareas
La siguiente consulta de CloudWatch Logs Insights devuelve el número de tareas que el administrador de tareas de Apache Flink distribuye entre los administradores de tareas. Debe configurar el período de tiempo de la consulta para que coincida con la ejecución de un trabajo, de modo que la consulta no devuelva tareas de trabajos anteriores. Para obtener más información acerca del Paralelismo, consulte Implemente el escalado de aplicaciones en Managed Service for Apache Flink.
fields @timestamp, message | filter message like /Deploying/ | parse message " to flink-taskmanager-*" as @tmid | stats count(*) by @tmid | sort @timestamp desc | limit 2000
La siguiente consulta de CloudWatch Logs Insights devuelve las subtareas asignadas a cada administrador de tareas. La cantidad total de subtareas es la suma del paralelismo de cada tarea. El paralelismo de las tareas se deriva del paralelismo de los operadores y, de forma predeterminada, es el mismo que el paralelismo de la aplicación, a menos que se modifique en el código especificando setParallelism. Para obtener información sobre cómo configurar el paralelismo de operadores, consulte Configuración del paralelismo: nivel del operador
fields @timestamp, @tmid, @subtask | filter message like /Deploying/ | parse message "Deploying * to flink-taskmanager-*" as @subtask, @tmid | sort @timestamp desc | limit 2000
Para obtener más información acerca de la programación de tareas, consulte Trabajos y programación
Analice las operaciones: cambio en el paralelismo
La siguiente consulta de CloudWatch Logs Insights devuelve los cambios en el paralelismo de una aplicación (por ejemplo, debido al escalado automático). Esta consulta también devuelve los cambios manuales en el paralelismo de la aplicación. Para obtener más información sobre el escalado automático, consulte Utilice el escalado automático en Managed Service for Apache Flink.
fields @timestamp, @parallelism | filter message like /property: parallelism.default, / | parse message "default, *" as @parallelism | sort @timestamp asc
Analice los errores: acceso denegado
La siguiente consulta CloudWatch de Logs Insights devuelve Access Denied registros.
fields @timestamp, @message, @messageType | filter applicationARN like /arn:aws:kinesisanalyticsus-west-2:012345678901:application\/YourApplication/ | filter @message like /AccessDenied/ | sort @timestamp desc
Analice los errores: no se encontró la fuente o el receptor
La siguiente consulta CloudWatch de Logs Insights devuelve ResourceNotFound registros. ResourceNotFoundlos registros se generan si no se encuentra una fuente o un receptor de Kinesis.
fields @timestamp,@message | filter applicationARN like /arn:aws:kinesisanalyticsus-west-2:012345678901:application\/YourApplication/ | filter @message like /ResourceNotFoundException/ | sort @timestamp desc
Analice los errores: errores relacionados con las tareas de la aplicación
La siguiente consulta de CloudWatch Logs Insights devuelve los registros de errores relacionados con las tareas de una aplicación. Estos registros se generan si el estado de una aplicación cambia de RUNNING a RESTARTING.
fields @timestamp,@message | filter applicationARN like /arn:aws:kinesisanalyticsus-west-2:012345678901:application\/YourApplication/ | filter @message like /switched from RUNNING to RESTARTING/ | sort @timestamp desc
En el caso de las aplicaciones que utilizan la versión 1.8.2 de Apache Flink y versiones anteriores, los errores relacionados con las tareas harán que el estado de la aplicación cambie de RUNNING a FAILED. Cuando utilice Apache Flink 1.8.2 y versiones anteriores, utilice la siguiente consulta para buscar errores relacionados con las tareas de la aplicación:
fields @timestamp,@message | filter applicationARN like /arn:aws:kinesisanalyticsus-west-2:012345678901:application\/YourApplication/ | filter @message like /switched from RUNNING to FAILED/ | sort @timestamp desc
