Visualización de los registros de CloudWatch para funciones de Lambda

Puede ver los registros de Amazon CloudWatch de la función de Lambda mediante la consola de Lambda, la consola de Registros de CloudWatch, o la AWS Command Line Interface (AWS CLI). Siga las instrucciones en las siguientes secciones para acceder a los registros de la función.

Registros de funciones de streaming con Live Tail de Registros de CloudWatch

Live Tail de Registros de Amazon CloudWatch ayuda a solucionar rápidamente los problemas de las funciones, ya que muestra una lista de streaming de los nuevos eventos de registro directamente en la consola de Lambda. Puede ver y filtrar los registros ingeridos desde las funciones de Lambda casi en tiempo real, lo que ayuda a detectar y resolver problemas con mayor rapidez.

Comparación de Live Tail y --log-type Tail

Existen varias diferencias entre Live Tail de Registros de CloudWatch y la opción LogType: Tail de la API de Lambda (--log-type Tail en la AWS CLI):

Permisos

Se requieren los siguientes permisos para iniciar y detener las sesiones de Live Tail de Registros de CloudWatch:

Inicio de una sesión de Live Tail en la consola de Lambda

Acceso a los registros de la función con la consola

Cada instancia de una función de Lambda tiene un flujo de registro dedicado. Si una función se escala verticalmente, cada instancia simultánea tiene su propio flujo de registro. Cada vez que se crea un nuevo entorno de ejecución en respuesta a una invocación, se genera un nuevo flujo de registro. La convención de nomenclatura de los flujos de registro es:

YYYY/MM/DD[Function version][Execution environment GUID]

Un entorno de ejecución único escribe en el mismo flujo de registro durante su vida útil. El flujo de registro contiene los mensajes de ese entorno de ejecución y también cualquier resultado del código de la función de Lambda. Todos los mensajes tienen marca de tiempo, incluidos los registros personalizados. Incluso si la función no registra ningún resultado del código, se generan tres declaraciones del registro mínimas por invocación (START, END y REPORT):

Estos registros muestran:

Acceso a los registros con la AWS CLI

La AWS CLI es una herramienta de código abierto que lo habilita para interactuar con los servicios de AWS mediante el uso de comandos en el intérprete de comandos de la línea de comandos. Para completar los pasos de esta sección, debe disponer de la versión 2 de la AWS CLI.

Puede utilizar la CLI de AWS CLI para recuperar registros de una invocación mediante la opción de comando --log-type. La respuesta contiene un campo LogResult que contiene hasta 4 KB de registros con codificación base64 a partir de la invocación.

aws lambda invoke --function-name my-function out --log-type Tail

{
    "StatusCode": 200,
    "LogResult": "U1RBUlQgUmVxdWVzdElkOiA4N2QwNDRiOC1mMTU0LTExZTgtOGNkYS0yOTc0YzVlNGZiMjEgVmVyc2lvb...",
    "ExecutedVersion": "$LATEST"
}

aws lambda invoke --function-name my-function out --log-type Tail \
--query 'LogResult' --output text --cli-binary-format raw-in-base64-out | base64 --decode

START RequestId: 57f231fb-1730-4395-85cb-4f71bd2b87b8 Version: $LATEST
"AWS_SESSION_TOKEN": "AgoJb3JpZ2luX2VjELj...", "_X_AMZN_TRACE_ID": "Root=1-5d02e5ca-f5792818b6fe8368e5b51d50;Parent=191db58857df8395;Sampled=0"",ask/lib:/opt/lib",
END RequestId: 57f231fb-1730-4395-85cb-4f71bd2b87b8
REPORT RequestId: 57f231fb-1730-4395-85cb-4f71bd2b87b8  Duration: 79.67 ms      Billed Duration: 80 ms         Memory Size: 128 MB     Max Memory Used: 73 MB

#!/bin/bash
aws lambda invoke --function-name my-function --cli-binary-format raw-in-base64-out --payload '{"key": "value"}' out
sed -i'' -e 's/"//g' out
sleep 15
aws logs get-log-events --log-group-name /aws/lambda/my-function --log-stream-name stream1 --limit 5

chmod -R 755 get-logs.sh

./get-logs.sh

{
    "StatusCode": 200,
    "ExecutedVersion": "$LATEST"
}
{
    "events": [
        {
            "timestamp": 1559763003171,
            "message": "START RequestId: 4ce9340a-b765-490f-ad8a-02ab3415e2bf Version: $LATEST\n",
            "ingestionTime": 1559763003309
        },
        {
            "timestamp": 1559763003173,
            "message": "2019-06-05T19:30:03.173Z\t4ce9340a-b765-490f-ad8a-02ab3415e2bf\tINFO\tENVIRONMENT VARIABLES\r{\r  \"AWS_LAMBDA_FUNCTION_VERSION\": \"$LATEST\",\r ...",
            "ingestionTime": 1559763018353
        },
        {
            "timestamp": 1559763003173,
            "message": "2019-06-05T19:30:03.173Z\t4ce9340a-b765-490f-ad8a-02ab3415e2bf\tINFO\tEVENT\r{\r  \"key\": \"value\"\r}\n",
            "ingestionTime": 1559763018353
        },
        {
            "timestamp": 1559763003218,
            "message": "END RequestId: 4ce9340a-b765-490f-ad8a-02ab3415e2bf\n",
            "ingestionTime": 1559763018353
        },
        {
            "timestamp": 1559763003218,
            "message": "REPORT RequestId: 4ce9340a-b765-490f-ad8a-02ab3415e2bf\tDuration: 26.73 ms\tBilled Duration: 27 ms \tMemory Size: 128 MB\tMax Memory Used: 75 MB\t\n",
            "ingestionTime": 1559763018353
        }
    ],
    "nextForwardToken": "f/34783877304859518393868359594929986069206639495374241795",
    "nextBackwardToken": "b/34783877303811383369537420289090800615709599058929582080"
}

Análisis de registros y registros estructurados

Con Información de Registros de CloudWatch, puede buscar y analizar datos de registro mediante una sintaxis de consulta especializada. Realiza consultas en varios grupos de registros y proporciona un filtrado eficaz mediante la coincidencia de patrones de expresiones regulares y glob.

Puede aprovechar estas capacidades mediante la implementación de un registro estructurado en las funciones de Lambda. El registro estructurado organiza los registros en un formato predefinido, lo cual facilita las consultas. El uso de los niveles de registro es un primer paso importante para generar registros fáciles de filtrar que separen los mensajes informativos de las advertencias o los errores. Por ejemplo, considere el siguiente código Node.js:

exports.handler = async (event) => {
    console.log("console.log - Application is fine")
    console.info("console.info - This is the same as console.log")
    console.warn("console.warn - Application provides a warning")
    console.error("console.error - An error occurred")
}

El archivo de registro de CloudWatch resultante contiene un campo independiente que especifica el nivel de registro:

Una consulta de Información de registros de CloudWatch puede filtrar por nivel de registro. Por ejemplo, para consultar únicamente los errores, puede utilizar la siguiente consulta:

fields @timestamp, @message
| filter @message like /ERROR/
| sort @timestamp desc

Registro estructurado JSON

JSON se suele utilizar para proporcionar una estructura a los registros de las aplicaciones. En el siguiente ejemplo, los registros se han convertido a JSON para generar tres valores distintos:

La característica Información de registros de CloudWatch descubre automáticamente los valores de la salida de JSON y analiza los mensajes como campos, sin necesidad de utilizar expresiones globales o regulares personalizadas. Al utilizar los registros estructurados en JSON, la siguiente consulta busca las invocaciones en las que el archivo cargado ocupa más de 1 MB, el tiempo de carga es superior a 1 segundo y la invocación no ha sido arranque en frío:

fields @message
| filter @message like /INFO/
| filter uploadedBytes > 1000000
| filter uploadTimeMS > 1000
| filter invocation != 1

Esta consulta podría producir el siguiente resultado:

Los campos detectados en JSON se completan automáticamente en el menú Campos detectados que aparece a la derecha. Los campos estándar generados por el servicio Lambda llevan el prefijo “@” y pueden ser consultados de la misma manera. Los registros de Lambda siempre incluyen los campos @timestamp, @logStream, @message, @requestId, @duration, @billedDuration, @type, @maxMemoryUsed, @memorySize. Si X-Ray está activado para una función, los registros también incluyen @xrayTraceId y @xraySegmentId.

Cuando un origen de eventos de AWS, como Amazon S3, Amazon SQS o Amazon EventBridge, invoca una función, se proporciona el evento completo como un objeto JSON de entrada. Al registrar este evento en la primera línea de la función, puede consultar cualquiera de los campos anidados mediante Información de registros de CloudWatch.

Consultas de Insights útiles

En la siguiente tabla, se muestran ejemplos de consultas de Insights que pueden resultar útiles para supervisar las funciones de Lambda.

 fields Timestamp, LogLevel, Message
 | filter LogLevel == "ERR"
 | sort @timestamp desc
 | limit 100

filter @type = "REPORT"
| fields @requestId, @billedDuration
| sort by @billedDuration desc
| limit 100

filter @type = "REPORT"
| stats sum(strcontains(@message, "Init Duration"))/count(*) * 100 as
  coldStartPct, avg(@duration)
  by bin(5m)

filter @type = "REPORT"
| stats
    avg(@billedDuration) as Average,
    percentile(@billedDuration, 99) as NinetyNinth,
    percentile(@billedDuration, 95) as NinetyFifth,
    percentile(@billedDuration, 90) as Ninetieth
    by bin(30m)

filter @type="REPORT"
| stats avg(@maxMemoryUsed/1024/1024) as mean_MemoryUsed,
    min(@maxMemoryUsed/1024/1024) as min_MemoryUsed,
    max(@maxMemoryUsed/1024/1024) as max_MemoryUsed,
    percentile(@maxMemoryUsed/1024/1024, 95) as Percentile95

filter @type = "REPORT" and @maxMemoryUsed=@memorySize
| stats
    count_distinct(@requestId)
    by bin(30m)

avgMemoryUsedPERC,
    avg(@billedDuration) as avgDurationMS
    by bin(5m)

filter @type = "REPORT"
| stats
    max(@maxMemoryUsed / 1024 / 1024) as maxMemMB,
    avg(@maxMemoryUsed / 1024 / 1024) as avgMemMB,
    min(@maxMemoryUsed / 1024 / 1024) as minMemMB,
    (avg(@maxMemoryUsed / 1024 / 1024) / max(@memorySize / 1024 / 1024)) * 100 as avgMemUsedPct,
    avg(@billedDuration) as avgDurationMS
    by bin(30m)

filter @message like /Process exited/
| stats count() by bin(30m)

filter @message like /Task timed out/
| stats count() by bin(30m)

filter @type = "REPORT"
| stats avg(@duration), max(@duration), min(@duration)
  by bin(5m)

filter @type = "REPORT"
| stats max(@memorySize / 1024 / 1024) as provisonedMemMB,
        min(@maxMemoryUsed / 1024 / 1024) as smallestMemReqMB,
        avg(@maxMemoryUsed / 1024 / 1024) as avgMemUsedMB,
        max(@maxMemoryUsed / 1024 / 1024) as maxMemUsedMB,
        provisonedMemMB - maxMemUsedMB as overProvisionedMB

Visualización de registros y paneles

Para cualquier consulta de Información de registros de CloudWatch, puede exportar los resultados a formato markdown o CSV. En algunos casos, es posible que resulte más útil crear visualizaciones a partir de consultas, siempre que exista al menos una función de agregación. La función stats permite definir agregaciones y agrupaciones.

El ejemplo anterior de logInsightsJSON filtraba según el tamaño y el tiempo de carga y excluía las primeras invocaciones. Esto dio como resultado una tabla de datos. Para monitorear un sistema de producción, puede resultar más útil visualizar los tamaños mínimo, máximo y promedio de los archivos para encontrar valores atípicos. Para ello, aplique la función de estadísticas con los agregados necesarios y agrúpelos según un valor temporal, por ejemplo, cada minuto:

Por ejemplo, fíjese en la consulta siguiente. Este es el mismo ejemplo de consulta que aparece en la sección Registro estructurado JSON, pero con funciones de agregación adicionales:

fields @message
| filter @message like /INFO/
| filter uploadedBytes > 1000000
| filter uploadTimeMS > 1000
| filter invocation != 1
| stats min(uploadedBytes), avg(uploadedBytes), max(uploadedBytes) by bin (1m)

Incluimos estos agregados porque puede ser más útil visualizar los tamaños mínimo, máximo y medio de los archivos para encontrar valores atípicos. Puede ver los resultados en la pestaña Visualización:

Cuando haya terminado de crear la visualización, si lo desea, puede agregar el gráfico a un panel de CloudWatch. Para ello, elija Agregar al panel situado encima de la visualización. Esto agrega la consulta como un widget y permite seleccionar intervalos de actualización automáticos, lo que facilita el monitoreo continuo de los resultados: