View a markdown version of this page

Supervise la invocación del modelo mediante CloudWatch Logs y Amazon S3 - Amazon Bedrock

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Supervise la invocación del modelo mediante CloudWatch Logs y Amazon S3

Puede utilizar el registro de invocaciones del modelo para recopilar los registros de invocaciones, los datos de entrada del modelo y los datos de salida del modelo para todas las invocaciones que Cuenta de AWS utilice en Amazon Bedrock en una región.

Con el registro de invocaciones, puede recopilar todos los datos de solicitud, los datos de respuesta y los metadatos asociados a las llamadas admitidas realizadas en su cuenta en una región. El registro se puede configurar para proporcionar los recursos de destino donde se publicarán los datos del registro. Los destinos admitidos incluyen Amazon CloudWatch Logs y Amazon Simple Storage Service (Amazon S3). Solo se admiten destinos de la misma cuenta y región.

El registro de invocaciones de modelos está desactivado de forma predeterminada. Una vez que se habilita el registro de invocaciones del modelo, los registros se almacenan hasta que se elimina la configuración del registro.

Las siguientes operaciones pueden registrar las invocaciones de modelos.

nota

El registro de invocaciones del modelo solo se admite para las llamadas realizadas a través del bedrock-runtime punto final. Esto incluye las API de OpenAI-compatible respuestas y finalización del chat en ese punto final. Actualmente, el registro de invocaciones no captura las llamadas realizadas a través de otros puntos finalesbedrock-mantle, como las mismas API en las que se encuentran.

Al utilizar la API Converse, cualquier dato de imagen o documento que pase se registra en Amazon S3 (si ha activado la entrega y el registro de imágenes en Amazon S3).

Antes de poder habilitar el registro de invocaciones, debe configurar un destino de Amazon S3 o CloudWatch Logs. Puede habilitar el registro de invocaciones a través de la consola o de la API.

Configuración de un destino de Amazon S3

nota

Cuando utilice Amazon S3 como destino de registro, el bucket debe estar en el mismo Cuenta de AWS lugar en el Región de AWS que está creando la configuración de registro de invocaciones del modelo.

Puede configurar un destino S3 para crear registros en Amazon Bedrock siguiendo estos pasos:

  1. Cree un bucket de S3 donde se entregarán los registros.

  2. Añádale una política de bucket como la que se muestra a continuación (sustituya los valores por accountIdregion,bucketName, y opcionalmenteprefix):

    nota

    Se adjunta una política de bucket automáticamente al bucket en su nombre cuando configura el registro con los permisos S3:GetBucketPolicy y S3:PutBucketPolicy.

    JSON
    { "Version":"2012-10-17", "Statement": [ { "Sid": "AmazonBedrockLogsWrite", "Effect": "Allow", "Principal": { "Service": "bedrock.amazonaws.com" }, "Action": [ "s3:PutObject" ], "Resource": [ "arn:aws:s3:::bucketName/prefix/AWSLogs/123456789012/BedrockModelInvocationLogs/*" ], "Condition": { "StringEquals": { "aws:SourceAccount": "123456789012" }, "ArnLike": { "aws:SourceArn": "arn:aws:bedrock:us-east-1:123456789012:*" } } } ] }
  3. (Opcional) Si lo SSE-KMS configuras en el bucket, agrega la siguiente política en la clave de KMS:

    { "Effect": "Allow", "Principal": { "Service": "bedrock.amazonaws.com" }, "Action": "kms:GenerateDataKey", "Resource": "*", "Condition": { "StringEquals": { "aws:SourceAccount": "accountId" }, "ArnLike": { "aws:SourceArn": "arn:aws:bedrock:region:accountId:*" } } }

Para obtener más información sobre SSE-KMS las configuraciones de S3, consulte Especificar el cifrado de KMS.

nota

La ACL del bucket debe estar deshabilitada para que la política del bucket surta efecto. Para obtener más información, consulte Desactivación de las ACL para todos los buckets nuevos y aplicación de la propiedad de objetos.

Configure un destino CloudWatch de registros

Puede configurar un destino de Amazon CloudWatch Logs para iniciar sesión en Amazon Bedrock siguiendo estos pasos:

  1. Cree un grupo de CloudWatch registros en el que se publicarán los registros.

  2. Cree un rol de IAM con los siguientes permisos para los CloudWatch registros.

    Entidad de confianza:

    JSON
    { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": "bedrock.amazonaws.com" }, "Action": "sts:AssumeRole", "Condition": { "StringEquals": { "aws:SourceAccount": "123456789012" }, "ArnLike": { "aws:SourceArn": "arn:aws:bedrock:us-east-1:123456789012:*" } } } ] }

    Política de roles:

    JSON
    { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "logs:CreateLogStream", "logs:PutLogEvents" ], "Resource": "arn:aws:logs:us-east-1:123456789012:log-group:logGroupName:log-stream:aws/bedrock/modelinvocations" } ] }

Para obtener más información sobre la configuración del SSE para CloudWatch los registros, consulte Cifrar los datos de registro en los CloudWatch registros mediante. AWS Key Management Service

Registro de invocaciones de modelos con la consola

Para habilitar el registro de invocaciones del modelo

Inicie sesión Consola de administración de AWS con una identidad de IAM que tenga permisos para usar la consola de Amazon Bedrock. A continuación, abra la consola de Amazon Bedrock en. https://console.aws.amazon.com/bedrock

  1. En el panel de navegación izquierdo, selecciona Configuración.

  2. En la página de registro de invocaciones de modelos, seleccione Registro de invocaciones de modelos. Aparecerán opciones de configuración adicionales para el registro.

  3. Seleccione las modalidades de las solicitudes de datos y las respuestas que desea publicar en los registros. Puede seleccionar cualquier combinación de las siguientes opciones de salida:

    • Texto

    • Image

    • Incrustación

    • Video

    nota

    Se registrarán los datos de todos los modelos que admitan las modalidades (ya sea como entrada o salida) que elija. Por ejemplo, si seleccionas Imagen, se registrará la invocación del modelo en todos los modelos que admitan la entrada o salida de imágenes o ambas.

  4. Seleccione dónde desea publicar los registros:

    • Amazon S3 únicamente

    • CloudWatch Solo registros

    • Tanto Amazon S3 como CloudWatch Logs

Destinos de registro

CloudWatch Los destinos de Amazon S3 y Logs son compatibles con los registros de invocación y con pequeños datos de entrada y salida. Para datos de entrada y salida grandes o salidas de imágenes binarias, solo se admite Amazon S3. Los siguientes detalles resumen cómo se representarán los datos en la ubicación de destino.

  • Destino de S3: los archivos JSON comprimidos con Gzip, cada uno de los cuales contiene un lote de registros de invocación, se envían al bucket de S3 especificado. Al igual que en un evento de CloudWatch Logs, cada registro contendrá los metadatos de la invocación y los cuerpos JSON de entrada y salida de hasta 100 KB de tamaño. Los datos binarios o los cuerpos JSON de más de 100 KB se cargarán como objetos individuales en el bucket de Amazon S3 especificado con el prefijo de datos. Los datos se pueden consultar con Amazon S3 Select y Amazon Athena, y se pueden catalogar para ETL mediante AWS Glue. Los datos pueden cargarse en OpenSearch servicio o procesarse en cualquier destino de Amazon EventBridge .

  • CloudWatch Destino de los registros: los eventos del registro de invocación de JSON se envían a un grupo de CloudWatch registros específico en Logs. El evento de registro contiene los metadatos de la invocación y los cuerpos JSON de entrada y salida con un tamaño máximo de 100 KB. Si se proporciona una ubicación de Amazon S3 para la entrega de datos de gran tamaño, los datos binarios o los cuerpos JSON de más de 100 KB se cargarán en el bucket de Amazon S3 con el prefijo de datos. Los datos se pueden consultar mediante CloudWatch Logs Insights y se pueden transmitir a varios servicios en tiempo real mediante Logs. CloudWatch

Registro de invocaciones de modelos con la API

El registro de invocaciones de modelos se puede configurar mediante las siguientes API:

Formato de entrada de registro

Cada entrada del registro de invocación es un objeto JSON con la siguiente estructura. El formato es el mismo para los destinos de CloudWatch Logs y Amazon S3.

{ "schemaType": "ModelInvocationLog", "schemaVersion": "1.0", "timestamp": "2024-01-15T12:00:00Z", "accountId": "123456789012", "region": "us-east-1", "requestId": "abcd1234-5678-efgh-ijkl-mnopqrstuvwx", "operation": "Converse", "modelId": "anthropic.claude-sonnet-4-20250514-v1:0", "identity": { "arn": "arn:aws:sts::123456789012:assumed-role/MyRole/session-name" }, "requestMetadata": { "team": "orchestrator", "environment": "production" }, "input": { "inputContentType": "application/json", "inputBodyJson": { }, "inputTokenCount": 25 }, "output": { "outputContentType": "application/json", "outputBodyJson": { }, "outputTokenCount": 150 } }

En la siguiente tabla se describen los campos de una entrada de registro:

Campo Description (Descripción)
schemaType El tipo de registro. Siempre ModelInvocationLog.
schemaVersion La versión del esquema de registro.
timestamp La hora en que se realizó la invocación, en formato ISO 8601.
accountId El Cuenta de AWS identificador que hizo la invocación.
region El Región de AWS lugar donde se hizo la invocación.
requestId El identificador único de la solicitud.
operation La operación de API llamada (por ejemplo,Converse,InvokeModel).
modelId El ID del modelo o el ID del perfil de inferencia utilizado para la invocación.
identity.arn El AWS ARN de STS o IAM del principal que hizo la solicitud, incluidos el nombre del rol y el nombre de sesión o usuario. Se captura automáticamente.
requestMetadata Un objeto JSON opcional con etiquetas clave-valor suministradas por la persona que llama. Está presente solo cuando la persona que llama proporciona los metadatos de la solicitud. Para obtener más información, consulte Per-request etiquetado de metadatos.
input.inputBodyJson El cuerpo de la solicitud enviado al modelo (hasta 100 KB). Los cuerpos más grandes se almacenan como objetos independientes en Amazon S3.
input.inputTokenCount El número de tokens de entrada de la solicitud.
output.outputBodyJson El cuerpo de la respuesta del modelo (hasta 100 KB). Los cuerpos más grandes se almacenan como objetos independientes en Amazon S3.
output.outputTokenCount El número de tokens de salida de la respuesta.
nota

Amazon Bedrock rellena automáticamente todos los campos del registro, con una excepción: requestMetadata es el único campo proporcionado por la persona que llama. Para obtener más información, consulte Per-request etiquetado de metadatos.

Para desglosar el uso de los tokens por parte del director de IAM sin utilizar los metadatos de la solicitud, agrupe en. identity.arn La siguiente consulta de CloudWatch Logs Insights muestra una lista de las personas que llaman según el total de tokens de entrada:

fields identity.arn as principal, input.inputTokenCount as inTokens, output.outputTokenCount as outTokens | stats sum(inTokens) as totalInput, sum(outTokens) as totalOutput, count() as calls by principal | sort totalInput desc
nota

Los datos binarios (como imágenes) y los cuerpos JSON de más de 100 KB no se incluyen en línea en la entrada del registro. En su lugar, se almacenan como objetos independientes en el bucket de Amazon S3, bajo el prefijo de datos, y la entrada de registro contiene una referencia a la ubicación de Amazon S3.