Anthropic Claude Mensajes API - Amazon Bedrock

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Anthropic Claude Mensajes API

En esta sección se proporcionan parámetros de inferencia y ejemplos de código para utilizar Anthropic Claude MensajesAPI.

Anthropic Claude APIDescripción general de los mensajes

Puedes usar los Mensajes API para crear bots de chat o aplicaciones de asistente virtual. APIGestiona los intercambios conversacionales entre un usuario y un Anthropic Claude modelo (asistente).

sugerencia

En este tema se muestra cómo utilizar el Anthropic Claude mensajes API con las operaciones de inferencia base (InvokeModelo InvokeModelWithResponseStream). Sin embargo, le recomendamos que utilice el Converse APIpara implementar los mensajes en su aplicación. La Converse APIproporciona un conjunto unificado de parámetros que funcionan en todos los modelos que admiten mensajes. Para obtener más información, consulte Mantenga una conversación con el Converse Operaciones de API.

Anthropic entrena los modelos Claude para que funcionen en turnos de conversación alternos entre el usuario y el asistente. Al crear un mensaje nuevo, se especifican los turnos de conversación anteriores con el parámetro messages. A continuación, el modelo genera el siguiente mensaje de la conversación.

Cada mensaje de entrada debe ser un objeto con un rol y contenido. Puede especificar un único mensaje de rol de usuario o puede incluir varios mensajes de usuario y asistente. El primer mensaje debe utilizar siempre el rol de usuario.

Si está utilizando la técnica de rellenar previamente la respuesta de Claude (completando el principio de la respuesta de Claude utilizando un último papel de asistente: Mensaje), Claude responderá retomando el tema desde donde lo dejaste. Con esta técnica, Claude seguirá devolviendo una respuesta con el rol de asistente.

Si el mensaje final utiliza el rol de asistente, el contenido de la respuesta continuará inmediatamente con el contenido de ese mensaje. Puede usar esto para restringir parte de la respuesta del modelo.

Ejemplo con un solo mensaje de usuario:

[{"role": "user", "content": "Hello, Claude"}]

Ejemplo con varios turnos de conversación:

[ {"role": "user", "content": "Hello there."}, {"role": "assistant", "content": "Hi, I'm Claude. How can I help you?"}, {"role": "user", "content": "Can you explain LLMs in plain English?"}, ]

Ejemplo con una respuesta parcialmente completa de Claude:

[ {"role": "user", "content": "Please describe yourself using only JSON"}, {"role": "assistant", "content": "Here is my JSON description:\n{"}, ]

El contenido de cada mensaje de entrada puede ser una sola cadena o una matriz de bloques de contenido, donde cada bloque tiene un tipo específico. Una cadena es como la abreviatura de una matriz de un bloque de contenido del tipo “texto”. Los siguientes mensajes de entrada son equivalentes:

{"role": "user", "content": "Hello, Claude"}
{"role": "user", "content": [{"type": "text", "text": "Hello, Claude"}]}

Para obtener información sobre cómo crear solicitudes para Anthropic Claude modelos, consulte la Introducción a las solicitudes en el Anthropic Claude . Si ya tiene instrucciones para completar texto y desea migrarlas a los mensajesAPI, consulte Migración desde terminaciones de texto.

Peticiones del sistema

También puede incluir una petición del sistema en la solicitud. Un mensaje del sistema le permite proporcionar el contexto y las instrucciones para Anthropic Claude, como especificar un objetivo o un rol en particular. Especifique una petición del sistema en el campo system, tal como se muestra en el siguiente ejemplo.

"system": "You are Claude, an AI assistant created by Anthropic to be helpful, harmless, and honest. Your goal is to provide informative and substantive responses to queries while avoiding potential harms."

Para obtener más información, consulte las indicaciones del sistema en la Anthropic .

Peticiones multimodales

Una petición multimodal combina varias modalidades (imágenes y texto) en una sola petición. Las modalidades se especifican en el campo de entrada content. En el siguiente ejemplo se muestra cómo puede preguntar Anthropic Claude para describir el contenido de una imagen proporcionada. Para ver el código de ejemplo, consulte Ejemplos de código multimodal.

{ "anthropic_version": "bedrock-2023-05-31", "max_tokens": 1024, "messages": [ { "role": "user", "content": [ { "type": "image", "source": { "type": "base64", "media_type": "image/jpeg", "data": "iVBORw..." } }, { "type": "text", "text": "What's in these images?" } ] } ] }
nota

Se aplican las siguientes restricciones al campo content:

  • Puede incluir un máximo de 20 imágenes. El tamaño, la altura y la anchura de cada imagen no deben ser superiores a 3,75 MB, 8000 px y 8000 px, respectivamente.

  • Puede incluir hasta cinco documentos. El tamaño de cada documento no debe superar los 4,5 MB.

  • Solo puede incluir imágenes y documentos si el role es user.

Cada imagen que incluya en una solicitud se tendrá en cuenta para el uso de tokens. Para obtener más información, consulte los costes de las imágenes en la Anthropic .

Uso de herramientas (llamada a funciones)

With Anthropic Claude En 3 modelos, puede especificar una herramienta que el modelo pueda usar para responder a un mensaje. Por ejemplo, puede especificar una herramienta que obtiene la canción más popular de una emisora de radio. Si el usuario pasa el mensaje ¿Cuál es la canción más popularWZPZ? , el modelo determina que la herramienta que especificó puede ayudar a responder a la pregunta. En su respuesta, el modelo solicita que usted ejecute la herramienta en su nombre. A continuación, ejecuta la herramienta y pasa el resultado de la herramienta al modelo, que generará una respuesta para el mensaje original. Para obtener más información, consulte Uso de herramientas (llamada a funciones) en la Anthropic Claude .

sugerencia

Le recomendamos que utilice la Converse APIpara integrar el uso de la herramienta en su aplicación. Para obtener más información, consulte Uso de una herramienta para completar una respuesta modelo de Amazon Bedrock.

Especifique las herramientas que quiere poner a disposición de un modelo en el campo tools. El siguiente ejemplo es de una herramienta que obtiene la canción más popular de una emisora de radio.

[ { "name": "top_song", "description": "Get the most popular song played on a radio station.", "input_schema": { "type": "object", "properties": { "sign": { "type": "string", "description": "The call sign for the radio station for which you want the most popular song. Example calls signs are WZPZ and WKRP." } }, "required": [ "sign" ] } } ]

Cuando el modelo necesita una herramienta para generar una respuesta a un mensaje, devuelve información sobre la herramienta solicitada y la entrada en la herramienta en el campo content del mensaje. También establece el motivo de parada de la respuesta a tool_use.

{ "id": "msg_bdrk_01USsY5m3XRUF4FCppHP8KBx", "type": "message", "role": "assistant", "model": "claude-3-sonnet-20240229", "stop_sequence": null, "usage": { "input_tokens": 375, "output_tokens": 36 }, "content": [ { "type": "tool_use", "id": "toolu_bdrk_01SnXQc6YVWD8Dom5jz7KhHy", "name": "top_song", "input": { "sign": "WZPZ" } } ], "stop_reason": "tool_use" }

En su código, llame a la herramienta en nombre de la herramienta. A continuación, pase el resultado de la herramienta (tool_result) en un mensaje de usuario al modelo.

{ "role": "user", "content": [ { "type": "tool_result", "tool_use_id": "toolu_bdrk_01SnXQc6YVWD8Dom5jz7KhHy", "content": "Elemental Hotel" } ] }

En su respuesta, el modelo utiliza el resultado de la herramienta para generar una respuesta para el mensaje original.

{ "id": "msg_bdrk_012AaqvTiKuUSc6WadhUkDLP", "type": "message", "role": "assistant", "model": "claude-3-sonnet-20240229", "content": [ { "type": "text", "text": "According to the tool, the most popular song played on radio station WZPZ is \"Elemental Hotel\"." } ], "stop_reason": "end_turn" }

Uso de computadora (Beta)

El uso de la computadora es nuevo Anthropic Claude La capacidad del modelo (en versión beta) solo está disponible con el Claude 3.5 Sonnet v2. Con el uso de un ordenador, Claude puede ayudarle a automatizar tareas mediante GUI acciones básicas.

aviso

La función de uso del ordenador está disponible como un «servicio beta», tal como se define en las condiciones del AWS servicio. Está sujeto a su acuerdo con AWS él, a las condiciones del AWS servicio y al modelo aplicable. EULA Tenga en cuenta que el uso del ordenador API plantea riesgos únicos que son distintos de los de las API funciones estándar o las interfaces de chat. Estos riesgos aumentan cuando se utiliza el ordenador API para interactuar con Internet. Para minimizar los riesgos, considere tomar las siguientes precauciones:

  • Utilice la característica Uso de computadora en una máquina virtual o un contenedor específicos con privilegios mínimos para evitar ataques directos al sistema o accidentes.

  • Para evitar el robo de información, evite dar API acceso al usuario de la computadora a cuentas o datos confidenciales.

  • Limite el acceso a Internet API del usuario de la computadora a los dominios necesarios para reducir la exposición a contenido malicioso.

  • Para garantizar una supervisión adecuada, asigne a una persona a las tareas delicadas (como la toma de decisiones que podría tener consecuencias significativas en el mundo real) y para cualquier cosa que requiera un consentimiento afirmativo (como aceptar cookies, ejecutar transacciones financieras o aceptar las condiciones del servicio).

Cualquier contenido que habilites Claude ver o acceder puede anular las instrucciones o causar Claude cometer errores o realizar acciones no deseadas. Tomar las precauciones adecuadas, como aislarse Claude desde superficies sensibles, es esencial, incluso para evitar los riesgos relacionados con una inyección inmediata. Antes de habilitar o solicitar los permisos necesarios para activar las características Uso de computadora en sus propios productos, informe a los usuarios finales de los riesgos correspondientes y obtenga su consentimiento, según proceda.

El uso de la computadora API ofrece varias herramientas de uso de la computadora predefinidas (computer_20241022, bash_20241022 y text_editor_20241022) para su uso. A continuación, podrá crear una petición en la solicitud, como “envía un correo electrónico a Ben con las notas de mi última reunión” y una captura de pantalla (si es necesario). La respuesta contiene una lista de acciones en formato (por ejemplo, scroll_down, left_button_press, captura de pantalla). tool_use JSON Su código ejecuta las acciones del ordenador y proporciona Claude con una captura de pantalla que muestra los resultados (cuando se solicite).

El parámetro tools se ha actualizado para que acepte tipos de herramientas polimórficas; se ha añadido una nueva propiedad tool.type para distinguirlos. type es opcional; si se omite, se asume que la herramienta es personalizada (anteriormente, era el único tipo de herramienta compatible). Además, se ha añadido un nuevo parámetro anthropic_beta con el correspondiente valor de enumeración: computer-use-2024-10-22. Solo las solicitudes realizadas con este parámetro y enumeración pueden usar las nuevas herramientas de uso de computadora. Se puede especificar de la siguiente manera: "anthropic_beta": ["computer-use-2024-10-22"].

Para obtener más información, consulte Uso del ordenador (versión beta) en Anthropic .

El siguiente es un ejemplo de respuesta donde se supone que la solicitud contiene una captura de pantalla de su escritorio con un icono de Firefox.

{ "id": "msg_123", "type": "message", "role": "assistant", "model": "anthropic.claude-3-5-sonnet-20241022-v2:0", "content": [ { "type": "text", "text": "I see the Firefox icon. Let me click on it and then navigate to a weather website." }, { "type": "tool_use", "id": "toolu_123", "name": "computer", "input": { "action": "mouse_move", "coordinate": [ 708, 736 ] } }, { "type": "tool_use", "id": "toolu_234", "name": "computer", "input": { "action": "left_click" } } ], "stop_reason": "tool_use", "stop_sequence": null, "usage": { "input_tokens": 3391, "output_tokens": 132 } }

Modelos compatibles

Puede usar los mensajes API con lo siguiente Anthropic Claude modelos.

  • Anthropic Claude Instant v1.2

  • Anthropic Claude 2 v2

  • Anthropic Claude 2 v2.1

  • Anthropic Claude 3 Sonnet

  • Anthropic Claude 3.5 Sonnet

  • Anthropic Claude 3.5 Sonnet v2

  • Anthropic Claude 3 Haiku

  • Anthropic Claude 3 Opus

Solicitud y respuesta

El cuerpo de la solicitud se pasa en el body campo de una solicitud a InvokeModelo InvokeModelWithResponseStream. El tamaño máximo de la carga útil que puede enviar en una solicitud es de 20 MB.

Para obtener más información, consulta https://docs.anthropic.com/claude/reference/messages_post.

Request

Anthropic Claude tiene los siguientes parámetros de inferencia para una llamada de inferencia de mensajes.

{ "anthropic_version": "bedrock-2023-05-31", "anthropic_beta": ["computer-use-2024-10-22"] "max_tokens": int, "system": string, "messages": [ { "role": string, "content": [ { "type": "image", "source": { "type": "base64", "media_type": "image/jpeg", "data": "content image bytes" } }, { "type": "text", "text": "content text" } ] } ], "temperature": float, "top_p": float, "top_k": int, "tools": [ { "type": "custom", "name": string, "description": string, "input_schema": json }, { "type": "computer_20241022", "name": "computer", "display_height_px": int, "display_width_px": int, "display_number": 0 int }, { "type": "bash_20241022", "name": "bash" }, { "type": "text_editor_20241022", "name": "str_replace_editor" } ], "tool_choice": { "type" : string, "name" : string, }, "stop_sequences": [string] }

Los siguientes parámetros son obligatorios.

  • anthropic_version: (obligatorio) es la versión de Anthropic. El valor debe ser bedrock-2023-05-31.

  • anthropic_beta: (obligatorio si se usa la computadoraAPI) La beta antrópica que se debe usar. Para usar el uso de la computadoraAPI, el valor debe ser. computer-use-2024-10-22

  • max_tokens: (obligatorio) número máximo de tokens a generar antes de realizar paradas.

    Tenga en cuenta que Anthropic Claude es posible que los modelos dejen de generar fichas antes de alcanzar el valor demax_tokens. Different Anthropic Claude los modelos tienen valores máximos diferentes para este parámetro. Para obtener más información, consulte Tabla comparativa de modelos.

  • messages: (obligatorio) son los mensajes de entrada.

    • role: es el rol del turno de conversación. Los valores válidos son user y assistant.

    • content: (obligatorio) es el contenido del turno de conversación.

      • type: (obligatorio) es el tipo de contenido. Los valores válidos son image y text.

        Si especifica image, también debe especificar el origen de la imagen en el siguiente formato:

        source: (obligatorio) es el contenido del turno de conversación.

        • type: (obligatorio) es el tipo de codificación de la imagen. Puede especificar base64.

        • media_type: (obligatorio) es el tipo de imagen. Puede especificar los siguientes formatos de imagen.

          • image/jpeg

          • image/png

          • image/webp

          • image/gif

        • data: (obligatorio) son los bytes de la imagen codificados en base64. El tamaño máximo es 3,75 MB. La altura y el ancho máximos de una imagen son 8000 píxeles.

        Si especifica text, también debe especificar la petición en text.

Los siguientes son parámetros opcionales.

  • system: (opcional) es la petición del sistema para la solicitud.

    Un indicador del sistema es una forma de proporcionar contexto e instrucciones para Anthropic Claude, como especificar un objetivo o un rol en particular. Para obtener más información, consulte las indicaciones del sistema en la Anthropic .

    nota

    Puede utilizar las indicaciones del sistema con Anthropic Claude versión 2.1 o superior.

  • stop_sequences: (opcional) secuencias de texto personalizadas que hacen que el modelo deje de generarse. Anthropic Claude los modelos normalmente se detienen cuando han completado su turno de forma natural; en este caso, el valor del campo de stop_reason respuesta es. end_turn Si desea que el modelo deje de generar cuando encuentre cadenas de texto personalizadas, puede usar el parámetro stop_sequences. Si el modelo encuentra una de las cadenas de texto personalizadas, el valor del campo de respuesta stop_reason es stop_sequence y el valor de stop_sequence contiene la secuencia de paradas correspondiente.

    El número máximo de entradas es 8191.

  • temperature: (opcional) la cantidad de asignación al azar que se inyecta en la respuesta.

    Predeterminado/a Mínimo Máximo

    1

    0

    1

  • top_p: (opcional) utilice el muestreo de núcleos.

    En el muestreo de núcleos, Anthropic Claude calcula la distribución acumulada entre todas las opciones de cada token subsiguiente en orden de probabilidad decreciente y la corta una vez que alcanza una probabilidad determinada especificada portop_p. Debe modificar temperature o top_p, pero no ambos.

    Predeterminado/a Mínimo Máximo

    0,999

    0

    1

  • top_k: (opcional) solo una muestra de las opciones K superior para cada token subsiguiente.

    Use top_k para eliminar las respuestas de baja probabilidad de cola larga.

    Predeterminado/a Mínimo Máximo

    Está deshabilitado de forma predeterminada.

    0

    500

  • tools: /(opcional) definiciones de las herramientas que puede utilizar el modelo.

    nota

    Requiere un Anthropic Claude Modelo 3.

    Si incluye tools en su solicitud, es posible que el modelo devuelva bloques de contenido de tool_use que representen el uso de esas herramientas por parte del modelo. A continuación, puede ejecutar esas herramientas con la entrada de herramientas generada por el modelo y, si lo desea, devolver los resultados al modelo mediante bloques de contenido tool_result.

    Puede transferir los siguientes tipos de herramientas:

    Personalizada

    Definición de una herramienta personalizada.

    • type: (opcional) es el tipo de herramienta. Si está definido, utilice el valor custom.

    • name: es el nombre de la herramienta.

    • description: (opcional, pero muy recomendable) es la descripción de la herramienta.

    • input_schema: el JSON esquema de la herramienta.

    Computadora

    Definición de la herramienta informática que se utiliza con el ordenador. API

    • type: el valor debe ser computer_20241022.

    • name: el valor debe ser computer.

    • (Obligatorio) display_height_px: es la altura de la pantalla que controla el modelo en píxeles.

      Predeterminado/a Mínimo Máximo

      Ninguna

      1

      Sin máximo

    • (Obligatorio) display_width_px: es el ancho de la pantalla que controla el modelo en píxeles.

      Predeterminado/a Mínimo Máximo

      Ninguna

      1

      Sin máximo

    • (Opcional) display_number: es el número de pantalla que se va a controlar (solo relevante para los entornos X11). Si se especifica, se proporcionará a la herramienta un número de pantalla en la definición de la herramienta.

      Predeterminado/a Mínimo Máximo

      Ninguna

      0

      N

    bash

    Definición de la herramienta bash que se utiliza con el ordenador. API

    • type: (opcional) el valor debe ser bash_20241022.

    • name: el valor debe ser bash. La herramienta.

    editor de texto

    Definición de la herramienta de edición de texto que se utiliza con el ordenador. API

    • type: (opcional) el valor debe ser text_editor_20241022.

    • name: el valor debe ser str_replace_editor. La herramienta.

  • tool_choice: (opcional) especifica cómo debe utilizar el modelo las herramientas proporcionadas. El modelo puede usar una herramienta específica, cualquier herramienta disponible o decidir por sí mismo.

    nota

    Requiere un Anthropic Claude Modelo 3.

    • type: es el tipo de herramienta elegido. Los valores posibles son any (usar cualquier herramienta disponible), auto (el modelo decide) y tool (usar la herramienta especificada).

    • name: (opcional) es el nombre de la herramienta que se va a utilizar. Obligatorio si lo especifica tool en el campo type.

Response

La Anthropic Claude el modelo devuelve los siguientes campos para una llamada de inferencia de mensajes.

{ "id": string, "model": string, "type" : "message", "role" : "assistant", "content": [ { "type": string, "text": string } ], "stop_reason": string, "stop_sequence": string, "tool_use" : { "type": string, "id" : string, "input" : json }, "usage": { "input_tokens": integer, "output_tokens": integer } }
  • id: es el identificador único de la respuesta. El formato y la longitud del ID pueden cambiar con el tiempo.

  • modelo: el ID del Anthropic Claude modelo que realizó la solicitud.

  • stop_reason — El motivo Anthropic Claude dejó de generar la respuesta.

    • end_turn: el modelo ha alcanzado un punto de parada natural.

    • max_tokens: el texto generado ha superado el valor del campo de entrada max_tokens o ha superado el número máximo de tokens que admite el modelo.

    • stop_sequence: el modelo ha generado una de las secuencias de parada que ha especificado en el campo de entrada stop_sequences.

  • stop_sequence: es la secuencia de paradas que ha puesto fin a la generación.

  • type: es el tipo de respuesta. Este valor siempre es message.

  • role: es el rol conversacional del mensaje generado. Este valor siempre es assistant.

  • content: es el contenido generado por el modelo. Se devuelve en forma de matriz. Existen dos tipos de contenido: text y tool_use.

    • text: es una respuesta de texto.

      • type: este valor es text. Es el tipo de contenido.

      • text: es el texto del contenido.

    • tool_use: solicitud del modelo para usar una herramienta.

      • type: este valor es text. El tipo de contenido.

      • id: es el ID de la herramienta que el modelo quiere usar.

      • input: parámetros de entrada que se van a transferir a la herramienta.

  • usage: contenedor del número de tokens proporcionados en la solicitud y el número de tokens que el modelo ha generado en la respuesta.

    • input_tokens: número de tokens de entrada en la solicitud.

    • output_tokens: número de tokens que el modelo ha generado en la respuesta.

    • stop_sequence: el modelo ha generado una de las secuencias de parada que ha especificado en el campo de entrada stop_sequences.

Ejemplos de código

Los siguientes ejemplos de código muestran cómo utilizar los mensajesAPI.

Ejemplo de código de Messages

En este ejemplo se muestra cómo enviar un mensaje de usuario por turno y un mensaje de usuario por turno con un mensaje de asistente rellenado previamente a un Anthropic Claude 3 Sonnet modelo.

# Copyright Amazon.com, Inc. or its affiliates. All Rights Reserved. # SPDX-License-Identifier: Apache-2.0 """ Shows how to generate a message with Anthropic Claude (on demand). """ import boto3 import json import logging from botocore.exceptions import ClientError logger = logging.getLogger(__name__) logging.basicConfig(level=logging.INFO) def generate_message(bedrock_runtime, model_id, system_prompt, messages, max_tokens): body=json.dumps( { "anthropic_version": "bedrock-2023-05-31", "max_tokens": max_tokens, "system": system_prompt, "messages": messages } ) response = bedrock_runtime.invoke_model(body=body, modelId=model_id) response_body = json.loads(response.get('body').read()) return response_body def main(): """ Entrypoint for Anthropic Claude message example. """ try: bedrock_runtime = boto3.client(service_name='bedrock-runtime') model_id = 'anthropic.claude-3-sonnet-20240229-v1:0' system_prompt = "Please respond only with emoji." max_tokens = 1000 # Prompt with user turn only. user_message = {"role": "user", "content": "Hello World"} messages = [user_message] response = generate_message (bedrock_runtime, model_id, system_prompt, messages, max_tokens) print("User turn only.") print(json.dumps(response, indent=4)) # Prompt with both user turn and prefilled assistant response. #Anthropic Claude continues by using the prefilled assistant text. assistant_message = {"role": "assistant", "content": "<emoji>"} messages = [user_message, assistant_message] response = generate_message(bedrock_runtime, model_id,system_prompt, messages, max_tokens) print("User turn and prefilled assistant response.") print(json.dumps(response, indent=4)) except ClientError as err: message=err.response["Error"]["Message"] logger.error("A client error occurred: %s", message) print("A client error occured: " + format(message)) if __name__ == "__main__": main()

Ejemplos de código multimodal

Los siguientes ejemplos muestran cómo pasar una imagen y un texto de consulta de un mensaje multimodal a un Anthropic Claude 3 Sonnet modelo.

Avisador multimodal con InvokeModel

El siguiente ejemplo muestra cómo enviar una solicitud multimodal a Anthropic Claude 3 Sonnet con InvokeModel.

# Copyright Amazon.com, Inc. or its affiliates. All Rights Reserved. # SPDX-License-Identifier: Apache-2.0 """ Shows how to run a multimodal prompt with Anthropic Claude (on demand) and InvokeModel. """ import json import logging import base64 import boto3 from botocore.exceptions import ClientError logger = logging.getLogger(__name__) logging.basicConfig(level=logging.INFO) def run_multi_modal_prompt(bedrock_runtime, model_id, messages, max_tokens): """ Invokes a model with a multimodal prompt. Args: bedrock_runtime: The Amazon Bedrock boto3 client. model_id (str): The model ID to use. messages (JSON) : The messages to send to the model. max_tokens (int) : The maximum number of tokens to generate. Returns: None. """ body = json.dumps( { "anthropic_version": "bedrock-2023-05-31", "max_tokens": max_tokens, "messages": messages } ) response = bedrock_runtime.invoke_model( body=body, modelId=model_id) response_body = json.loads(response.get('body').read()) return response_body def main(): """ Entrypoint for Anthropic Claude multimodal prompt example. """ try: bedrock_runtime = boto3.client(service_name='bedrock-runtime') model_id = 'anthropic.claude-3-sonnet-20240229-v1:0' max_tokens = 1000 input_image = "/path/to/image" input_text = "What's in this image?" # Read reference image from file and encode as base64 strings. with open(input_image, "rb") as image_file: content_image = base64.b64encode(image_file.read()).decode('utf8') message = {"role": "user", "content": [ {"type": "image", "source": {"type": "base64", "media_type": "image/jpeg", "data": content_image}}, {"type": "text", "text": input_text} ]} messages = [message] response = run_multi_modal_prompt( bedrock_runtime, model_id, messages, max_tokens) print(json.dumps(response, indent=4)) except ClientError as err: message = err.response["Error"]["Message"] logger.error("A client error occurred: %s", message) print("A client error occured: " + format(message)) if __name__ == "__main__": main()

Transmisión de mensajes multimodales con InvokeModelWithResponseStream

El siguiente ejemplo muestra cómo transmitir la respuesta desde una solicitud multimodal enviada a Anthropic Claude 3 Sonnet con InvokeModelWithResponseStream.

# Copyright Amazon.com, Inc. or its affiliates. All Rights Reserved. # SPDX-License-Identifier: Apache-2.0 """ Shows how to stream the response from Anthropic Claude Sonnet (on demand) for a multimodal request. """ import json import base64 import logging import boto3 from botocore.exceptions import ClientError logger = logging.getLogger(__name__) logging.basicConfig(level=logging.INFO) def stream_multi_modal_prompt(bedrock_runtime, model_id, input_text, image, max_tokens): """ Streams the response from a multimodal prompt. Args: bedrock_runtime: The Amazon Bedrock boto3 client. model_id (str): The model ID to use. input_text (str) : The prompt text image (str) : The path to an image that you want in the prompt. max_tokens (int) : The maximum number of tokens to generate. Returns: None. """ with open(image, "rb") as image_file: encoded_string = base64.b64encode(image_file.read()) body = json.dumps({ "anthropic_version": "bedrock-2023-05-31", "max_tokens": max_tokens, "messages": [ { "role": "user", "content": [ {"type": "text", "text": input_text}, {"type": "image", "source": {"type": "base64", "media_type": "image/jpeg", "data": encoded_string.decode('utf-8')}} ] } ] }) response = bedrock_runtime.invoke_model_with_response_stream( body=body, modelId=model_id) for event in response.get("body"): chunk = json.loads(event["chunk"]["bytes"]) if chunk['type'] == 'message_delta': print(f"\nStop reason: {chunk['delta']['stop_reason']}") print(f"Stop sequence: {chunk['delta']['stop_sequence']}") print(f"Output tokens: {chunk['usage']['output_tokens']}") if chunk['type'] == 'content_block_delta': if chunk['delta']['type'] == 'text_delta': print(chunk['delta']['text'], end="") def main(): """ Entrypoint for Anthropic Claude Sonnet multimodal prompt example. """ model_id = "anthropic.claude-3-sonnet-20240229-v1:0" input_text = "What can you tell me about this image?" image = "/path/to/image" max_tokens = 100 try: bedrock_runtime = boto3.client('bedrock-runtime') stream_multi_modal_prompt( bedrock_runtime, model_id, input_text, image, max_tokens) except ClientError as err: message = err.response["Error"]["Message"] logger.error("A client error occurred: %s", message) print("A client error occured: " + format(message)) if __name__ == "__main__": main()