` de Amazon S3, una [notificación de Amazon S3](https://docs.aws.amazon.com/AmazonS3/latest/userguide/EventNotifications.html) invoca la función de Lambda `data-ingestion-processor`.
1. La función de Lambda `data-ingestion-processor` se basa en una imagen de Docker almacenada en el repositorio Amazon Elastic Container Registry (Amazon ECR) `bedrock-rag-template`.
[La función usa el [LangChain S3 FileLoader](https://python.langchain.com/v0.1/docs/integrations/document_loaders/aws_s3_file/) para leer el archivo como un documento. LangChain ](https://api.python.langchain.com/en/v0.0.339/schema/langchain.schema.document.Document.html) Luego, divide [LangChain RecursiveCharacterTextSplitter](https://python.langchain.com/v0.1/docs/modules/data_connection/document_transformers/recursive_text_splitter/)cada documento, con una `CHUNK_SIZE` y una `CHUNK_OVERLAP` que dependen del tamaño máximo del token del modelo de incrustación Amazon Titan Text Embedding V2. A continuación, la función de Lambda invoca el modelo de incrustación de Amazon Bedrock para incrustar los fragmentos en representaciones vectoriales numéricas. Por último, estos vectores se almacenan en la base de datos de Aurora PostgreSQL. Para acceder a la base de datos, la función Lambda recupera primero el nombre de usuario y la contraseña de. AWS Secrets Manager
1. En la [instancia de Amazon SageMaker AI notebook](https://docs.aws.amazon.com/sagemaker/latest/dg/nbi.html)`aws-sample-bedrock-rag-template`, el usuario puede escribir un mensaje de pregunta. El código invoca Claude 3 en Amazon Bedrock y añade la información de la base de conocimientos al contexto de la petición. Como resultado, Claude 3 proporciona respuestas utilizando la información de los documentos.
El enfoque de este patrón con respecto a las redes y la seguridad es el siguiente:
+ La función de Lambda `data-ingestion-processor` se encuentra en una subred privada dentro de la nube privada virtual (VPC). La función de Lambda no puede enviar tráfico a la Internet pública debido a su grupo de seguridad. Como resultado, el tráfico a Amazon S3 y Amazon Bedrock se enruta únicamente a través de los puntos de conexión de VPC. Por lo tanto, el tráfico no atraviesa la red pública de Internet, lo que reduce la latencia y añade una capa adicional de seguridad a nivel de red.
+ Todos los recursos y datos se cifran siempre que sea posible mediante la clave AWS Key Management Service (AWS KMS) con el alias`aws-sample/bedrock-rag-template`.
**Automatización y escala**
Este patrón utiliza Terraform para implementar la infraestructura del repositorio de código en una Cuenta de AWS.
## Tools (Herramientas)
**Servicios de AWS**
+ La [edición de Amazon Aurora compatible con PostgreSQL](https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/Aurora.AuroraPostgreSQL.html) es un motor de base de datos relacional compatible con ACID, completamente administrado que le permite configurar, utilizar y escalar implementaciones de PostgreSQL. En este patrón, Aurora compatible con PostgreSQL utiliza el complemento pgvector como base de datos vectorial.
+ [Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/what-is-bedrock.html) es un servicio totalmente gestionado que pone a su disposición modelos básicos de alto rendimiento (FMs) de las principales empresas emergentes de IA y Amazon a través de una API unificada.
+ [AWS Command Line Interface (AWS CLI)](https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-welcome.html) es una herramienta de código abierto que le ayuda a interactuar Servicios de AWS mediante comandos en su consola de línea de comandos.
+ [Amazon Elastic Container Registry (Amazon ECR)](https://docs.aws.amazon.com/AmazonECR/latest/userguide/what-is-ecr.html) es un servicio de registro de imágenes de contenedor administrado que es seguro, escalable y fiable. En este patrón, Amazon ECR aloja la imagen de Docker para la función de Lambda `data-ingestion-processor`.
+ [AWS Identity and Access Management (IAM)](https://docs.aws.amazon.com/IAM/latest/UserGuide/introduction.html) le ayuda a administrar de forma segura el acceso a sus AWS recursos al controlar quién está autenticado y autorizado a usarlos.
+ [AWS Key Management Service (AWS KMS)](https://docs.aws.amazon.com/kms/latest/developerguide/overview.html) lo ayuda a crear y controlar claves criptográficas que ayudan a proteger los datos.
+ [AWS Lambda](https://docs.aws.amazon.com/lambda/latest/dg/welcome.html) es un servicio de computación que ayuda a ejecutar código sin necesidad de aprovisionar ni administrar servidores. Ejecuta el código solo cuando es necesario y amplía la capacidad de manera automática, por lo que solo pagará por el tiempo de procesamiento que utilice. En este patrón, Lambda ingiere datos en el almacén vectorial.
+ [Amazon SageMaker AI](https://docs.aws.amazon.com/sagemaker/?id=docs_gateway) es un servicio de aprendizaje automático (ML) gestionado que le ayuda a crear y entrenar modelos de aprendizaje automático para luego implementarlos en un entorno hospedado listo para la producción.
+ [AWS Secrets Manager](https://docs.aws.amazon.com/secretsmanager/latest/userguide/intro.html) lo ayuda a reemplazar las credenciales codificadas en su código, incluidas contraseñas, con una llamada a la API de Secrets Manager para recuperar el secreto mediante programación.
+ [Amazon Simple Storage Service (Amazon S3)](https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html) es un servicio de almacenamiento de objetos basado en la nube que lo ayuda a almacenar, proteger y recuperar cualquier cantidad de datos.
+ [Amazon Virtual Private Cloud (Amazon VPC)](https://docs.aws.amazon.com/vpc/latest/userguide/what-is-amazon-vpc.html) le ayuda a lanzar AWS recursos en una red virtual que haya definido. Esa red virtual es similar a la red tradicional que utiliza en su propio centro de datos, con los beneficios de usar la infraestructura escalable de AWS. La VPC incluye subredes y tablas de enrutamiento para controlar el flujo de tráfico.
**Otras herramientas**
+ [Docker](https://docs.docker.com/manuals/) es un conjunto de productos de plataforma como servicio (PaaS) que utiliza la virtualización a nivel del sistema operativo para entregar software en contenedores.
+ [HashiCorp Terraform](https://www.terraform.io/docs) es una herramienta de infraestructura como código (IaC) que facilita usar el código para aprovisionar y administrar los recursos y la infraestructura en la nube.
+ [Poetry](https://pypi.org/project/poetry/) es una herramienta de empaquetado y administración de dependencias de Python.
+ [Python](https://www.python.org/) es un lenguaje de programación informático de uso general.
**Repositorio de código**
El código de este patrón está disponible en el repositorio GitHub [terraform-rag-template-using-amazon-bedrock](https://github.com/aws-samples/terraform-rag-template-using-amazon-bedrock).
## Prácticas recomendadas
+ Aunque este ejemplo de código se puede implementar en cualquier Región de AWS lugar, le recomendamos que utilice US East (North Virginia) `us-east-1` o US West (North California). `us-west-1` Esta recomendación se basa en la disponibilidad de modelos de incrustación y fundacionales en Amazon Bedrock en el momento de la publicación de este patrón. Para obtener una up-to-date lista del soporte del modelo base de Amazon Bedrock Regiones de AWS, consulte [Soporte de modelos Región de AWS en la](https://docs.aws.amazon.com/bedrock/latest/userguide/models-regions.html) documentación de Amazon Bedrock. Para obtener información sobre cómo implementar este ejemplo de código en otras regiones, consulte la [información adicional](#deploy-rag-use-case-on-aws-additional).
+ Este patrón solo proporciona una proof-of-concept demostración (PoC) o piloto. Si desea llevar el código a producción, asegúrese de seguir las siguientes prácticas recomendadas:
+ Habilite el registro de acceso al servidor de Amazon S3.
+ Configure la [supervisión y las alertas](https://docs.aws.amazon.com/lambda/latest/dg/lambda-monitoring.html) para la función de Lambda.
+ Si su caso de uso requiere una API, considere añadir Amazon API Gateway con una función de Lambda que ejecute tareas de recuperación y respuesta a preguntas.
+ Siga el principio de privilegio mínimo y conceda los permisos mínimos necesarios para llevar a cabo una tarea. Para obtener más información, consulte [Otorgar privilegio mínimo](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies.html#grant-least-priv) y [Prácticas recomendadas de seguridad](https://docs.aws.amazon.com/IAM/latest/UserGuide/IAMBestPracticesAndUseCases.html) en la documentación de IAM.
## Epics
### Implemente la solución en un Cuenta de AWS
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Clonar el repositorio. | Para clonar el GitHub repositorio proporcionado con este patrón, utilice el siguiente comando:git clone https://github.com/aws-samples/terraform-rag-template-using-amazon-bedrock
| AWS DevOps |
| Configure las variables. | Para configurar los parámetros de este patrón, haga lo siguiente:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/deploy-rag-use-case-on-aws.html) | AWS DevOps |
| Implemente la solución. | Para implementar la solución, haga lo siguiente:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/deploy-rag-use-case-on-aws.html)La implementación de la infraestructura aprovisiona una instancia de SageMaker IA dentro de la VPC y con los permisos para acceder a la base de datos PostgreSQL de Aurora. | AWS DevOps |
### Pruebe la solución
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Ejecute la demostración. | Una vez que la implementación anterior de la infraestructura se haya realizado correctamente, siga estos pasos para ejecutar la demostración en cuaderno de Jupyter:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/deploy-rag-use-case-on-aws.html)El cuaderno de Jupyter le guía a través del siguiente proceso:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/deploy-rag-use-case-on-aws.html) | AWS general |
### Limpieza de la infraestructura
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Limpie la infraestructura. | Para eliminar todos los recursos que creó cuando ya no sean necesarios, utilice el siguiente comando:terraform destroy -var-file=commons.tfvars
| AWS DevOps |
## Recursos relacionados
**AWS resources**
+ [Creación de funciones de Lambda con Python](https://docs.aws.amazon.com/lambda/latest/dg/lambda-python.html)
+ [Parámetros de inferencia para modelos básicos](https://docs.aws.amazon.com/bedrock/latest/userguide/model-parameters.html)
+ [Acceso a los modelos fundacionales de Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/model-access.html)
+ [El papel de las bases de datos vectoriales en las aplicaciones de IA generativa](https://aws.amazon.com/blogs/database/the-role-of-vector-datastores-in-generative-ai-applications/) (blog de bases AWS de datos)
+ [Uso de Amazon Aurora PostgreSQL](https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/Aurora.AuroraPostgreSQL.html)
**Otros recursos**
+ [Documentación de pgvector](https://github.com/pgvector/pgvector)
## Información adicional
**Implementación de una base de datos vectorial**
Este patrón utiliza Aurora compatible con PostgreSQL para implementar una base de datos vectorial para RAG. Como alternativa a Aurora PostgreSQL AWS , ofrece otras capacidades y servicios para RAG, como Amazon Bedrock Knowledge Bases y Amazon Service. OpenSearch Puede elegir la solución que mejor se adapte a sus requisitos específicos:
+ [Amazon OpenSearch Service](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/what-is.html) proporciona motores de búsqueda y análisis distribuidos que puede utilizar para almacenar y consultar grandes volúmenes de datos.
+ [Las bases de conocimiento de Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/knowledge-base.html) están diseñadas para crear e implementar bases de conocimiento como una abstracción adicional para simplificar el proceso de ingesta y recuperación de RAG. Las bases de conocimiento de Amazon Bedrock funcionan tanto con Aurora PostgreSQL como con Amazon Service. OpenSearch
**¿Implementar en otros Regiones de AWS**
Como se describe en [Arquitectura](#deploy-rag-use-case-on-aws-architecture), le recomendamos que utilice la región Este de EE. UU. (Norte de Virginia):`us-east-1` u Oeste de EE. UU. (Norte de California):`us-west-1` para implementar este ejemplo de código. Sin embargo, hay dos formas posibles de implementar este ejemplo de código en regiones distintas de `us-east-1` y `us-west-1`. Puede configurar la región de implementación en el archivo `commons.tfvars`. Para el acceso al modelo fundacional entre regiones, tenga en cuenta las opciones siguientes:
+ **Atravesar la Internet pública**: si el tráfico puede atravesar la Internet pública, añada puertas de enlace de Internet a la VPC. A continuación, ajuste el grupo de seguridad asignado a la función Lambda `data-ingestion-processor` y a la instancia de SageMaker AI notebook para permitir el tráfico saliente a la Internet pública.
+ **No atravesar la Internet pública**: para implementar este ejemplo en cualquier otra región que no sea `us-east-1` ni `us-west-1`, haga lo siguiente:
1. En la región `us-east-1` o `us-west-1`, cree una VPC adicional que incluya un punto de conexión de VPC para `bedrock-runtime`.
1. Cree una conexión de emparejamiento mediante el [emparejamiento de VPC](https://docs.aws.amazon.com/vpc/latest/peering/what-is-vpc-peering.html) o una [puerta de enlace de tránsito](https://docs.aws.amazon.com/vpc/latest/tgw/tgw-peering.html) a la VPC de la aplicación.
1. Al configurar el cliente `bedrock-runtime` de boto3 en cualquier función de Lambda fuera de `us-east-1` o `us-west-1`, pase el nombre de DNS privado del punto de conexión de VPC para `bedrock-runtime` en `us-east-1` o us-west-1 como `endpoint_url` al cliente de boto3.
# Implemente la lógica de preprocesamiento en un modelo de aprendizaje automático en un único punto final mediante una canalización de inferencias en Amazon SageMaker
*Mohan Gowda Purushothama, Gabriel Rodriguez Garcia y Mateusz Zaremba, Amazon Web Services*
## Resumen
Este patrón explica cómo implementar varios objetos del modelo de canalización en un único punto final mediante una [canalización de inferencia](https://docs.aws.amazon.com/sagemaker/latest/dg/inference-pipelines.html) en Amazon SageMaker. El objeto del modelo de canalización representa diferentes etapas del flujo de trabajo del machine learning (ML), como el preprocesamiento, la inferencia de modelos y el posprocesamiento. [Para ilustrar el despliegue de objetos del modelo de canalización conectados en serie, este patrón muestra cómo implementar un contenedor [Scikit-learn](https://docs.aws.amazon.com/sagemaker/latest/dg/sklearn.html) de preprocesamiento y un modelo de regresión basado en el algoritmo de aprendizaje lineal incorporado en él.](https://docs.aws.amazon.com/sagemaker/latest/dg/linear-learner.html) SageMaker La implementación se aloja en un único punto final. SageMaker
**nota**
La implementación de este patrón utiliza el tipo de instancia ml.m4.2xlarge. Le recomendamos usar un tipo de instancia que se ajuste a sus requisitos de tamaño de datos y a la complejidad de su flujo de trabajo. Para obtener más información, consulta los [ SageMaker precios de Amazon](https://aws.amazon.com/sagemaker/pricing/). Este patrón usa [imágenes de Docker prediseñadas para Scikit-learn](https://docs.aws.amazon.com/sagemaker/latest/dg/pre-built-docker-containers-scikit-learn-spark.html), pero puede usar sus propios contenedores de Docker e integrarlos en su flujo de trabajo.
## Requisitos previos y limitaciones
**Requisitos previos **
+ Una cuenta de AWS activa
+ [Python 3.9](https://www.python.org/downloads/release/python-390/)
+ [Amazon SageMaker Python SDK](https://sagemaker.readthedocs.io/en/stable/) y biblioteca [Boto3](https://boto3.amazonaws.com/v1/documentation/api/latest/index.html)
+ [Función](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles.html) [de AWS Identity and Access Management (AWS IAM) con SageMaker [permisos básicos y permisos](https://docs.aws.amazon.com/sagemaker/latest/dg/api-permissions-reference.html) de Amazon Simple Storage Service (Amazon S3)](https://docs.aws.amazon.com/AmazonS3/latest/userguide/access-policy-language-overview.html)
**Versiones de producto**
+ [Amazon SageMaker Python SDK 2.49.2](https://sagemaker.readthedocs.io/en/v2.49.2/)
## Arquitectura
**Pila de tecnología de destino**
+ Amazon Elastic Container Registry (Amazon ECR)
+ Amazon SageMaker
+ Amazon SageMaker Studio
+ Amazon Simple Storage Service (Amazon S3)
+ Punto final de [inferencia en tiempo real](https://docs.aws.amazon.com/sagemaker/latest/dg/realtime-endpoints.html) para Amazon SageMaker
**Arquitectura de destino**
El siguiente diagrama muestra la arquitectura para el despliegue de un objeto del modelo de SageMaker canalización de Amazon.
![\[Arquitectura para el despliegue de un objeto de modelo de SageMaker canalización\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/images/pattern-img/1105d51b-752f-46d7-962c-acef1fb3399f/images/12f06715-b1c2-4de0-b277-99ce87308152.png)
En el diagrama, se muestra el siguiente flujo de trabajo:
1. Un SageMaker cuaderno despliega un modelo de canalización.
1. Un bucket de S3 almacena los artefactos del modelo.
1. Amazon ECR obtiene las imágenes del contenedor de origen del bucket de S3.
## Tools (Herramientas)
**Herramientas de AWS**
+ [Amazon Elastic Container Registry (Amazon ECR)](https://docs.aws.amazon.com/AmazonECR/latest/userguide/what-is-ecr.html) es un servicio de registro de imágenes de contenedor administrado que es seguro, escalable y fiable.
+ [Amazon SageMaker](https://docs.aws.amazon.com/sagemaker/latest/dg/whatis.html) es un servicio de aprendizaje automático gestionado que le ayuda a crear y entrenar modelos de aprendizaje automático y, a continuación, a implementarlos en un entorno hospedado listo para la producción.
+ [Amazon SageMaker Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/studio.html) es un entorno de desarrollo integrado (IDE) basado en la web para el aprendizaje automático que le permite crear, entrenar, depurar, implementar y supervisar sus modelos de aprendizaje automático.
+ [Amazon Simple Storage Service (Amazon S3)](https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html) es un servicio de almacenamiento de objetos basado en la nube que lo ayuda a almacenar, proteger y recuperar cualquier cantidad de datos.
**Código**
El código de este patrón está disponible en GitHub [Inference Pipeline con los repositorios Scikit-learn](https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-python-sdk/scikit_learn_inference_pipeline/Inference%20Pipeline%20with%20Scikit-learn%20and%20Linear%20Learner.ipynb) y Linear Learner.
## Epics
### Prepare el conjunto de datos
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Prepare el conjunto de datos para la tarea de regresión. | [Abre una libreta](https://docs.aws.amazon.com/sagemaker/latest/dg/notebooks-create-open.html#notebooks-open) en Amazon SageMaker Studio.Para importar todas las bibliotecas necesarias e inicializar su entorno de trabajo, utilice el siguiente código de ejemplo en su bloc de notas:import sagemaker
from sagemaker import get_execution_role
sagemaker_session = sagemaker.Session()
# Get a SageMaker-compatible role used by this Notebook Instance.
role = get_execution_role()
# S3 prefix
bucket = sagemaker_session.default_bucket()
prefix = "Scikit-LinearLearner-pipeline-abalone-example"
Para descargar un conjunto de datos de muestra, añada el siguiente código a su bloc de notas:! mkdir abalone_data
! aws s3 cp s3://sagemaker-sample-files/datasets/tabular/uci_abalone/abalone.csv ./abalone_data
** **El ejemplo de este patrón utiliza el [conjunto de datos Abalone](https://archive.ics.uci.edu/ml/datasets/abalone) del repositorio de machine learning de UCI. | Científico de datos |
| Cargue el conjunto de datos en un bucket de S3. | En el bloc de notas en el que preparó su conjunto de datos anteriormente, añada el siguiente código para cargar los datos de muestra en un bucket de S3:WORK_DIRECTORY = "abalone_data"
train_input = sagemaker_session.upload_data(
path="{}/{}".format(WORK_DIRECTORY, "abalone.csv"),
bucket=bucket,
key_prefix="{}/{}".format(prefix, "train"),
)
| Científico de datos |
### Cree el preprocesador de datos mediante SKLearn
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Prepare el script preprocessor.py. | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/deploy-preprocessing-logic-into-an-ml-model-in-a-single-endpoint-using-an-inference-pipeline-in-amazon-sagemaker.html) | Científico de datos |
| Cree el objeto del SKLearn preprocesador. | Para crear un objeto SKLearn preprocesador (denominado SKLearn Estimator) que pueda incorporar a su proceso de inferencia final, ejecute el siguiente código en su bloc de notas: SageMaker from sagemaker.sklearn.estimator import SKLearn
FRAMEWORK_VERSION = "0.23-1"
script_path = "sklearn_abalone_featurizer.py"
sklearn_preprocessor = SKLearn(
entry_point=script_path,
role=role,
framework_version=FRAMEWORK_VERSION,
instance_type="ml.c4.xlarge",
sagemaker_session=sagemaker_session,
)
sklearn_preprocessor.fit({"train": train_input})
| Científico de datos |
| Pruebe la inferencia del preprocesador. | Para confirmar que el preprocesador está definido correctamente, inicie un [trabajo de transformación por lotes](https://docs.aws.amazon.com/sagemaker/latest/dg/batch-transform.html) introduciendo el siguiente código en su bloc de notas: SageMaker # Define a SKLearn Transformer from the trained SKLearn Estimator
transformer = sklearn_preprocessor.transformer(
instance_count=1, instance_type="ml.m5.xlarge", assemble_with="Line", accept="text/csv"
)
# Preprocess training input
transformer.transform(train_input, content_type="text/csv")
print("Waiting for transform job: " + transformer.latest_transform_job.job_name)
transformer.wait()
preprocessed_train = transformer.output_path
| |
### Cree un modelo de machine learning
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Cree un objeto modelo. | Para crear un objeto modelo basado en el algoritmo de aprendizaje lineal, introduzca el siguiente código en su SageMaker bloc de notas:import boto3
from sagemaker.image_uris import retrieve
ll_image = retrieve("linear-learner", boto3.Session().region_name)
s3_ll_output_key_prefix = "ll_training_output"
s3_ll_output_location = "s3://{}/{}/{}/{}".format(
bucket, prefix, s3_ll_output_key_prefix, "ll_model"
)
ll_estimator = sagemaker.estimator.Estimator(
ll_image,
role,
instance_count=1,
instance_type="ml.m4.2xlarge",
volume_size=20,
max_run=3600,
input_mode="File",
output_path=s3_ll_output_location,
sagemaker_session=sagemaker_session,
)
ll_estimator.set_hyperparameters(feature_dim=10, predictor_type="regressor", mini_batch_size=32)
ll_train_data = sagemaker.inputs.TrainingInput(
preprocessed_train,
distribution="FullyReplicated",
content_type="text/csv",
s3_data_type="S3Prefix",
)
data_channels = {"train": ll_train_data}
ll_estimator.fit(inputs=data_channels, logs=True)
El código anterior recupera la imagen de Docker de Amazon ECR correspondiente del registro público de Amazon ECR del modelo, crea un objeto estimador y, a continuación, utiliza ese objeto para entrenar el modelo de regresión. | Científico de datos |
### Implemente la canalización final
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Implemente el modelo de canalización. | Para crear un objeto de modelo de canalización (es decir, un objeto de preprocesador) e implementar el objeto, introduzca el siguiente código en su SageMaker bloc de notas:from sagemaker.model import Model
from sagemaker.pipeline import PipelineModel
import boto3
from time import gmtime, strftime
timestamp_prefix = strftime("%Y-%m-%d-%H-%M-%S", gmtime())
scikit_learn_inferencee_model = sklearn_preprocessor.create_model()
linear_learner_model = ll_estimator.create_model()
model_name = "inference-pipeline-" + timestamp_prefix
endpoint_name = "inference-pipeline-ep-" + timestamp_prefix
sm_model = PipelineModel(
name=model_name, role=role, models= [scikit_learn_inferencee_model, linear_learner_model]
)
sm_model.deploy(initial_instance_count=1, instance_type="ml.c4.xlarge", endpoint_name=endpoint_name)
Puede ajustar el tipo de instancia utilizado en el objeto modelo para adaptarlo a sus necesidades. | Científico de datos |
| Pruebe la inferencia. | Para confirmar que el punto final funciona correctamente, ejecute el siguiente código de inferencia de ejemplo en su SageMaker bloc de notas:from sagemaker.predictor import Predictor
from sagemaker.serializers import CSVSerializer
payload = "M, 0.44, 0.365, 0.125, 0.516, 0.2155, 0.114, 0.155"
actual_rings = 10
predictor = Predictor(
endpoint_name=endpoint_name, sagemaker_session=sagemaker_session, serializer=CSVSerializer()
)
print(predictor.predict(payload))
| Científico de datos |
## Recursos relacionados
+ [Procese previamente los datos de entrada antes de realizar predicciones mediante las canalizaciones de SageMaker inferencia de Amazon y Scikit-learn (blog de AWS Machine Learning)](https://aws.amazon.com/blogs/machine-learning/preprocess-input-data-before-making-predictions-using-amazon-sagemaker-inference-pipelines-and-scikit-learn/)
+ [Machine Learning de principio a fin con Amazon SageMaker](https://github.com/aws-samples/amazon-sagemaker-build-train-deploy) (GitHub)
# Implemente la validación de seguridad de la codificación en tiempo real mediante un servidor MCP con Kiro y otros asistentes de codificación
*Ivan Girardi e Iker Reina Fuente, Amazon Web Services*
## Resumen
Este patrón describe cómo implementar un servidor de Model Context Protocol (MCP) que integre tres herramientas de escaneo de seguridad estándar del sector para proporcionar un análisis exhaustivo de la seguridad del código. El servidor permite a los asistentes de codificación de IA (como Kiro, Amazon Q Developer y Cline) escanear automáticamente fragmentos de código y configuraciones de infraestructura como código (IaC). Con estos escaneos, los asistentes de codificación pueden ayudar a identificar las vulnerabilidades de seguridad, los errores de configuración y las infracciones de conformidad.
Los generadores de códigos de IA entrenados con millones de fragmentos de código crean un punto ciego en materia de seguridad. ¿Cuán seguros estaban los datos de entrenamiento? Este patrón proporciona una validación de seguridad en tiempo real durante la generación del código, lo que ayuda a los desarrolladores a identificar y comprender los posibles problemas de seguridad a medida que codifican. Este enfoque ayuda a los desarrolladores a abordar tanto las vulnerabilidades directas como los riesgos heredados de las dependencias. Al cerrar la brecha entre la eficiencia de la IA y el cumplimiento de las normas de seguridad, este patrón ayuda a permitir la adopción segura de herramientas de desarrollo impulsadas por la IA.
Este patrón ayuda a las organizaciones a mejorar sus prácticas de seguridad de desarrollo mediante herramientas de codificación asistidas por IA, que proporcionan capacidades de escaneo de seguridad continuo en varios lenguajes de programación y definiciones de infraestructura. La solución combina las capacidades de las siguientes herramientas:
+ Compruebe si puede escanear archivos de IaC, incluidos los manifiestos de Terraform y AWS CloudFormation Kubernetes
+ Semgrep para analizar múltiples lenguajes de programación como Python JavaScript, Java y otros
+ Bandit para el escaneo de seguridad especializado en Python
Entre las principales características de esta solución se incluyen las siguientes:
+ Escaneo delta de nuevos segmentos de código, lo que reduce la sobrecarga computacional
+ Entornos de herramientas de seguridad aislados, lo que evita la contaminación entre herramientas
+ Integración perfecta con los asistentes de codificación de IA (Kiro, Amazon Q Developer, Cline y otros)
+ Comentarios de seguridad en tiempo real durante la generación de código
+ Reglas de escaneo personalizables para el cumplimiento organizacional
El patrón proporciona una interfaz unificada para el escaneo de seguridad con formatos de respuesta estandarizados, lo que facilita la integración de los controles de seguridad en los flujos de trabajo de desarrollo. El patrón utiliza Python y el marco MCP para ofrecer comentarios de seguridad automatizados. Este enfoque ayuda a los desarrolladores a identificar y abordar los problemas de seguridad al principio del proceso de desarrollo, a la vez que aprenden sobre las mejores prácticas de seguridad a través de hallazgos detallados.
## Requisitos previos y limitaciones
**Requisitos previos **
+ Un desarrollador activo Cuenta de AWS con acceso a Kiro o Amazon Q, si quieres usar alguno de esos asistentes de codificación
+ [Python versión 3.10 o posterior instalada](https://www.python.org/downloads/)
+ `uv`[administrador de paquetes instalado](https://docs.astral.sh/uv/getting-started/installation/)
+ Familiaridad con las herramientas y conceptos de escaneo de seguridad
+ Comprensión básica de la IaC y la seguridad de las aplicaciones
**Limitaciones**
+ El escaneo de bandidos se limita únicamente a los archivos de Python.
+ El escaneo en tiempo real puede afectar al rendimiento de bases de código grandes.
+ Las limitaciones específicas de la herramienta se basan en los formatos de archivo y los idiomas compatibles.
+ Se requiere una revisión manual para validar los hallazgos de seguridad.
+ Los resultados de los escaneos de seguridad requieren experiencia en seguridad para una interpretación adecuada.
+ Algunos Servicios de AWS no están disponibles en todos Regiones de AWS. Para obtener información sobre la disponibilidad en regiones, consulte [AWS Services by Region](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/). Para ver los puntos de conexión específicos, consulte [Service endpoints and quotas](https://docs.aws.amazon.com/general/latest/gr/aws-service-information.html) y elija el enlace del servicio.
**Versiones de producto**
+ Python versión 3.10 o posterior
+ Checkov versión 3.0.0 o posterior
+ Semgrep versión 1.45.0 o posterior
+ Bandit, versión 1.7.5 o posterior
+ MCP [cli] versión 1.11.0 o posterior
+ Pydantic, versión 1.10.0 o posterior
+ Loguru versión 0.6.0 o posterior
## Arquitectura
En el siguiente diagrama se muestra la arquitectura para esta solución.
![\[Los asistentes de IA envían el código al servidor de escáneres de seguridad MCP para enviarlo a escáneres especializados; los resultados del escaneo se envían al desarrollador.\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/images/pattern-img/fa623544-4d54-48af-a4e4-9b6a0624e776/images/9c881f95-76d0-40f6-983e-d987fd2097b8.png)
En el diagrama, se muestra el siguiente flujo de trabajo:
1. El desarrollador utiliza asistentes de IA (por ejemplo, Kiro, Cline, Amazon Q Developer o Roo Code) para generar o analizar el código. El asistente de IA envía el código para escanearlo de seguridad.
1. El servidor de escáner de seguridad MCP procesa la solicitud enrutándola al escáner especializado apropiado: Checkov para archivos IAC, Semgrep para el análisis de múltiples lenguajes de programación o Bandit para el escaneo de seguridad específico de Python.
1. El asistente de IA envía al desarrollador los resultados del escáner, con los datos de seguridad, los niveles de gravedad, las descripciones detalladas y las correcciones sugeridas.
1. Se establece un circuito de retroalimentación continuo en el que el desarrollador recibe una validación de seguridad en tiempo real, lo que permite realizar correcciones automatizadas mediante asistentes de IA y promueve las mejores prácticas de seguridad durante el desarrollo.
La arquitectura mitiga los siguientes riesgos de seguridad comunes:
+ Inyección de comandos
+ Inyección rápida
+ Recorrido de trayectoria
+ Ataques de dependencia
+ Agotamiento de recursos
La arquitectura mitiga estos riesgos de seguridad comunes mediante la implementación de las siguientes prácticas recomendadas:
+ Todas las entradas del usuario y del modelo de IA se escriben en archivos temporales.
+ No se proporcionan entradas directas a los comandos de la interfaz de línea de comandos (CLI).
+ El acceso al sistema de archivos está restringido únicamente a los directorios y archivos temporales.
+ Los archivos temporales se limpian automáticamente.
+ Las respuestas de escaneo están desinfectadas.
+ Se aplica un aislamiento del proceso que restringe las capacidades del proceso.
+ Se registran todas las actividades de escaneo.
**Automatización y escala**
El patrón admite la automatización a través de las siguientes capacidades:
+ Integración con asistentes de codificación de IA para el escaneo automático de códigos
+ Respuestas de API estandarizadas para el procesamiento automatizado
+ Configuración mediante archivos de configuración MCP
+ Support para el procesamiento por lotes de varios archivos
+ Escaneo escalable en varios lenguajes de programación y formatos IaC
El proceso de escaneo se puede automatizar a través de los puntos finales de la API proporcionados:
+ `scan_with_checkov`para escanear iAC
+ `scan_with_semgrep`para escanear códigos en varios idiomas
+ `scan_with_bandit`para escaneos específicos de Python
+ `get_supported_formats`para la validación del formato
Al ampliar las herramientas de digitalización, siga los principios de diseño y las prácticas recomendadas descritos anteriormente en esta sección. Consulte también [las prácticas recomendadas](#deploy-real-time-coding-security-validation-by-using-an-mcp-server-with-kiro-and-other-coding-assistants-best-practices).
## Tools (Herramientas)
**Servicios de AWS**
+ [Kiro](https://aws.amazon.com/documentation-overview/kiro/) es un servicio de programación agencial que trabaja junto con los desarrolladores para convertir las indicaciones en especificaciones detalladas y, luego, en código funcional, documentos y pruebas. Los agentes de Kiro ayudan a los desarrolladores a resolver problemas complejos y a automatizar tareas como la generación de documentación y las pruebas unitarias.
+ [Amazon Q Developer](https://docs.aws.amazon.com/amazonq/latest/qdeveloper-ug/what-is.html) es un asistente conversacional generativo basado en inteligencia artificial que puede ayudarlo a comprender, crear, ampliar y operar aplicaciones. AWS
**Otras herramientas**
+ [Bandit](https://bandit.readthedocs.io/en/latest/) es una herramienta de escaneo de seguridad especializada en Python. Detecta problemas de seguridad comunes de Python, como funciones inseguras, secretos codificados y vulnerabilidades de inyección. Bandit proporciona índices detallados de confianza y gravedad.
+ [Checkov](https://github.com/bridgecrewio/checkov) es una herramienta de análisis de código estático que comprueba si el IaC está mal configurado en materia de seguridad y conformidad. Además, Checkov detecta las infracciones de conformidad y las mejores prácticas de seguridad.
+ [Cline](https://cline.bot/) es un asistente de codificación impulsado por IA que se ejecuta en VS Code.
+ [Loguru](https://loguru.readthedocs.io/en/stable/) es una biblioteca de validación de datos para Python.
+ [El Model Context Protocol (MCP)](https://modelcontextprotocol.io/docs/getting-started/intro) es un marco de código abierto para crear herramientas de desarrollo asistidas por IA.
+ [Pydantic](https://docs.pydantic.dev/latest/) es una biblioteca de validación de datos para Python.
+ [Semgrep](https://semgrep.dev/docs/introduction) analiza el código fuente en busca de vulnerabilidades y errores de seguridad. Es compatible con varios lenguajes de programación. Semgrep utiliza conjuntos de reglas centrados en la seguridad para un análisis exhaustivo. Proporciona calificaciones detalladas de confianza y gravedad.
**Repositorio de código**
El código de este patrón está disponible en el repositorio GitHub [MCP Security Scanner: Real-Time Protection for AI Code Assistants](https://github.com/aws-samples/sample-mcp-security-scanner). El repositorio incluye la implementación del servidor MCP, detalles sobre la configuración del MCP para Kiro, Amazon Q Developer, Cline y otros, ejemplos de configuración y utilidades de prueba.
La estructura del repositorio incluye lo siguiente:
+ `security_scanner_mcp_server/`- Implementación del servidor principal
+ `docs/`- Documentación y materiales de demostración
+ `tests/`- Archivos de prueba
+ `mcp-config-example.json`- Ejemplo de configuración de MCP
+ `requirements.txt`- Dependencias del proyecto
## Prácticas recomendadas
**Implementación de escaneos de seguridad**
+ Revise los hallazgos de seguridad para validar y priorizar los problemas.
+ Mantenga las herramientas de escaneo (Checkov, Semgrep y Bandit) actualizadas a las versiones más recientes.
+ Utilice la herramienta de seguridad MCP de este patrón junto con otras medidas y herramientas de seguridad.
+ Actualice los conjuntos de reglas y políticas de seguridad con regularidad.
**Administración de la configuración**
+ Utilice los archivos de configuración del MCP de la fuente oficial de control de versiones.
+ Documente las reglas y configuraciones personalizadas.
**Integration**
+ Integre el escaneo de seguridad al principio del ciclo de desarrollo.
+ Configure el escaneo automatizado en enlaces previos a la confirmación o en canalizaciones de integración e implementación continuas (CI/CD).
+ Configure los umbrales de gravedad adecuados para su entorno.
+ Establezca procedimientos claros para gestionar los hallazgos de seguridad.
**Consideraciones operativas**
+ Supervise el rendimiento del escaneo y el uso de los recursos.
+ Implemente un manejo y registro de errores adecuados.
+ Mantenga la documentación de las configuraciones personalizadas.
+ Establezca un proceso para revisar y actualizar las reglas de seguridad.
Además, tenga en cuenta las siguientes prácticas recomendadas:
+ Valide siempre los hallazgos de seguridad en su contexto específico.
+ Mantenga actualizadas las dependencias y las herramientas de seguridad.
+ Utilice varias herramientas de seguridad para obtener una cobertura integral.
+ Siga las mejores prácticas de seguridad en su proceso de desarrollo.
## Epics
### (Usuarios de Kiro) Configure el servidor del escáner de seguridad MCP
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Configure los ajustes del MCP. | Puede editar los archivos de configuración en Kiro (opción 1) localizándolos manualmente o (opción 2) utilizando el IDE de Kiro.[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/deploy-real-time-coding-security-validation-by-using-an-mcp-server-with-kiro-and-other-coding-assistants.html){
"mcpServers": {
"security-scanner": {
"command": "uvx",
"args": [
"--from",
"git+https://github.com/aws-samples/sample-mcp-security-scanner.git@main",
"security_scanner_mcp_server"
],
"env": {
"FASTMCP_LOG_LEVEL": "ERROR"
},
"disabled": false,
"autoApprove": []
}
}
} | Desarrollador de aplicaciones |
### (Usuarios desarrolladores de Amazon Q) Configurar el servidor del escáner de seguridad MCP
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Configure los ajustes del MCP. | Para configurar los ajustes del MCP manualmente, siga estos pasos:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/deploy-real-time-coding-security-validation-by-using-an-mcp-server-with-kiro-and-other-coding-assistants.html){
"mcpServers": {
"security-scanner": {
"command": "uvx",
"args": [
"--from",
"git+https://github.com/aws-samples/sample-mcp-security-scanner.git@main",
"security_scanner_mcp_server"
],
"env": {
"FASTMCP_LOG_LEVEL": "ERROR"
}
}
}
} | Desarrollador de aplicaciones |
### (Usuarios de Cline) Configure el servidor del escáner de seguridad MCP
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Configure los ajustes del MCP. | Para configurar los ajustes del MCP manualmente, siga estos pasos:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/deploy-real-time-coding-security-validation-by-using-an-mcp-server-with-kiro-and-other-coding-assistants.html){
"mcpServers": {
"security-scanner": {
"command": "uvx",
"args": [
"--from",
"git+https://github.com/aws-samples/sample-mcp-security-scanner.git@main",
"security_scanner_mcp_server"
],
"env": {
"FASTMCP_LOG_LEVEL": "ERROR"
},
"disabled": false,
"autoApprove": []
}
}
} | Desarrollador de aplicaciones |
### Ejemplo de análisis de código con Python y Bandit
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Realice el análisis del código. | Para realizar un análisis de código mediante Python y Bandit, siga los siguientes pasos:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/deploy-real-time-coding-security-validation-by-using-an-mcp-server-with-kiro-and-other-coding-assistants.html) | Desarrollador de aplicaciones |
### Ejemplo de análisis de código con Terraform y Checkov
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Realice el análisis del código. | Para realizar un análisis de código mediante Terraform y Checkov, siga los siguientes pasos:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/deploy-real-time-coding-security-validation-by-using-an-mcp-server-with-kiro-and-other-coding-assistants.html) | Desarrollador de aplicaciones |
### Ejemplo de capacidades de escaneo avanzadas
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Realice un escaneo específico. | A continuación, se muestran algunos ejemplos de solicitudes que puede utilizar para realizar un análisis específico:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/deploy-real-time-coding-security-validation-by-using-an-mcp-server-with-kiro-and-other-coding-assistants.html) | Desarrollador de aplicaciones |
| Utilice el escaneo de seguridad con la generación de código. | Para resolver los problemas de seguridad mediante bucles de generación de código, siga los siguientes pasos (en este ejemplo se utiliza Kiro como asistente de codificación):[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/deploy-real-time-coding-security-validation-by-using-an-mcp-server-with-kiro-and-other-coding-assistants.html) | Desarrollador de aplicaciones |
## Resolución de problemas
| Problema | Solución |
| --- | --- |
| Problemas de configuración del entorno | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/deploy-real-time-coding-security-validation-by-using-an-mcp-server-with-kiro-and-other-coding-assistants.html) |
| Problemas con el escáner | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/deploy-real-time-coding-security-validation-by-using-an-mcp-server-with-kiro-and-other-coding-assistants.html) |
| Problemas de integración | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/deploy-real-time-coding-security-validation-by-using-an-mcp-server-with-kiro-and-other-coding-assistants.html) |
| Compatibilidad adicional | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/deploy-real-time-coding-security-validation-by-using-an-mcp-server-with-kiro-and-other-coding-assistants.html) |
## Recursos relacionados
**AWS documentación**
+ [La infraestructura como código](https://docs.aws.amazon.com/whitepapers/latest/introduction-devops-aws/infrastructure-as-code.html) (AWS documento técnico: *introducción a DevOps On*) AWS
**Otros recursos AWS **
+ [Prácticas recomendadas para seguridad, identidad y conformidad](https://aws.amazon.com/architecture/security-identity-compliance/)
**Otros recursos**
+ [Documentación sobre bandidos](https://aws.amazon.com/architecture/security-identity-compliance/)
+ [Consulte la documentación](https://aws.amazon.com/architecture/security-identity-compliance/)
+ [Documentación del Protocolo de contexto modelo (MCP)](https://aws.amazon.com/architecture/security-identity-compliance/)
+ [Prácticas de codificación segura de OWASP](https://owasp.org/www-project-secure-coding-practices-quick-reference-guide/) (sitio web de la Fundación OWASP)
+ [Documentación de Semgrep](https://aws.amazon.com/architecture/security-identity-compliance/)
## Información adicional
**Ejemplo de configuración de MCP con la aprobación automática habilitada**
Si no `autoApprove` está configurado, el usuario debe aprobar el envío del código al servidor de seguridad MCP para su escaneo. Cuando `autoApprove` está configurado, el asistente de código puede invocar las herramientas sin la aprobación del usuario. Estas herramientas se ejecutan localmente en la máquina, no se envían datos y solo se escanea el código.
La siguiente configuración permite la ejecución automática de todas las funciones de escaneo de seguridad:
```
{
"mcpServers": {
"security-scanner": {
"command": "uvx",
"args": [
"--from",
"git+https://github.com/aws-samples/sample-mcp-security-scanner.git@main",
"security_scanner_mcp_server"
],
"env": {
"FASTMCP_LOG_LEVEL": "ERROR"
},
"disabled": false,
"autoApprove": [
"scan_with_checkov",
"scan_with_semgrep",
"scan_with_bandit",
"get_supported_formats"
]
}
}
}
```
Para habilitar el registro de depuración, establézcalo en`"FASTMCP_LOG_LEVEL"`. `"DEBUG"`
**Formatos de archivo compatibles con las herramientas de análisis de seguridad**
Cada herramienta de análisis de seguridad de esta solución admite los siguientes formatos de archivo:
*Checkov (iAC)*
+ Terraform: .tf, .tfvars, .tfstate
+ CloudFormation — .yaml, .yml, .json, .template
+ Kubernetes: .yaml, .yml
+ Dockerfile — Dockerfile
+ ARM — .json (administrador de recursos de Azure)
+ Bíceps: .bicep
+ Sin servidor: .yml, .yaml
+ Helm: .yaml, .yml, .tpl
+ GitHub Acciones: .yml, .yaml
+ GitLab\$1ci: .yml, .yaml
+ Ansible: .yml, .yaml
*Semgrep (código fuente)*
+ Python — .py
+ JavaScript — .js
+ TypeScript — .ts
+ Java — .java
+ Ir — .go
+ C — c.
+ C\$1\$1 — .cpp
+ C\$1 — .cs
+ Ruby — .rb
+ PHP — .php
+ Scala — .scala
+ Kotlin — .kt
+ Rust — .rs
*Bandit (solo en Python)*
+ Python — .py
**Demostraciones**
Para escanear códigos, prueba los siguientes ejemplos de instrucciones con tu asistente de IA:
+ «Escanea el script actual y dime los resultados».
+ «Escanea las líneas 20 a 60 y dime los resultados».
+ «Escanee este recurso de tabla de Amazon DynamoDB y dígame el resultado».
Para obtener más información, consulte esta [demostración de escaneo de código](https://github.com/aws-samples/sample-mcp-security-scanner/blob/main/docs/demo_code_scan.gif) en el repositorio de GitHub este patrón.
Para generar código seguro, prueba los siguientes ejemplos de instrucciones:
+ «Genere una configuración de Terraform para crear una tabla de DynamoDB con el cifrado activado y escanéela para detectar problemas de seguridad».
+ «Cree una función Lambda de Python que escriba en DynamoDB y analícela en busca de vulnerabilidades».
+ «Genere una CloudFormation plantilla para un bucket de S3 con la configuración de seguridad adecuada y compruebe que supera las comprobaciones de seguridad».
+ «Escriba un script de Python para consultar DynamoDB con paginación y busque las mejores prácticas de seguridad».
+ «Cree un manifiesto de despliegue de Kubernetes para un microservicio que refuerce la seguridad y valídelo».
Para obtener más información, consulta esta demostración de [generación de código con escaneo de seguridad](https://github.com/aws-samples/sample-mcp-security-scanner/blob/main/docs/demo_code_generation.gif) en el repositorio de este patrón. GitHub
# Desarrolle asistentes avanzados de IA generativa basados en chat mediante RAG y solicitudes ReAct
*Praveen Kumar Jeyarajan, Shuai Cao, Noah Hamilton, Kiowa Jackson, Jundong Qiao y Kara Yang, Amazon Web Services*
## Resumen
Una empresa típica tiene el 70 por ciento de sus datos atrapados en sistemas aislados. Puede utilizar asistentes basados en el chat de IA generativa para obtener información y relaciones entre estos silos de datos mediante interacciones en lenguaje natural. Para aprovechar al máximo la IA generativa, los resultados deben ser fiables, precisos e incluir los datos corporativos disponibles. El éxito de los asistentes basados en el chat depende de lo siguiente:
+ Modelos de IA generativa (como Anthropic Claude 2)
+ Vectorización de orígenes de datos
+ Técnicas de razonamiento avanzadas, como el [ReAct marco](https://www.promptingguide.ai/techniques/react), para impulsar el modelo
Este patrón proporciona enfoques de recuperación de datos desde orígenes de datos como los buckets de Amazon Simple Storage Service (Amazon S3), AWS Glue y Amazon Relational Database Service (Amazon RDS). El valor se obtiene de esos datos intercalando la [generación aumentada de recuperación (RAG](https://docs.aws.amazon.com/bedrock/latest/userguide/knowledge-base.html)) con los métodos. chain-of-thought Los resultados permiten mantener conversaciones complejas con asistentes basados en el chat que utilizan la totalidad de los datos almacenados en su empresa.
Este patrón utiliza los SageMaker manuales de Amazon y las tablas de datos de precios como ejemplo para explorar las capacidades de un asistente generativo basado en el chat de IA. Crearás un asistente basado en el chat que ayude a los clientes a evaluar el SageMaker servicio respondiendo a preguntas sobre los precios y las capacidades del servicio. La solución utiliza una biblioteca Streamlit para crear la aplicación frontend y el LangChain marco para desarrollar el backend de la aplicación con la tecnología de un gran modelo de lenguaje (LLM).
Las consultas al asistente basado en el chat se responden con una clasificación inicial de intenciones para redirigirlas a uno de los tres posibles flujos de trabajo. El flujo de trabajo más sofisticado combina una orientación de asesoramiento general con un análisis de precios complejo. Puede adaptar el patrón para que se ajuste a los casos de uso empresarial, corporativo e industrial.
## Requisitos previos y limitaciones
**Requisitos previos **
+ La [Interfaz de la línea de comandos de AWS (AWS CLI)](https://docs.aws.amazon.com/cli/latest/userguide/getting-started-install.html) instalada y configurada.
+ [Kit de herramientas AWS Cloud Development Kit (AWS CDK) 2.114.1 o posterior](https://docs.aws.amazon.com/cdk/v2/guide/getting_started.html) instalado y configurado.
+ Conocimientos básicos sobre Python y AWS CDK.
+ [Git](https://git-scm.com/book/en/v2/Getting-Started-Installing-Git) instalado
+ [Docker](https://docs.docker.com/get-docker/) instalado
+ [Python 3.11 o posterior](https://www.python.org/downloads/) instalado y configurado (para obtener más información, consulte la sección [Herramientas](#develop-advanced-generative-ai-chat-based-assistants-by-using-rag-and-react-prompting-tools)).
+ Una [cuenta de AWS activa](https://docs.aws.amazon.com/accounts/latest/reference/manage-acct-creating.html) iniciada mediante [AWS CDK](https://docs.aws.amazon.com/cdk/v2/guide/bootstrapping.html).
+ El [acceso a los modelos](https://docs.aws.amazon.com/bedrock/latest/userguide/model-access.html#add-model-access) de Amazon Titan y Anthropic Claude habilitado en el servicio Amazon Bedrock.
+ [Credenciales de seguridad de AWS](https://docs.aws.amazon.com/cli/latest/userguide/cli-configure-envvars.html), incluida `AWS_ACCESS_KEY_ID`, correctamente configuradas en su entorno de terminal
**Limitaciones**
+ LangChain no es compatible con todos los LLM para la transmisión. Los modelos Anthropic Claude son compatibles, pero los modelos de AI21 Labs no.
+ Esta solución se implementa en una única cuenta de AWS.
+ Esta solución solo se puede implementar en las regiones de AWS en las que estén disponibles Amazon Bedrock y Amazon Kendra. Para obtener información sobre la disponibilidad, consulte la documentación de [Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/what-is-bedrock.html#bedrock-regions) y [Amazon Kendra](https://docs.aws.amazon.com/general/latest/gr/kendra.html).
**Versiones de producto**
+ Python versión 3.11 o posterior
+ Streamlit versión 1.30.0 o posterior
+ Streamlit versión de chat 0.1.1 o posterior
+ LangChain versión 0.1.12 o posterior
+ AWS CDK versión 2.132.1 o posterior
## Arquitectura
**Pila de tecnología de destino**
+ Amazon Athena
+ Amazon Bedrock
+ Amazon Elastic Container Service (Amazon ECS)
+ AWS Glue
+ AWS Lambda
+ Amazon S3
+ Amazon Kendra
+ Elastic Load Balancing
**Arquitectura de destino**
El código de AWS CDK implementará todos los recursos necesarios para configurar la aplicación de asistente basado en el chat en una cuenta de AWS. La aplicación de asistente basada en el chat que se muestra en el siguiente diagrama está diseñada para responder a las consultas SageMaker relacionadas de los usuarios. Los usuarios se conectan a través de un equilibrador de carga de aplicación a una VPC que contiene un clúster de Amazon ECS que aloja la aplicación Streamlit. Una función de Lambda de orquestación se conecta a la aplicación. Los orígenes de datos del bucket de S3 proporcionan datos a la función de Lambda a través de Amazon Kendra y AWS Glue. La función de Lambda se conecta a Amazon Bedrock para responder a las consultas (preguntas) de los usuarios de asistentes basados en el chat.
![\[Diagrama de arquitectura.\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/images/pattern-img/b4df6405-76ab-4493-a722-15ceca067254/images/4e5856cf-9489-41f8-a411-e3b8d8a50748.png)
1. La función de Lambda de orquestación envía la solicitud de petición LLM al modelo de Amazon Bedrock (Claude 2).
1. Amazon Bedrock devuelve la respuesta LLM a la función de Lambda de orquestación.
**Flujo lógico dentro de la función de Lambda de orquestación**
Cuando los usuarios hacen una pregunta a través de la aplicación Streamlit, esta invoca directamente la función de Lambda de orquestación. El siguiente diagrama muestra el flujo lógico cuando se invoca la función de Lambda.
![\[Diagrama de arquitectura.\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/images/pattern-img/b4df6405-76ab-4493-a722-15ceca067254/images/70ae4736-06a6-4d3a-903a-edc5c10d78a0.png)
+ Paso 1: la entrada `query` (pregunta) se clasifica en una de las tres intenciones:
+ Preguntas de SageMaker orientación general
+ Preguntas generales SageMaker sobre precios (formación/inferencia)
+ Preguntas complejas relacionadas con los precios SageMaker
+ Paso 2: la entrada `query` inicia uno de los tres servicios:
+ `RAG Retrieval service`, que recupera el contexto relevante de la base de datos vectorial de [Amazon Kendra](https://aws.amazon.com/kendra/) y llama al LLM a través de [Amazon Bedrock](https://aws.amazon.com/bedrock/) para resumir el contexto recuperado como respuesta.
+ `Database Query service`, que utiliza el LLM, los metadatos de la base de datos y las filas de muestra de las tablas relevantes para convertir la entrada `query` en una consulta SQL. El servicio Database Query ejecuta la consulta SQL en la base de datos de SageMaker precios a través de [Amazon Athena](https://aws.amazon.com/athena/) y resume los resultados de la consulta como respuesta.
+ `In-context ReACT Agent service`, que divide la entrada `query` en varios pasos antes de proporcionar una respuesta. El agente utiliza `RAG Retrieval service` y `Database Query service` como herramientas para recuperar información relevante durante el proceso de razonamiento. Una vez completados los procesos de razonamiento y acción, el agente genera la respuesta final como respuesta.
+ Paso 3: la respuesta de la función de Lambda de orquestación se envía a la aplicación Streamlit como salida.
## Tools (Herramientas)
**Servicios de AWS**
+ [Amazon Athena](https://docs.aws.amazon.com/athena/latest/ug/what-is.html) es un servicio interactivo de consultas que le permite analizar datos directamente en Amazon Simple Storage Service (Amazon S3) usando SQL estándar.
+ [Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/what-is-bedrock.html) es un servicio totalmente gestionado que pone a su disposición modelos básicos de alto rendimiento (FMs) de las principales empresas emergentes de IA y Amazon a través de una API unificada.
+ [AWS Cloud Development Kit (AWS CDK)](https://docs.aws.amazon.com/cdk/latest/guide/home.html) es un marco de desarrollo de software que le ayuda a definir y aprovisionar la infraestructura de la nube de AWS en código.
+ La [Interfaz de la línea de comandos de AWS (AWS CLI)](https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-welcome.html) es una herramienta de código abierto que le permite interactuar con los servicios de AWS mediante comandos en el intérprete de comandos de la línea de comandos.
+ [Amazon Elastic Container Service (Amazon ECS)](https://docs.aws.amazon.com/AmazonECS/latest/developerguide/Welcome.html) es un servicio de administración de contenedores escalable y rápido que ayuda a ejecutar, detener y administrar contenedores en un clúster.
+ [AWS Glue](https://docs.aws.amazon.com/glue/) es un servicio de extracción, transformación y carga (ETL) completamente administrado. Ayuda a clasificar, limpiar, enriquecer y mover datos de forma fiable entre almacenes de datos y flujos de datos. Este patrón emplea un rastreador de AWS Glue y una tabla del catálogo de datos de AWS Glue.
+ [Amazon Kendra](https://docs.aws.amazon.com/kendra/latest/dg/what-is-kendra.html) es un servicio de búsqueda inteligente que usa el procesamiento del lenguaje natural y algoritmos avanzados de machine learning para devolver respuestas específicas a las preguntas de búsqueda a partir de sus datos.
+ [AWS Lambda](https://docs.aws.amazon.com/lambda/latest/dg/welcome.html) es un servicio de computación que ayuda a ejecutar código sin necesidad de aprovisionar ni administrar servidores. Ejecuta el código solo cuando es necesario y amplía la capacidad de manera automática, por lo que solo pagará por el tiempo de procesamiento que utilice.
+ [Amazon Simple Storage Service (Amazon S3)](https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html) es un servicio de almacenamiento de objetos basado en la nube que lo ayuda a almacenar, proteger y recuperar cualquier cantidad de datos.
+ [Elastic Load Balancing (ELB)](https://docs.aws.amazon.com/elasticloadbalancing/latest/userguide/what-is-load-balancing.html) distribuye el tráfico entrante de aplicaciones o redes entre varios destinos. Así, por ejemplo, puede distribuir el tráfico a través de instancias de Amazon Elastic Compute Cloud (Amazon EC2), contenedores y direcciones IP de una o varias zonas de disponibilidad.
**Repositorio de código**
El código de este patrón está disponible en el GitHub [genai-bedrock-chatbot](https://github.com/awslabs/genai-bedrock-chatbot)repositorio.
El repositorio de código contiene los siguientes archivos y carpetas:
+ Carpeta `assets`: los activos estáticos, el diagrama de arquitectura y el conjunto de datos público.
+ Carpeta `code/lambda-container`: el código Python que se ejecuta en la función de Lambda.
+ Carpeta `code/streamlit-app`: el código Python que se ejecuta como imagen de contenedor en Amazon ECS.
+ Carpeta `tests`: los archivos de Python que se ejecutan para realizar pruebas unitarias de los constructos de AWS CDK.
+ Carpeta `code/code_stack.py`: los archivos de Python de constructo de AWS CDK usados para crear los recursos de AWS.
+ `app.py`: los archivos de Python de la pila de AWS CDK que se utilizan para implementar los recursos de AWS en la cuenta de AWS de destino.
+ `requirements.txt`: la lista de todas las dependencias de Python que se deben instalar para AWS CDK.
+ `requirements-dev.txt`: la lista de todas las dependencias de Python que se deben instalar para AWS CDK para ejecutar el conjunto de pruebas unitarias.
+ `cdk.json` – El archivo de entrada que proporciona los valores necesarios para activar los recursos
|
|
| Nota: El código de AWS CDK utiliza [constructos de nivel 3 (capa 3)](https://docs.aws.amazon.com/cdk/latest/guide/getting_started.html) y [políticas de AWS Identity and Access Management (IAM) administradas por AWS](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_managed-vs-inline.html#aws-managed-policies) para implementar la solución. |
| --- |
## Prácticas recomendadas
+ El ejemplo de código que se proporciona aquí es solo para una demostración proof-of-concept (PoC) o piloto. Si desea llevar el código a producción, asegúrese de seguir las siguientes prácticas recomendadas:
+ El [registro de acceso a Amazon S3 está activado](https://docs.aws.amazon.com/AmazonS3/latest/userguide/enable-server-access-logging.html).
+ Los [registros de flujos de VPC están activados](https://docs.aws.amazon.com/vpc/latest/userguide/flow-logs.html).
+ El [índice Enterprise Edition de Amazon Kendra](https://docs.aws.amazon.com/whitepapers/latest/how-aws-pricing-works/amazon-kendra.html) está activado.
+ Configure la supervisión y las alertas para las funciones de Lambda de AWS. Para obtener más información, consulte [Supervisión y solución de problemas de funciones de Lambda](https://docs.aws.amazon.com/lambda/latest/dg/lambda-monitoring.html). Para obtener más información sobre las prácticas recomendadas generales en el uso de funciones de Lambda, consulte la [documentación de AWS](https://docs.aws.amazon.com/lambda/latest/dg/best-practices.html).
## Epics
### Configuración de las credenciales de AWS en su máquina local
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Exporte las variables de la cuenta y región de AWS en las que se implementará la pila. | Para proporcionar las credenciales de AWS para AWS CDK mediante variables de entorno, ejecute los siguientes comandos.export CDK_DEFAULT_ACCOUNT=<12 Digit AWS Account Number>
export CDK_DEFAULT_REGION=
| DevOps ingeniero, AWS DevOps |
| Configure el perfil de AWS CLI. | Para configurar el perfil de AWS CLI para la cuenta, siga las instrucciones de la [documentación de AWS](https://docs.aws.amazon.com/toolkit-for-visual-studio/latest/user-guide/keys-profiles-credentials.html). | DevOps ingeniero, AWS DevOps |
### Configure su entorno
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Clone el repositorio en su máquina local. | Para clonar el repositorio, ejecute el siguiente comando en el terminal.git clone https://github.com/awslabs/genai-bedrock-chatbot.git
| DevOps ingeniero, AWS DevOps |
| Configure el entorno virtual de Python e instale las dependencias necesarias. | Para configurar y activar el entorno virtual de Python, ejecute el siguiente comando.cd genai-bedrock-chatbot
python3 -m venv .venv
source .venv/bin/activate
Para configurar las dependencias necesarias, ejecute el siguiente comando.pip3 install -r requirements.txt
| DevOps ingeniero, AWS DevOps |
| Configure el entorno de AWS CDK y sintetice el código de AWS CDK. | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/develop-advanced-generative-ai-chat-based-assistants-by-using-rag-and-react-prompting.html) | DevOps ingeniero, AWS DevOps |
### Configuración e implementación de la aplicación de asistente basado en el chat
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Proporcione acceso al modelo Claude. | Para activar el acceso al modelo Anthropic Claude en su cuenta de AWS, siga las instrucciones de la [documentación de Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/model-access.html#add-model-access). | AWS DevOps |
| Implementar recursos en la cuenta. | Para implementar recursos en la cuenta de AWS mediante AWS CDK, haga lo siguiente:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/develop-advanced-generative-ai-chat-based-assistants-by-using-rag-and-react-prompting.html)Tras una implementación correcta, puede acceder a la aplicación de asistente basada en el chat mediante la URL proporcionada en la sección de CloudFormation **resultados**. | AWS DevOps, DevOps ingeniero |
| Ejecute el rastreador de AWS Glue y cree la tabla del catálogo de datos. | El [rastreador de AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/add-crawler.html) se usa para mantener el esquema de datos dinámico. La solución crea y actualiza las particiones en la [tabla del catálogo de datos de AWS Glue](https://docs.aws.amazon.com/athena/latest/ug/querying-glue-catalog.html) mediante la ejecución del rastreador bajo demanda. Una vez copiados los archivos del conjunto de datos CSV en el bucket de S3, ejecute el rastreador de AWS Glue y cree el esquema de la tabla del catálogo de datos para realizar las pruebas:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/develop-advanced-generative-ai-chat-based-assistants-by-using-rag-and-react-prompting.html)El código de AWS CDK configura el rastreador de AWS Glue para que se ejecute bajo demanda, pero también puede [programarlo](https://docs.aws.amazon.com/glue/latest/dg/schedule-crawler.html) para que se ejecute de forma periódica. | DevOps ingeniero, AWS DevOps |
| Inicie la indexación de documentos. | Una vez copiados los archivos en el bucket de S3, utilice Amazon Kendra para rastrearlos e indexarlos:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/develop-advanced-generative-ai-chat-based-assistants-by-using-rag-and-react-prompting.html)El código de AWS CDK configura la sincronización de índices de Amazon Kendra para que se ejecute bajo demanda, pero también puede ejecutarla periódicamente mediante el [parámetro de programación](https://docs.aws.amazon.com/kendra/latest/dg/data-source.html#cron). | AWS DevOps, DevOps ingeniero |
### Limpie todos los recursos de AWS de la solución
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Elimine los recursos de AWS. | Después de probar la solución, limpie los recursos:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/develop-advanced-generative-ai-chat-based-assistants-by-using-rag-and-react-prompting.html) | DevOps ingeniero, AWS DevOps |
## Resolución de problemas
| Problema | Solución |
| --- | --- |
| AWS CDK devuelve errores. | Para obtener ayuda con los errores de AWS CDK, consulte [Solución de problemas comunes de AWS CDK](https://docs.aws.amazon.com/cdk/v2/guide/troubleshooting.html). |
## Recursos relacionados
+ Amazon Bedrock:
+ [Acceso a modelos](https://docs.aws.amazon.com/bedrock/latest/userguide/model-access.html)
+ [Parámetros de inferencia para modelos básicos](https://docs.aws.amazon.com/bedrock/latest/userguide/model-parameters.html)
+ [Creación de funciones de Lambda con Python](https://docs.aws.amazon.com/lambda/latest/dg/lambda-python.html)
+ [Introducción a AWS CDK](https://docs.aws.amazon.com/cdk/v2/guide/getting_started.html)
+ [Utilización de AWS CDK en Python](https://docs.aws.amazon.com/cdk/v2/guide/work-with-cdk-python.html)
+ [Creador de aplicaciones de IA generativa en AWS](https://docs.aws.amazon.com/solutions/latest/generative-ai-application-builder-on-aws/solution-overview.html)
+ [LangChain documentación](https://python.langchain.com/docs/get_started/introduction)
+ [Documentación de Streamlit](https://docs.streamlit.io/)
## Información adicional
**Comandos de AWS CDK**
Cuando trabaje con AWS CDK, recuerde los siguientes comandos útiles:
+ Muestra todas las pilas de la aplicación
```
cdk ls
```
+ Emite la plantilla de AWS CloudFormation sintetizada
```
cdk synth
```
+ Implementa la pila en la cuenta y región de AWS predeterminadas
```
cdk deploy
```
+ Compara la pila implementada con el estado actual
```
cdk diff
```
+ Abre la documentación de AWS CDK
```
cdk docs
```
+ Elimina la CloudFormation pila y elimina los recursos desplegados por AWS
```
cdk destroy
```
# Desarrollo de un asistente basado en el chat totalmente automatizado con los agentes y las bases de conocimiento de Amazon Bedrock
*Jundong Qiao, Shuai Cao, Noah Hamilton, Kiowa Jackson, Praveen Kumar Jeyarajan y Kara Yang, Amazon Web Services*
## Resumen
Muchas organizaciones se enfrentan a desafíos a la hora de crear un asistente basado en el chat que sea capaz de organizar diversos orígenes de datos para ofrecer respuestas integrales. Este patrón presenta una solución para desarrollar un asistente basado en el chat que sea capaz de responder a consultas tanto de la documentación como de las bases de datos, con una implementación sencilla.
Empezando por [Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/what-is-bedrock.html), este servicio de inteligencia artificial generativa (IA) totalmente gestionado ofrece una amplia gama de modelos básicos avanzados (FMs). Esto facilita la creación eficiente de aplicaciones de IA generativa con un fuerte enfoque en la privacidad y la seguridad. En el contexto de la recuperación de documentación, la [generación aumentada por recuperación (RAG)](https://docs.aws.amazon.com/sagemaker/latest/dg/jumpstart-foundation-models-customize-rag.html) es una característica fundamental. Utiliza [bases de conocimiento](https://docs.aws.amazon.com/bedrock/latest/userguide/knowledge-base.html) para complementar las peticiones de FM con información relevante desde el punto de vista contextual procedente de orígenes externos. Un índice de [Amazon OpenSearch Serverless](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/serverless-overview.html) sirve como base de datos vectorial detrás de las bases de conocimiento de Amazon Bedrock. Esta integración se mejora mediante una ingeniería de peticiones cuidadosa para minimizar las imprecisiones y garantizar que las respuestas se basen en la documentación fáctica. Para las consultas de bases FMs de datos, Amazon Bedrock transforma las consultas textuales en consultas SQL estructuradas, incorporando parámetros específicos. [Esto permite la recuperación precisa de los datos de las bases de datos administradas por las bases de datos.AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/define-database.html) Para estas consultas se utiliza [Amazon Athena](https://docs.aws.amazon.com/athena/latest/ug/what-is.html).
Para gestionar consultas más complejas, lograr respuestas integrales exige información procedente tanto de la documentación como de las bases de datos. [Agentes para Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/agents.html) es una característica de IA generativa que lo ayuda a crear agentes autónomos que puedan entender tareas complejas y dividirlas en tareas más sencillas para su orquestación. La combinación de información obtenida de las tareas simplificadas, facilitada por los agentes autónomos de Amazon Bedrock, mejora la síntesis de la información y permite obtener respuestas más completas y exhaustivas. Este patrón demuestra cómo crear un asistente basado en el chat mediante Amazon Bedrock y los servicios y características de IA generativa relacionados dentro de una solución automatizada.
## Requisitos previos y limitaciones
**Requisitos previos **
+ Un activo Cuenta de AWS
+ Docker [instalado](https://docs.docker.com/engine/install/)
+ AWS Cloud Development Kit (AWS CDK), [instalado](https://docs.aws.amazon.com/cdk/v2/guide/getting_started.html#getting_started_tools) y [arrancado en el](https://docs.aws.amazon.com/cdk/v2/guide/getting_started.html#getting_started_bootstrap) o `us-east-1` `us-west-2` Regiones de AWS
+ AWS CDK [Kit de herramientas, versión 2.114.1 o posterior, instalado](https://docs.aws.amazon.com/cdk/v2/guide/cli.html)
+ AWS Command Line Interface [https://docs.aws.amazon.com/cli/latest/userguide/getting-started-install.html](https://docs.aws.amazon.com/cli/latest/userguide/getting-started-install.html)
+ La versión 3.11 o posterior de Python [instalada](https://www.python.org/downloads/)
+ En Amazon Bedrock, [habilite el acceso](https://docs.aws.amazon.com/bedrock/latest/userguide/model-access.html) a Claude 2, Claude 2.1, Claude Instant y Titan Embeddings G1 — Text
**Limitaciones**
+ Esta solución se implementa en una sola unidad Cuenta de AWS.
+ Esta solución solo se puede implementar en Regiones de AWS lugares donde Amazon Bedrock y Amazon OpenSearch Serverless sean compatibles. Para obtener más información, consulte la documentación de [Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/bedrock-regions.html) y [Amazon OpenSearch Serverless](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/serverless-overview.html#serverless-regions).
**Versiones de producto**
+ Llama-index versión 0.10.6 o posterior
+ Sqlalchemy versión 2.0.23 o posterior
+ Opensearch-py versión 2.4.2 o posterior
+ Requests\$1aws4auth versión 1.2.3 o posterior
+ AWS SDK para Python (Boto3) versión 1.34.57 o posterior
## Arquitectura
**Pila de tecnología de destino**
[AWS Cloud Development Kit (AWS CDK)](https://docs.aws.amazon.com/cdk/v2/guide/home.html)Se trata de un marco de desarrollo de software de código abierto para definir la infraestructura de nube en el código y aprovisionarla mediante ella. AWS CloudFormation La AWS CDK pila utilizada en este patrón emplea los siguientes recursos: AWS
+ AWS Key Management Service (AWS KMS)
+ Amazon Simple Storage Service (Amazon S3)
+ AWS Glue Data Catalog, para el componente de AWS Glue base de datos
+ AWS Lambda
+ AWS Identity and Access Management (IAM)
+ Amazon OpenSearch Serverless
+ Amazon Elastic Container Registry (Amazon ECR)
+ Amazon Elastic Container Service (Amazon ECS)
+ AWS Fargate
+ Amazon Virtual Private Cloud (Amazon VPC)
+ [Equilibrador de carga de aplicación](https://docs.aws.amazon.com/elasticloadbalancing/latest/application/introduction.html)
**Arquitectura de destino**
![\[Diagrama de arquitectura mediante un agente y una base de conocimientos de Amazon Bedrock\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/images/pattern-img/15372718-3a5d-4918-9cfa-422c455f288d/images/ff19152e-0bb6-4758-a6dd-4f6140e55113.png)
El diagrama muestra una completa configuración AWS nativa de la nube dentro de una sola Región de AWS, usando múltiples. Servicios de AWS La interfaz principal del asistente basado en el chat es una aplicación de [Streamlit](https://docs.streamlit.io/) alojada en un clúster de Amazon ECS. Un [equilibrador de carga de aplicación](https://aws.amazon.com/elasticloadbalancing/application-load-balancer/) administra la accesibilidad. Las consultas realizadas a través de esta interfaz activan la función de Lambda `Invocation`, que luego interactúa con los agentes para Amazon Bedrock. Este agente responde a las consultas de los usuarios consultando las bases de conocimiento de Amazon Bedrock o invocando una función de Lambda `Agent executor`. Esta función desencadena un conjunto de acciones asociadas al agente, siguiendo un esquema de API predefinido. Las bases de conocimiento de Amazon Bedrock utilizan un índice OpenSearch sin servidor como base de base de datos vectorial. Además, la `Agent executor` función genera consultas SQL que se ejecutan en la AWS Glue base de datos a través de Amazon Athena.
## Tools (Herramientas)
**Servicios de AWS**
+ [Amazon Athena](https://docs.aws.amazon.com/athena/latest/ug/what-is.html) es un servicio interactivo de consultas que le permite analizar datos directamente en Amazon Simple Storage Service (Amazon S3) usando SQL estándar.
+ [Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/what-is-bedrock.html) es un servicio totalmente gestionado que pone a su disposición modelos básicos de alto rendimiento (FMs) de las principales empresas emergentes de IA y Amazon a través de una API unificada.
+ [AWS Cloud Development Kit (AWS CDK)](https://docs.aws.amazon.com/cdk/latest/guide/home.html)es un marco de desarrollo de software que le ayuda a definir y aprovisionar AWS la infraestructura de la nube en código.
+ [AWS Command Line Interface (AWS CLI)](https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-welcome.html) es una herramienta de código abierto que te ayuda a interactuar Servicios de AWS mediante comandos en tu shell de línea de comandos.
+ [Amazon Elastic Container Service (Amazon ECS)](https://docs.aws.amazon.com/AmazonECS/latest/developerguide/Welcome.html) es un servicio de administración de contenedores escalable y rápido que ayuda a ejecutar, detener y administrar contenedores en un clúster.
+ [Elastic Load Balancing](https://docs.aws.amazon.com/elasticloadbalancing/latest/userguide/what-is-load-balancing.html) permite distribuir el tráfico entrante de las aplicaciones o de la red entre varios destinos. Así, por ejemplo, puede distribuir el tráfico a través de instancias de Amazon Elastic Compute Cloud (Amazon EC2), contenedores y direcciones IP de una o varias zonas de disponibilidad.
+ [AWS Glue](https://docs.aws.amazon.com/glue/) es un servicio de extracción, transformación y carga (ETL) completamente administrado. Ayuda a clasificar, limpiar, enriquecer y mover datos de forma fiable entre almacenes de datos y flujos de datos. Este patrón utiliza un AWS Glue rastreador y una tabla. AWS Glue Data Catalog
+ [AWS Lambda](https://docs.aws.amazon.com/lambda/latest/dg/welcome.html) es un servicio de computación que ayuda a ejecutar código sin necesidad de aprovisionar ni administrar servidores. Ejecuta el código solo cuando es necesario y amplía la capacidad de manera automática, por lo que solo pagará por el tiempo de procesamiento que utilice.
+ [Amazon OpenSearch Serverless](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/serverless-overview.html) es una configuración sin servidor bajo demanda para Amazon OpenSearch Service. En este patrón, un índice OpenSearch sin servidor sirve como base de datos vectorial para las bases de conocimiento de Amazon Bedrock.
+ [Amazon Simple Storage Service (Amazon S3)](https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html) es un servicio de almacenamiento de objetos basado en la nube que lo ayuda a almacenar, proteger y recuperar cualquier cantidad de datos.
**Otras herramientas**
+ [Streamlit](https://docs.streamlit.io/) es un marco de Python de código abierto para crear aplicaciones de datos.
**Repositorio de código**
El código de este patrón está disponible en el GitHub [genai-bedrock-agent-chatbot](https://github.com/awslabs/genai-bedrock-agent-chatbot/)repositorio. El repositorio de código contiene los siguientes archivos y carpetas:
+ Carpeta `assets`: los activos estáticos, como el diagrama de arquitectura y el conjunto de datos público.
+ Carpeta `code/lambdas/action-lambda`: el código de Python de la función de Lambda que actúa como una acción para el agente de Amazon Bedrock.
+ `code/lambdas/create-index-lambda`folder: el código de Python de la función Lambda que crea el índice OpenSearch Serverless.
+ Carpeta `code/lambdas/invoke-lambda`: el código de Python de la función de Lambda que invoca el agente de Amazon Bedrock, al que se llama directamente desde la aplicación Streamlit.
+ `code/lambdas/update-lambda`carpeta: el código de Python de la función Lambda que actualiza o elimina los recursos después de desplegarlos a AWS través de. AWS CDK
+ `code/layers/boto3_layer`folder: la AWS CDK pila que crea una capa de Boto3 que se comparte entre todas las funciones de Lambda.
+ `code/layers/opensearch_layer`carpeta: la AWS CDK pila que crea una capa OpenSearch sin servidor que instala todas las dependencias para crear el índice.
+ `code/streamlit-app`folder: el código de Python que se ejecuta como imagen del contenedor en Amazon ECS.
+ `code/code_stack.py`— AWS CDK Construyen archivos de Python que crean AWS recursos.
+ `app.py`— La AWS CDK pila de archivos Python que despliegan AWS recursos en la AWS cuenta de destino.
+ `requirements.txt`— La lista de todas las dependencias de Python que se deben instalar para. AWS CDK
+ `cdk.json`: el archivo de entrada que proporciona los valores necesarios para crear los recursos. Además, en los campos `context/config`, puede personalizar la solución en consecuencia. Para más información sobre la personalización, consulte la sección [Información adicional](#develop-a-fully-automated-chat-based-assistant-by-using-amazon-bedrock-agents-and-knowledge-bases-additional).
## Prácticas recomendadas
+ El ejemplo de código que se proporciona aquí es únicamente para fines proof-of-concept (PoC) o piloto. Si desea llevar el código a producción, asegúrese de seguir las siguientes prácticas recomendadas:
+ Habilitación del [registro de acceso a Amazon S3](https://docs.aws.amazon.com/AmazonS3/latest/userguide/enable-server-access-logging.html)
+ Habilitación de los [registros de flujo de VPC](https://docs.aws.amazon.com/vpc/latest/userguide/flow-logs.html)
+ Configure la supervisión y las alertas para las funciones de Lambda. Para obtener más información, consulte [Supervisión y solución de problemas de funciones de Lambda](https://docs.aws.amazon.com/lambda/latest/dg/lambda-monitoring.html). Para obtener información sobre las prácticas recomendadas, consulte las [prácticas recomendadas para trabajar con AWS Lambda funciones](https://docs.aws.amazon.com/lambda/latest/dg/best-practices.html).
## Epics
### Configure AWS las credenciales en su estación de trabajo local
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Exporte las variables de cuenta y región. | Para proporcionar AWS las credenciales AWS CDK mediante variables de entorno, ejecute los siguientes comandos.export CDK_DEFAULT_ACCOUNT=<12-digit AWS account number>
export CDK_DEFAULT_REGION=
| AWS DevOps, DevOps ingeniero |
| Configure el AWS CLI perfil indicado. | Para configurar el perfil AWS CLI designado para la cuenta, siga las instrucciones de los [ajustes de configuración y del archivo de credenciales](https://docs.aws.amazon.com/cli/latest/userguide/cli-configure-files.html). | AWS DevOps, DevOps ingeniero |
### Configure su entorno
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Clone el repositorio en su estación de trabajo local. | Para clonar el repositorio, ejecute el siguiente comando en el terminal.git clone https://github.com/awslabs/genai-bedrock-agent-chatbot.git
| DevOps ingeniero, AWS DevOps |
| Configure un entorno de Python virtual. | Para configurar y activar el entorno virtual de Python, ejecute el siguiente comando.cd genai-bedrock-agent-chatbot
python3 -m venv .venv
source .venv/bin/activate
Para configurar las dependencias necesarias, ejecute el siguiente comando.pip3 install -r requirements.txt
| DevOps ingeniero, AWS DevOps |
| Configure el AWS CDK entorno. | Para convertir el código en una AWS CloudFormation plantilla, ejecute el comando`cdk synth`. | AWS DevOps, DevOps ingeniero |
### Configuración e implementación de la aplicación
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Implementar recursos en la cuenta. | Para implementar recursos en el Cuenta de AWS mediante el AWS CDK, haga lo siguiente:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/develop-a-fully-automated-chat-based-assistant-by-using-amazon-bedrock-agents-and-knowledge-bases.html)Tras una implementación correcta, puede acceder a la aplicación de asistente basada en el chat mediante la URL proporcionada en la **pestaña Resultados** de la CloudFormation consola. | DevOps ingeniero, AWS DevOps |
### Limpie todos los AWS recursos de la solución
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Elimine los AWS recursos. | Después de probar la solución, limpie los recursos y ejecute el comando `cdk destroy`. | AWS DevOps, DevOps ingeniero |
## Recursos relacionados
**AWS documentación**
+ Recursos de Amazon Bedrock:
+ [Acceso a modelos](https://docs.aws.amazon.com/bedrock/latest/userguide/model-access.html)
+ [Parámetros de inferencia para modelos básicos](https://docs.aws.amazon.com/bedrock/latest/userguide/model-parameters.html)
+ [Agentes de Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/agents.html)
+ [Bases de conocimiento de Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/knowledge-base.html)
+ [Creación de funciones de Lambda con Python](https://docs.aws.amazon.com/lambda/latest/dg/lambda-python.html)
+ AWS CDK recursos:
+ [Comience con el AWS CDK](https://docs.aws.amazon.com/cdk/v2/guide/getting_started.html)
+ [Solución de AWS CDK problemas comunes](https://docs.aws.amazon.com/cdk/v2/guide/troubleshooting.html)
+ [Trabajando con el AWS CDK en Python](https://docs.aws.amazon.com/cdk/v2/guide/work-with-cdk-python.html)
+ [Creador de aplicaciones de IA generativa en AWS](https://docs.aws.amazon.com/solutions/latest/generative-ai-application-builder-on-aws/solution-overview.html)
**Otros recursos AWS **
+ [Motor vectorial para Amazon OpenSearch Serverless](https://aws.amazon.com/opensearch-service/serverless-vector-engine/)
**Otros recursos**
+ [LlamaIndex documentación](https://docs.llamaindex.ai/en/stable/)
+ [Documentación de Streamlit](https://docs.streamlit.io/)
## Información adicional
**Personalización del asistente basado en el chat con sus propios datos**
Para integrar sus datos personalizados para implementar la solución, siga estas pautas estructuradas. Estos pasos están diseñados para garantizar un proceso de integración eficiente y fluido, lo que le permitirá implementar la solución de manera efectiva con sus datos personalizados.
*Para la integración de datos de la base de conocimientos*
**Preparación de datos**
1. Localice el directorio `assets/knowledgebase_data_source/`.
1. Coloque el conjunto de datos en esta carpeta.
**Ajustes de configuración**
1. Abra el archivo `cdk.json`.
1. Navegue hasta el campo `context/configure/paths/knowledgebase_file_name` y, a continuación, actualícelo en consecuencia.
1. Navegue hasta el campo `bedrock_instructions/knowledgebase_instruction` y, a continuación, actualícelo para que refleje con precisión los matices y el contexto de su nuevo conjunto de datos.
*Para la integración de datos estructurales*
**Organización de datos**
1. En el directorio `assets/data_query_data_source/`, cree un subdirectorio, como `tabular_data`.
1. Coloque su conjunto de datos estructurado (los formatos aceptables incluyen CSV, JSON, ORC y Parquet) en esta subcarpeta recién creada.
1. Si se está conectando a una base de datos existente, actualice la función `create_sql_engine()` en `code/lambda/action-lambda/build_query_engine.py` para conectarse a su base de datos.
**Actualizaciones de configuración y código**
1. En el archivo `cdk.json`, actualice el campo `context/configure/paths/athena_table_data_prefix` para alinearlo con la nueva ruta de datos.
1. Realice `code/lambda/action-lambda/dynamic_examples.csv` la revisión incorporando nuevos text-to-SQL ejemplos que se correspondan con su conjunto de datos.
1. Revise `code/lambda/action-lambda/prompt_templates.py` para reflejar los atributos de su conjunto de datos estructurado.
1. En el archivo `cdk.json`, actualice el campo `context/configure/bedrock_instructions/action_group_description` para explicar el propósito y la funcionalidad de la función de Lambda `Action group`.
1. En el archivo `assets/agent_api_schema/artifacts_schema.json`, explique las nuevas funcionalidades de la función de Lambda `Action group`.
*Actualización general*
En el archivo `cdk.json`, en la sección `context/configure/bedrock_instructions/agent_instruction`, proporcione una descripción completa de la funcionalidad y el propósito de diseño previstos por el agente de Amazon Bedrock, teniendo en cuenta los datos recién integrados.
# Documentación del conocimiento institucional a partir de las entradas de voz mediante Amazon Bedrock y Amazon Transcribe
*Praveen Kumar Jeyarajan, Jundong Qiao, Rajiv Upadhyay y Megan Wu, Amazon Web Services*
## Resumen
Capturar el conocimiento institucional es fundamental para garantizar el éxito y la resiliencia de la organización. El conocimiento institucional representa la sabiduría, los conocimientos y las experiencias colectivos acumulados por los empleados a lo largo del tiempo, a menudo de naturaleza tácita y transmitidos de manera informal. Esta gran cantidad de información abarca enfoques únicos, prácticas recomendadas y soluciones para problemas complejos que tal vez no estén documentados en otros lugares. Al formalizar y documentar este conocimiento, las empresas pueden preservar la memoria institucional, fomentar la innovación, mejorar los procesos de toma de decisiones y acelerar las curvas de aprendizaje de los nuevos empleados. Además, promueve la colaboración, empodera a las personas y cultiva una cultura de mejora continua. En última instancia, el aprovechamiento del conocimiento institucional ayuda a las empresas a utilizar su activo más valioso, la inteligencia colectiva de su fuerza laboral, para superar los desafíos, impulsar el crecimiento y mantener una ventaja competitiva en entornos empresariales dinámicos.
Este patrón explica cómo captar el conocimiento institucional a través de grabaciones de voz de los empleados sénior. Utiliza [Amazon Transcribe](https://docs.aws.amazon.com/transcribe/latest/dg/what-is.html) y [Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/what-is-bedrock.html) para la documentación y verificación sistemáticas. Al documentar este conocimiento informal, puede conservarlo y compartirlo con otros grupos de empleados. Este esfuerzo apoya la excelencia operativa y mejora la eficacia de los programas de formación mediante la incorporación de los conocimientos prácticos adquiridos a través de la experiencia directa.
## Requisitos previos y limitaciones
**Requisitos previos **
+ Una cuenta de AWS activa
+ Docker [instalado](https://docs.docker.com/engine/install/)
+ La versión 2.114.1 o posterior de AWS Cloud Development Kit (AWS CDK) [instalada](https://docs.aws.amazon.com/cdk/v2/guide/getting_started.html#getting_started_tools) y [arrancada](https://docs.aws.amazon.com/cdk/v2/guide/getting_started.html#getting_started_bootstrap) en las regiones de AWS `us-east-1` o `us-west-2`
+ La versión 2.114.1 o posterior del Kit de herramientas de AWS CDK [instalada](https://docs.aws.amazon.com/cdk/v2/guide/cli.html)
+ Interfaz de la línea de comandos de AWS (AWS CLI) [instalada](https://docs.aws.amazon.com/cli/latest/userguide/getting-started-install.html) y [configurada](https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-configure.html)
+ La versión 3.12 o posterior de Python [instalada](https://www.python.org/downloads/)
+ Permisos para crear recursos de Amazon Transcribe, Amazon Bedrock, Amazon Simple Storage Service (Amazon S3) y AWS Lambda
**Limitaciones**
+ Esta solución se implementa en una única cuenta de AWS.
+ Esta solución solo se puede implementar en las regiones de AWS en las que estén disponibles Amazon Bedrock y Amazon Transcribe. Para obtener información sobre la disponibilidad, consulte la documentación de [Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/bedrock-regions.html) y [Amazon Transcribe](https://docs.aws.amazon.com/transcribe/latest/dg/what-is.html#tsc-regions).
+ Los archivos de audio deben estar en un formato compatible con Amazon Transcribe. Para obtener una lista de los formatos compatibles, consulte [Formatos multimedia](https://docs.aws.amazon.com/transcribe/latest/dg/how-input.html#how-input-audio) en la documentación de Transcribe.
**Versiones de producto**
+ AWS SDK para Python (Boto3) versión 1.34.57 o posterior
+ LangChain versión 0.1.12 o posterior
## Arquitectura
La arquitectura representa un flujo de trabajo sin servidor en AWS. [AWS Step Functions](https://docs.aws.amazon.com/step-functions/latest/dg/welcome.html) organiza las funciones de Lambda para el procesamiento de audio, el análisis de texto y la generación de documentos. En el siguiente diagrama se muestra el flujo de trabajo de Step Functions, también conocido como *máquina de estado*.
![\[Diagrama de arquitectura de la máquina de estado de Step Functions que genera un documento\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/images/pattern-img/f1e0106d-b046-4adc-9718-c299efb7b436/images/e90298ca-1b7f-4c3e-97bd-311a9d5a4997.png)
Cada paso de la máquina de estado lo gestiona una función de Lambda distinta. Los siguientes son los pasos del proceso de generación de documentos:
1. La función de Lambda `preprocess` valida la entrada pasada a Step Functions y muestra todos los archivos de audio presentes en la ruta de la carpeta URI de Amazon S3 proporcionada. Las funciones de Lambda posteriores del flujo de trabajo utilizan la lista de archivos para validar, resumir y generar el documento.
1. La función de Lambda `transcribe` usa Amazon Transcribe para convertir archivos de audio en transcripciones de texto. Esta función de Lambda es responsable de iniciar el proceso de transcripción y transformar con precisión la voz en texto, que luego se almacena para su posterior procesamiento.
1. La función de Lambda `validate` analiza las transcripciones del texto y determina la relevancia de las respuestas a las preguntas iniciales. Al utilizar un modelo de lenguaje de gran tamaño (LLM) a través de Amazon Bedrock, identifica y separa las respuestas relacionadas con el tema de las respuestas no relacionadas con el tema.
1. La función de Lambda `summarize` utiliza Amazon Bedrock para generar un resumen coherente y conciso de las respuestas relacionadas con el tema.
1. La función de Lambda `generate` agrupa los resúmenes en un documento bien estructurado. Puede formatear el documento de acuerdo con plantillas predefinidas e incluir cualquier contenido o dato adicional necesario.
1. Si se produce un error en alguna de las funciones de Lambda, recibirá una notificación por correo electrónico a través de Amazon Simple Notification Service (Amazon SNS).
A lo largo de este proceso, AWS Step Functions se asegura de que cada función de Lambda se inicie en la secuencia correcta. Esta máquina de estado tiene la capacidad de procesamiento en paralelo para mejorar la eficiencia. Un bucket de Amazon S3 actúa como repositorio de almacenamiento central y respalda el flujo de trabajo mediante la administración de los distintos formatos multimedia y de documentos involucrados.
## Tools (Herramientas)
**Servicios de AWS**
+ [Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/what-is-bedrock.html) es un servicio totalmente gestionado que pone a su disposición modelos básicos de alto rendimiento (FMs) de las principales empresas emergentes de IA y Amazon a través de una API unificada.
+ [AWS Lambda](https://docs.aws.amazon.com/lambda/latest/dg/welcome.html) es un servicio de computación que ayuda a ejecutar código sin necesidad de aprovisionar ni administrar servidores. Ejecuta el código solo cuando es necesario y amplía la capacidad de manera automática, por lo que solo pagará por el tiempo de procesamiento que utilice.
+ [Amazon Simple Notification Service (Amazon SNS](https://docs.aws.amazon.com/sns/latest/dg/welcome.html)) le permite coordinar y administrar el intercambio de mensajes entre publicadores y clientes, incluidos los servidores web y las direcciones de correo electrónico.
+ [Amazon Simple Storage Service (Amazon S3)](https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html) es un servicio de almacenamiento de objetos basado en la nube que lo ayuda a almacenar, proteger y recuperar cualquier cantidad de datos.
+ [AWS Step Functions](https://docs.aws.amazon.com/step-functions/latest/dg/welcome.html) es un servicio de orquestación sin servidor que le permite combinar funciones de Lambda AWS y otros servicios de AWS para crear aplicaciones esenciales desde el punto de vista empresarial.
+ [Amazon Transcribe](https://docs.aws.amazon.com/transcribe/latest/dg/what-is.html) es un servicio de reconocimiento de voz automático que utiliza modelos de machine learning para convertir audio en texto.
**Otras herramientas**
+ [LangChain](https://python.langchain.com/docs/get_started/introduction/)es un marco para desarrollar aplicaciones que funcionan con modelos de lenguaje de gran tamaño ()LLMs.
**Repositorio de código**
El código de este patrón está disponible en el GitHub [genai-knowledge-capture](https://github.com/aws-samples/genai-knowledge-capture)repositorio.
El repositorio de código contiene los siguientes archivos y carpetas:
+ Carpeta `assets`: los activos estáticos de la solución, como el diagrama de arquitectura y el conjunto de datos público.
+ Carpeta `code/lambdas`: el código de Python para todas las funciones de Lambda.
+ Carpeta `code/lambdas/generate`: el código Python que genera un documento a partir de los datos resumidos en el bucket de S3.
+ Carpeta `code/lambdas/preprocess`: el código de Python que procesa las entradas de la máquina de estado de Step Functions.
+ Carpeta `code/lambdas/summarize`: el código de Python que resume los datos transcritos mediante el servicio de Amazon Bedrock.
+ Carpeta `code/lambdas/transcribe`: el código Python que convierte los datos de voz (archivo de audio) en texto mediante Amazon Transcribe.
+ Carpeta `code/lambdas/validate`: el código de Python que valida si todas las respuestas pertenecen al mismo tema.
+ `code/code_stack.py`: los archivos de Python de constructo de AWS CDK usados para crear los recursos de AWS.
+ `app.py`: los archivos de Python de la aplicación de AWS CDK que se utilizan para implementar los recursos de AWS en la cuenta de AWS de destino.
+ `requirements.txt`: la lista de todas las dependencias de Python que se deben instalar para AWS CDK.
+ `cdk.json`: el archivo de entrada que proporciona los valores necesarios para crear los recursos.
## Prácticas recomendadas
El ejemplo de código proporcionado es únicamente para fines proof-of-concept (PoC) o piloto. Si desea llevar el código a producción, siga las siguientes prácticas recomendadas:
+ Habilitación del [registro de acceso a Amazon S3](https://docs.aws.amazon.com/AmazonS3/latest/userguide/enable-server-access-logging.html)
+ Habilitación de los [registros de flujo de VPC](https://docs.aws.amazon.com/vpc/latest/userguide/flow-logs.html)
## Epics
### Configuración de las credenciales de AWS en su estación de trabajo
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Exporte las variables de cuenta y región de AWS. | Para proporcionar las credenciales de AWS para AWS CDK mediante variables de entorno, ejecute los siguientes comandos.export CDK_DEFAULT_ACCOUNT=<12-digit AWS account number>
export CDK_DEFAULT_REGION=
| AWS DevOps, DevOps ingeniero |
| Configure el perfil con nombre de AWS CLI. | Para configurar el perfil de la AWS CLI para la cuenta, siga las instrucciones de [Opciones de los archivos de configuración y credenciales](https://docs.aws.amazon.com/cli/latest/userguide/cli-configure-files.html). | AWS DevOps, DevOps ingeniero |
### Configure su entorno
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Clone el repositorio en su estación de trabajo local. | Para clonar el [genai-knowledge-capture](https://github.com/aws-samples/genai-knowledge-capture)repositorio, ejecuta el siguiente comando en tu terminal.git clone https://github.com/aws-samples/genai-knowledge-capture
| AWS DevOps, DevOps ingeniero |
| (Opcional) Sustituya los archivos de audio. | Para personalizar la aplicación de muestra para que incorpore sus propios datos, haga lo siguiente:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/document-institutional-knowledge-from-voice-inputs-by-using-amazon-bedrock-and-amazon-transcribe.html) | AWS DevOps, DevOps ingeniero |
| Configure un entorno de Python virtual. | Para configurar y activar el entorno virtual de Python, ejecute el siguiente comando.cd genai-knowledge-capture
python3 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt
| AWS DevOps, DevOps ingeniero |
| Sintetice el código de AWS CDK. | Para convertir el código en una configuración de CloudFormation pila de AWS, ejecute el siguiente comando.cdk synth
| AWS DevOps, DevOps ingeniero |
### Configuración e implementación de la solución
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Aprovisione el acceso al modelo fundacional. | Habilite el acceso al modelo Anthropic Claude 3 Sonnet para su cuenta de AWS. Para obtener instrucciones, consulte [Adición de un modelo de acceso](https://docs.aws.amazon.com/bedrock/latest/userguide/model-access.html#model-access-add) en la documentación de Bedrock. | AWS DevOps |
| Implementar recursos en la cuenta. | Para implementar recursos en la cuenta de AWS mediante AWS CDK, haga lo siguiente:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/document-institutional-knowledge-from-voice-inputs-by-using-amazon-bedrock-and-amazon-transcribe.html) | AWS DevOps, DevOps ingeniero |
| Suscríbase al tema de Amazon SNS. | Para suscribirse al tema de Amazon SNS para recibir notificaciones, haga lo siguiente:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/document-institutional-knowledge-from-voice-inputs-by-using-amazon-bedrock-and-amazon-transcribe.html) | AWS general |
### Pruebe la solución
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Ejecuta la máquina de estado. | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/document-institutional-knowledge-from-voice-inputs-by-using-amazon-bedrock-and-amazon-transcribe.html) | Desarrollador de aplicaciones, AWS general |
### Limpie todos los recursos de AWS de la solución
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Elimine los recursos de AWS. | Después de probar la solución, limpie los recursos:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/document-institutional-knowledge-from-voice-inputs-by-using-amazon-bedrock-and-amazon-transcribe.html) | AWS DevOps, DevOps ingeniero |
## Recursos relacionados
**Documentación de AWS**
+ Recursos de Amazon Bedrock:
+ [Acceso a modelos](https://docs.aws.amazon.com/bedrock/latest/userguide/model-access.html)
+ [Parámetros de inferencia para modelos básicos](https://docs.aws.amazon.com/bedrock/latest/userguide/model-parameters.html)
+ Recursos de AWS CDK:
+ [Introducción a AWS CDK](https://docs.aws.amazon.com/cdk/v2/guide/getting_started.html)
+ [Utilización de AWS CDK en Python](https://docs.aws.amazon.com/cdk/v2/guide/work-with-cdk-python.html)
+ [Solución de problemas comunes de AWS CDK](https://docs.aws.amazon.com/cdk/v2/guide/troubleshooting.html)
+ [Comandos del kit de herramientas](https://docs.aws.amazon.com/cdk/v2/guide/cli.html#cli-commands)
+ Recursos de AWS Step Functions:
+ [Introducción a AWS Step Functions](https://docs.aws.amazon.com/step-functions/latest/dg/getting-started-with-sfn.html)
+ [Solución de problemas](https://docs.aws.amazon.com/step-functions/latest/dg/troubleshooting.html)
+ [Creación de funciones de Lambda con Python](https://docs.aws.amazon.com/lambda/latest/dg/lambda-python.html)
+ [Creador de aplicaciones de IA generativa en AWS](https://docs.aws.amazon.com/solutions/latest/generative-ai-application-builder-on-aws/solution-overview.html)
**Otros recursos**
+ [LangChain documentación](https://python.langchain.com/docs/get_started/introduction)
# Genere recomendaciones personalizadas y reclasificadas con Amazon Personalize
*Mason Cahill, Matthew Chasse y Tayo Olajide, Amazon Web Services*
## Resumen
Este patrón le muestra cómo usar Amazon Personalize para generar recomendaciones personalizadas, incluidas las recomendaciones reclasificadas, para sus usuarios en función de la ingesta de datos de interacción de los usuarios en tiempo real por parte de esos usuarios. El escenario de ejemplo utilizado en este patrón se basa en un sitio web de adopción de mascotas que genera recomendaciones para sus usuarios en función de sus interacciones (por ejemplo, qué mascotas visita un usuario). Siguiendo el escenario de ejemplo, aprenderá a utilizar Amazon Kinesis Data Streams para ingerir datos de interacción, AWS Lambda para generar recomendaciones y reordenar las recomendaciones, y Amazon Data Firehose para almacenar los datos en un bucket de Amazon Simple Storage Service (Amazon S3). También aprenderá a usar AWS Step Functions para crear una máquina de estados que administre la versión de la solución (es decir, un modelo entrenado) que genera sus recomendaciones.
## Requisitos previos y limitaciones
**Requisitos previos **
+ Una [cuenta de AWS](https://aws.amazon.com/premiumsupport/knowledge-center/create-and-activate-aws-account/) activa con un AWS Cloud Development Kit (AWS CDK) [arrancado](https://docs.aws.amazon.com/cdk/v2/guide/bootstrapping.html).
+ [Interfaz de la línea de comandos de AWS (AWS CLI)](https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-welcome.html) con credenciales configuradas
+ [Python 3.9](https://www.python.org/downloads/release/python-390/)
**Versiones de producto**
+ Python 3.9
+ CDK de AWS 2.23.0 o posterior
+ AWS SDK: 2.7.27 o posterior
## Arquitectura
**Pila de tecnología**
+ Amazon Data Firehose
+ Amazon Kinesis Data Streams
+ Amazon Personalize
+ Amazon Simple Storage Service (Amazon S3)
+ AWS Cloud Development Kit (AWS CDK)
+ Interfaz de la línea de comandos de AWS (AWS CLI)
+ AWS Lambda
+ AWS Step Functions
**Arquitectura de destino**
El siguiente diagrama ilustra una canalización para incorporar datos en tiempo real a Amazon Personalize. Luego, la canalización utiliza esos datos para generar recomendaciones personalizadas y reclasificadas para los usuarios.
![\[Arquitectura de ingesta de datos para Amazon Personalize\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/images/pattern-img/42eb193b-2347-408a-8b25-46beeb3b29ca/images/786dbd56-7d7f-41bb-90f6-d4485d73fe15.png)
En el diagrama, se muestra el siguiente flujo de trabajo:
1. El flujo de datos de Kinesis ingiere datos de usuarios en tiempo real (por ejemplo, eventos como visitas de mascotas) para que Lambda y Firehose los procesen.
1. Una función de Lambda procesa los registros de flujo de datos de Kinesis y realiza una llamada a la API para añadir la interacción del usuario en el registro a un rastreador de eventos de Amazon Personalize.
1. Una regla basada en el tiempo invoca un equipo de estados de Step Functions y genera nuevas versiones de soluciones para los modelos de recomendación y reclasificación mediante los eventos del rastreador de eventos de Amazon Personalize.
1. El equipo de estados actualiza las [campañas](https://docs.aws.amazon.com/personalize/latest/dg/campaigns.html) de Amazon Personalize para usar la nueva [versión de la solución](https://docs.aws.amazon.com/personalize/latest/dg/creating-a-solution-version.html).
1. Lambda cambia el orden de la lista de artículos recomendados mediante la campaña Amazon Personalize de reclasificación.
1. Lambda devuelve la lista de artículos recomendados mediante la campaña de recomendaciones de Amazon Personalize.
1. Firehose guarda los eventos en un bucket de S3 donde se puede acceder a ellos como datos históricos.
## Tools (Herramientas)
**Herramientas de AWS**
+ [AWS Cloud Development Kit (AWS CDK)](https://docs.aws.amazon.com/cdk/latest/guide/home.html) es un marco de desarrollo de software que le ayuda a definir y aprovisionar la infraestructura de la nube de AWS en código.
+ La [Interfaz de la línea de comandos de AWS (AWS CLI)](https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-welcome.html) es una herramienta de código abierto que le permite interactuar con los servicios de AWS mediante comandos en el intérprete de comandos de la línea de comandos.
+ [Amazon Data Firehose](https://docs.aws.amazon.com/firehose/latest/dev/what-is-this-service.html) lo ayuda a entregar [datos de streaming](https://aws.amazon.com/streaming-data/) en tiempo real a otros servicios de AWS, puntos de conexión HTTP personalizados y puntos de conexión HTTP propiedad de proveedores de servicios externos compatibles.
+ [Amazon Kinesis Data Streams](https://docs.aws.amazon.com/streams/latest/dev/introduction.html) le ayuda a recopilar y procesar grandes secuencias de registros de datos en tiempo real.
+ [AWS Lambda](https://docs.aws.amazon.com/lambda/latest/dg/welcome.html) es un servicio de computación que ayuda a ejecutar código sin necesidad de aprovisionar ni administrar servidores. Ejecuta el código solo cuando es necesario y amplía la capacidad de manera automática, por lo que solo pagará por el tiempo de procesamiento que utilice.
+ [Amazon Personalize](https://docs.aws.amazon.com/personalize/latest/dg/what-is-personalize.html) es un servicio de machine learning (ML) totalmente gestionado que le ayuda a generar recomendaciones de artículos para sus usuarios en función de sus datos.
+ [AWS Step Functions](https://docs.aws.amazon.com/step-functions/latest/dg/welcome.html) es un servicio de orquestación sin servidor que le permite combinar funciones de Lambda y otros servicios de AWS para crear aplicaciones esenciales desde el punto de vista empresarial.
**Otras herramientas**
+ [pytest](https://docs.pytest.org/en/7.2.x/index.html) es un marco de Python para escribir pruebas pequeñas y legibles.
+ [Python](https://www.python.org/) es un lenguaje de programación informático de uso general.
**Código**
El código de este patrón está disponible en el repositorio GitHub [Animal Recommender](https://github.com/aws-samples/personalize-pet-recommendations). Puede usar la CloudFormation plantilla de AWS de este repositorio para implementar los recursos de la solución de ejemplo.
**nota**
Las versiones de la solución Amazon Personalize, el rastreador de eventos y las campañas están respaldadas por [recursos personalizados](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/template-custom-resources.html) (dentro de la infraestructura) que amplían CloudFormation los recursos nativos.
## Epics
### Creación de la infraestructura
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Cree un entorno Python aislado. | **Configuración de Mac/Linux**[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/generate-personalized-and-re-ranked-recommendations-using-amazon-personalize.html)**Configuración en Windows**Para crear manualmente un entorno virtual, ejecute el comando `% .venv\Scripts\activate.bat` desde su terminal. | DevOps ingeniero |
| Sintetiza la CloudFormation plantilla. | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/generate-personalized-and-re-ranked-recommendations-using-amazon-personalize.html)En el paso 2, `CDK_ENVIRONMENT` hace referencia al archivo `config/{env}.yml`. | DevOps ingeniero |
| Implemente recursos y cree infraestructura. | Desde su terminal, ejecute el comando `./deploy.sh` para implementar todos los recursos.Este script instala las dependencias requeridas de Python. Un script de Python crea un bucket de S3 y una clave de AWS Key Management Service (AWS KMS) y, a continuación, agrega los datos de base para las creaciones iniciales del modelo. Por último, el script se ejecuta `cdk deploy` para crear la infraestructura restante.El entrenamiento del modelo inicial se lleva a cabo durante la creación de la pila. La pila puede tardar hasta dos horas en terminar de crearse. | DevOps ingeniero |
## Recursos relacionados
+ [Recomendador de animales](https://github.com/aws-samples/personalize-pet-recommendations) () GitHub
+ [Documentación de referencia de AWS SDK](https://docs.aws.amazon.com/cdk/api/v2/)
+ [Documentación de Boto3](https://boto3.amazonaws.com/v1/documentation/api/latest/index.html)
+ [Optimice las recomendaciones personalizadas para una métrica empresarial de su elección con Amazon Personalize](https://aws.amazon.com/blogs/machine-learning/optimize-personalized-recommendations-for-a-business-metric-of-your-choice-with-amazon-personalize/) (blog de AWS Machine Learning)
## Información adicional
**Ejemplos de cargas útiles y respuestas**
*Función de Lambda de recomendación*
Para recuperar las recomendaciones, envíe una solicitud a la función de Lambda de recomendaciones con una carga útil en el siguiente formato:
```
{
"userId": "3578196281679609099",
"limit": 6
}
```
El siguiente ejemplo de respuesta contiene una lista de grupos de animales:
```
[{"id": "1-domestic short hair-1-1"},
{"id": "1-domestic short hair-3-3"},
{"id": "1-domestic short hair-3-2"},
{"id": "1-domestic short hair-1-2"},
{"id": "1-domestic short hair-3-1"},
{"id": "2-beagle-3-3"},
```
Si omite el campo `userId`, la función devuelve recomendaciones generales.
*Reordenación de la función de Lambda*
Para utilizar la reclasificación, envíe una solicitud a la función de Lambda de reclasificación. La carga útil contiene todos `userId` los elementos que se van IDs a reclasificar y sus metadatos. Los siguientes datos de ejemplo utilizan las clases de Oxford Pets para `animal_species_id` (1=gato, 2=perro) y los números enteros del 1 al 5 para `animal_age_id` y `animal_size_id`:
```
{
"userId":"12345",
"itemMetadataList":[
{
"itemId":"1",
"animalMetadata":{
"animal_species_id":"2",
"animal_primary_breed_id":"Saint_Bernard",
"animal_size_id":"3",
"animal_age_id":"2"
}
},
{
"itemId":"2",
"animalMetadata":{
"animal_species_id":"1",
"animal_primary_breed_id":"Egyptian_Mau",
"animal_size_id":"1",
"animal_age_id":"1"
}
},
{
"itemId":"3",
"animalMetadata":{
"animal_species_id":"2",
"animal_primary_breed_id":"Saint_Bernard",
"animal_size_id":"3",
"animal_age_id":"2"
}
}
]
}
```
La función Lambda vuelve a clasificar estos artículos y, a continuación, devuelve una lista ordenada que incluye el artículo IDs y la respuesta directa de Amazon Personalize. Esta es una lista ordenada de los grupos de animales en los que se encuentran los artículos y su puntuación. Amazon Personalize utiliza recetas de [Personalización por usuario](https://docs.aws.amazon.com/personalize/latest/dg/native-recipe-new-item-USER_PERSONALIZATION.html) y [Clasificación personalizada](https://docs.aws.amazon.com/personalize/latest/dg/native-recipe-search.html) para incluir una puntuación para cada artículo en las recomendaciones. Estas puntuaciones representan la certeza relativa que tiene Amazon Personalize respecto a qué elemento va a seleccionar el usuario a continuación. Las puntuaciones más altas representan una mayor certeza.
```
{
"ranking":[
"1",
"3",
"2"
],
"personalizeResponse":{
"ResponseMetadata":{
"RequestId":"a2ec0417-9dcd-4986-8341-a3b3d26cd694",
"HTTPStatusCode":200,
"HTTPHeaders":{
"date":"Thu, 16 Jun 2022 22:23:33 GMT",
"content-type":"application/json",
"content-length":"243",
"connection":"keep-alive",
"x-amzn-requestid":"a2ec0417-9dcd-4986-8341-a3b3d26cd694"
},
"RetryAttempts":0
},
"personalizedRanking":[
{
"itemId":"2-Saint_Bernard-3-2",
"score":0.8947961
},
{
"itemId":"1-Siamese-1-1",
"score":0.105204
}
],
"recommendationId":"RID-d97c7a87-bd4e-47b5-a89b-ac1d19386aec"
}
}
```
*Carga de Amazon Kinesis*
La carga que se va a enviar a Amazon Kinesis tiene el formato siguiente:
```
{
"Partitionkey": "randomstring",
"Data": {
"userId": "12345",
"sessionId": "sessionId4545454",
"eventType": "DetailView",
"animalMetadata": {
"animal_species_id": "1",
"animal_primary_breed_id": "Russian_Blue",
"animal_size_id": "1",
"animal_age_id": "2"
},
"animal_id": "98765"
}
}
```
**nota**
El campo `userId` se elimina para un usuario no autenticado.
# Optimice los flujos de trabajo de aprendizaje automático desde el desarrollo local hasta los experimentos escalables mediante el uso de SageMaker IA e Hydra
*David Sauerwein, Marco Geiger y Julian Ferdinand Grueber, Amazon Web Services*
## Resumen
Este patrón proporciona un enfoque unificado para configurar y ejecutar algoritmos de aprendizaje automático (ML) desde las pruebas locales hasta la producción en Amazon SageMaker AI. Este patrón se centra en los algoritmos de ML, pero su enfoque se extiende a la ingeniería de características, la inferencia y canalizaciones completas de ML. Este patrón demuestra la transición del desarrollo de guiones locales a los trabajos de formación en SageMaker IA a través de un ejemplo de caso de uso.
Un flujo de trabajo de ML típico consiste en desarrollar y probar soluciones en una máquina local, ejecutar experimentos a gran escala (por ejemplo, con distintos parámetros) en la nube e implementar la solución aprobada en la nube. A continuación, se debe supervisar y mantener la solución implementada. Sin un enfoque unificado de este flujo de trabajo, los desarrolladores a menudo tienen que refactorizar su código en cada etapa. Si la solución depende de una gran cantidad de parámetros que pueden cambiar en cualquier etapa de este flujo de trabajo, puede resultar cada vez más difícil mantener la organización y la coherencia.
Este patrón resuelve estos desafíos. En primer lugar, elimina la necesidad de refactorizar el código entre entornos al proporcionar un flujo de trabajo unificado que mantiene la coherencia tanto si se ejecuta en máquinas locales, en contenedores o en SageMaker IA. En segundo lugar, simplifica la administración de parámetros mediante el sistema de configuración de Hydra, en el que los parámetros se definen en archivos de configuración independientes que se pueden modificar y combinar fácilmente, con un registro automático de la configuración de cada ejecución. Para más detalles acerca de cómo este patrón resuelve estos desafíos, consulte la sección [Información adicional](#streamline-machine-learning-workflows-by-using-amazon-sagemaker-additional).
## Requisitos previos y limitaciones
**Requisitos previos **
+ Un activo Cuenta de AWS
+ Un [rol de usuario AWS Identity and Access Management](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create_for-user.html) (IAM) para implementar e iniciar los trabajos de formación en SageMaker IA
+ AWS Command Line Interface [(AWS CLI) versión 2.0 o posterior [instalada](https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-getting-started.html) y configurada](https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-configure.html)
+ La versión 1.8 o posterior de [Poetry](https://python-poetry.org/), pero anterior a la versión 2.0, instalada
+ [Docker](https://www.docker.com/) instalado
+ Python [versión 3.10.x](https://www.python.org/downloads/release/python-31011/)
**Limitaciones**
+ Actualmente, el código solo se dirige a los trabajos de formación en SageMaker IA. Extenderlo a los trabajos de procesamiento y a toda la cartera de SageMaker IA es sencillo.
+ Para una configuración de SageMaker IA totalmente productiva, es necesario contar con detalles adicionales. Algunos ejemplos podrían ser las claves personalizadas AWS Key Management Service (AWS KMS) para el procesamiento y el almacenamiento, o las configuraciones de red. También puede configurar estas opciones adicionales con Hydra en una subcarpeta específica de la carpeta `config`.
+ Algunas Servicios de AWS no están disponibles en todos Regiones de AWS. Para obtener información sobre la disponibilidad en regiones, consulte [AWS Services by Region](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/). Para ver los puntos de conexión específicos, consulte [Service endpoints and quotas](https://docs.aws.amazon.com/general/latest/gr/aws-service-information.html) y elija el enlace del servicio.
## Arquitectura
En el diagrama siguiente se muestra la arquitectura de la solución.
![\[Flujo de trabajo para crear y ejecutar cursos de SageMaker IA o trabajos de HPO.\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/images/pattern-img/1db57484-f85c-49a6-b870-471dade02b26/images/d80e7474-a975-4d92-8f66-2d34e33053fd.png)
En el diagrama, se muestra el siguiente flujo de trabajo:
1. El científico de datos puede iterar el algoritmo a pequeña escala en un entorno local, ajustar los parámetros y probar el guion de entrenamiento rápidamente sin necesidad de usar Docker o IA. SageMaker (Para más información, consulte la tarea “Run locally for quick testing” en [Epics](#streamline-machine-learning-workflows-by-using-amazon-sagemaker-epics)).
1. Una vez satisfecho con el algoritmo, el científico de datos crea y envía la imagen de Docker al repositorio de Amazon Elastic Container Registry (Amazon ECR) denominado `hydra-sm-artifact`. (Para obtener más información, consulta la sección «Ejecutar flujos de trabajo con SageMaker IA» en [Epics](#streamline-machine-learning-workflows-by-using-amazon-sagemaker-epics)).
1. El científico de datos inicia trabajos de capacitación en SageMaker IA o trabajos de optimización de hiperparámetros (HPO) mediante scripts de Python. Para los trabajos de entrenamiento habituales, la configuración ajustada se escribe en el bucket de Amazon Simple Storage Service (Amazon S3) denominado `hydra-sample-config`. En el caso de los trabajos de HPO, se aplica el conjunto de configuraciones predeterminadas que se encuentra en la carpeta `config`.
1. El trabajo de entrenamiento de SageMaker IA extrae la imagen de Docker, lee los datos de entrada del bucket `hydra-sample-data` de Amazon S3 y obtiene la configuración del bucket de Amazon S3 `hydra-sample-config` o utiliza la configuración predeterminada. Tras el entrenamiento, el trabajo guarda los datos de salida en el bucket `hydra-sample-data` de Amazon S3.
**Automatización y escala**
+ [Para la formación, el reentrenamiento o la inferencia automatizados, puedes integrar el AWS CLI código con servicios como [AWS Lambda[AWS CodePipeline](https://docs.aws.amazon.com/codepipeline/latest/userguide/welcome.html)](https://docs.aws.amazon.com/lambda/latest/dg/welcome.html), o Amazon. EventBridge](https://docs.aws.amazon.com/eventbridge/latest/userguide/eb-what-is.html)
+ El escalamiento se puede lograr al cambiar las configuraciones (por ejemplo, el tamaño de las instancias) o agregar configuraciones para el entrenamiento distribuido.
## Tools (Herramientas)
**Servicios de AWS**
+ [AWS CloudFormation](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/Welcome.html)le ayuda a configurar AWS los recursos, aprovisionarlos de forma rápida y coherente y gestionarlos a lo largo de su ciclo de vida en Cuentas de AWS todo el mundo. Regiones de AWS
+ [AWS Command Line Interface (AWS CLI)](https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-welcome.html) es una herramienta de código abierto que te ayuda a interactuar Servicios de AWS mediante los comandos de tu consola de línea de comandos. Para este patrón, AWS CLI es útil tanto para la configuración inicial de los recursos como para las pruebas.
+ [Amazon Elastic Container Registry (Amazon ECR)](https://docs.aws.amazon.com/AmazonECR/latest/userguide/what-is-ecr.html) es un servicio de registro de imágenes de contenedor administrado que es seguro, escalable y fiable.
+ [Amazon SageMaker AI](https://docs.aws.amazon.com/sagemaker/?id=docs_gateway) es un servicio de aprendizaje automático (ML) gestionado que le ayuda a crear y entrenar modelos de aprendizaje automático para luego implementarlos en un entorno hospedado listo para la producción. SageMaker AI Training es un servicio de aprendizaje automático totalmente gestionado dentro de la SageMaker IA que permite el entrenamiento de modelos de aprendizaje automático a escala. La herramienta puede gestionar las demandas computacionales de los modelos de entrenamiento de manera eficiente, haciendo uso de la escalabilidad incorporada y la integración con otros Servicios de AWS modelos. SageMaker AI Training también es compatible con algoritmos y contenedores personalizados, lo que la hace flexible para una amplia gama de flujos de trabajo de aprendizaje automático.
+ [Amazon Simple Storage Service (Amazon S3)](https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html) es un servicio de almacenamiento de objetos basado en la nube que lo ayuda a almacenar, proteger y recuperar cualquier cantidad de datos.
**Otras herramientas**
+ [Docker](https://www.docker.com/) es un conjunto de productos de plataforma como servicio (PaaS) que utiliza la virtualización del sistema operativo para entregar software en contenedores. Se utilizó en este patrón para garantizar entornos coherentes en varias etapas, desde el desarrollo hasta la implementación, y para empaquetar las dependencias y el código de manera fiable. La contenedorización de Docker permitió un escalado y control de versiones fáciles en el flujo de trabajo.
+ [Hydra](https://hydra.cc/) es una herramienta de administración de la configuración que proporciona flexibilidad para gestionar varias configuraciones y una administración dinámica de los recursos. Es fundamental para administrar las configuraciones del entorno, ya que permite una implementación perfecta en entornos distintos. Para más información acerca de Hydra, consulte [Información adicional](#streamline-machine-learning-workflows-by-using-amazon-sagemaker-additional).
+ [Python](https://www.python.org/) es un lenguaje de programación informático de uso general. Se utilizó Python para escribir el código de ML y el flujo de trabajo de implementación.
+ [Poetry](https://python-poetry.org/) es una herramienta de empaquetado y administración de dependencias de Python.
**Repositorio de código**
El código de este patrón está disponible en el repositorio GitHub [configuring-sagemaker-training-jobs-with-hydra](https://github.com/aws-samples/configuring-sagemaker-training-jobs-with-hydra).
## Prácticas recomendadas
+ Elija una función de IAM para implementar e iniciar los trabajos de formación en SageMaker IA que siga el principio de privilegios mínimos y conceda los permisos mínimos necesarios para realizar una tarea. Para obtener más información, consulte [Otorgar privilegio mínimo](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies.html#grant-least-priv) y [Prácticas recomendadas de seguridad](https://docs.aws.amazon.com/IAM/latest/UserGuide/best-practices.html) en la documentación de IAM.
+ Utilice credenciales temporales para acceder al rol de IAM en la terminal.
## Epics
### Configuración del entorno
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Cree y active un entorno virtual. | Para crear y activar el entorno virtual, ejecute los comandos siguientes en la raíz del repositorio:poetry install
poetry shell
| AWS general |
| Implemente la infraestructura. | Para implementar la infraestructura mediante CloudFormation, ejecute el siguiente comando:aws cloudformation deploy --template-file infra/hydra-sagemaker-setup.yaml --stack-name hydra-sagemaker-setup --capabilities CAPABILITY_NAMED_IAM
| General AWS, DevOps ingeniero |
| Descargue de los datos de muestra. | Para descargar los datos de entrada de [openml](https://www.openml.org/) a su equipo local, ejecute el comando siguiente:python scripts/download_data.py
| AWS general |
| Ejecute localmente para hacer pruebas rápidas. | Para ejecutar el código de entrenamiento de manera local para la prueba, ejecute el comando siguiente:python mypackage/train.py data.train_data_path=data/train.csv evaluation.base_dir_path=data
Los registros de todas las ejecuciones se almacenan por tiempo de ejecución en una carpeta llamada `outputs`. Para obtener más información, consulte la sección «Resultados» del [GitHub repositorio](https://github.com/aws-samples/configuring-sagemaker-training-jobs-with-hydra).También puede hacer varios entrenamientos en paralelo, con parámetros distintos, mediante la funcionalidad `--multirun`. Para más detalles, consulte la [documentación de Hydra](https://hydra.cc/docs/tutorials/basic/running_your_app/multi-run/). | Científico de datos |
### Ejecute flujos de trabajo en SageMaker IA
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Establezca las variables de entorno. | Para ejecutar tu trabajo con SageMaker IA, establece las siguientes variables de entorno, proporcionando tu ID Región de AWS y tu Cuenta de AWS ID:export ECR_REPO_NAME=hydra-sm-artifact
export image_tag=latest
export AWS_REGION="" # for instance, us-east-1
export ACCOUNT_ID=""
export BUCKET_NAME_DATA=hydra-sample-data-$ACCOUNT_ID
export BUCKET_NAME_CONFIG=hydra-sample-config-$ACCOUNT_ID
export AWS_DEFAULT_REGION=$AWS_REGION
export ROLE_ARN=arn:aws:iam::${ACCOUNT_ID}:role/hydra-sample-sagemaker
export INPUT_DATA_S3_PATH=s3://$BUCKET_NAME_DATA/hydra-on-sm/input/
export OUTPUT_DATA_S3_PATH=s3://$BUCKET_NAME_DATA/hydra-on-sm/output/
| AWS general |
| Cree y envíe la imagen de Docker. | Para crear la imagen de Docker y enviarla al repositorio de Amazon ECR, ejecute los comandos siguientes:chmod +x scripts/create_and_push_image.sh
scripts/create_and_push_image.sh $ECR_REPO_NAME $image_tag $AWS_REGION $ACCOUNT_ID
Esta tarea supone que tiene credenciales válidas en su entorno. La imagen de Docker se envía al repositorio de Amazon ECR especificado en la variable de entorno de la tarea anterior y se utiliza para activar el contenedor de SageMaker IA en el que se ejecutará el trabajo de formación. | Ingeniero de ML, AWS general |
| Copie los datos de entrada en Amazon S3. | El trabajo de formación en SageMaker IA debe recoger los datos de entrada. Para copiar los datos de entrada al bucket de Amazon S3 para datos, ejecute el comando siguiente: aws s3 cp data/train.csv "${INPUT_DATA_S3_PATH}train.csv" | Ingeniero de datos, AWS general |
| Envíe trabajos de formación en SageMaker IA. | Para simplificar la ejecución de sus scripts, especifique los parámetros de configuración predeterminados en el archivo `default.yaml`. Además de garantizar la coherencia en las ejecuciones, este enfoque también ofrece la flexibilidad de anular fácilmente la configuración predeterminada según sea necesario. Vea el siguiente ejemplo:python scripts/start_sagemaker_training_job.py sagemaker.role_arn=$ROLE_ARN sagemaker.config_s3_bucket=$BUCKET_NAME_CONFIG sagemaker.input_data_s3_path=$INPUT_DATA_S3_PATH sagemaker.output_data_s3_path=$OUTPUT_DATA_S3_PATH
| AWS general, ingeniero de ML, científico de datos |
| Ejecute el ajuste de hiperparámetros de la SageMaker IA. | Ejecutar el ajuste de los hiperparámetros de la SageMaker IA es similar a enviar un trabajo de entrenamiento SageMaker de IA. Sin embargo, el script de ejecución difiere en algunos aspectos importantes, como puede ver en el archivo [start\$1sagemaker\$1hpo\$1job.py](https://github.com/aws-samples/configuring-sagemaker-training-jobs-with-hydra/blob/main/scripts/start_sagemaker_hpo_job.py). Los hiperparámetros que se van a ajustar deben pasar por la carga útil del boto3, no por un canal hacia el trabajo de entrenamiento.Para iniciar el trabajo de optimización de hiperparámetros (HPO), ejecute los comandos siguientes:python scripts/start_sagemaker_hpo_job.py sagemaker.role_arn=$ROLE_ARN sagemaker.config_s3_bucket=$BUCKET_NAME_CONFIG sagemaker.input_data_s3_path=$INPUT_DATA_S3_PATH sagemaker.output_data_s3_path=$OUTPUT_DATA_S3_PATH
| Científico de datos |
## Resolución de problemas
| Problema | Solución |
| --- | --- |
| Token vencido | Exporte AWS credenciales nuevas. |
| Falta de permisos de IAM | Asegúrese de exportar las credenciales de un rol de IAM que tenga todos los permisos de IAM necesarios para implementar la CloudFormation plantilla e iniciar los trabajos de formación en SageMaker IA. |
## Recursos relacionados
+ [Entrena un modelo con Amazon SageMaker AI](https://docs.aws.amazon.com/sagemaker/latest/dg/how-it-works-training.html) (AWS documentación)
+ [What is Hyperparameter Tuning?](https://aws.amazon.com/what-is/hyperparameter-tuning/#:~:text=Hyperparameter%20tuning%20allows%20data%20scientists,the%20model%20as%20a%20hyperparameter.)
## Información adicional
Este patrón resuelve los desafíos siguientes:
**Coherencia desde el desarrollo local hasta la implementación a escala**: con este patrón, los desarrolladores pueden usar el mismo flujo de trabajo, independientemente de si utilizan scripts de Python locales, ejecutan contenedores Docker locales, realizan grandes experimentos con SageMaker IA o despliegan en SageMaker producción con IA. Esta coherencia es importante por los motivos siguientes:
+ **Iteración más rápida**: permite una experimentación local rápida sin necesidad de hacer ajustes importantes al escalar verticalmente.
+ **Sin necesidad de refactorizar: la** transición a experimentos de SageMaker IA de mayor envergadura es sencilla y no requiere una revisión de la configuración existente.
+ **Mejora continua**: desarrollar características nuevas y mejorar de manera continua el algoritmo es sencillo, ya que el código sigue siendo el mismo en todos los entornos.
**Administración de la configuración**: este patrón utiliza [Hydra](https://hydra.cc/), una herramienta de administración de la configuración, para ofrecer las ventajas siguientes:
+ Los parámetros se definen en los archivos de configuración, independientes del código.
+ Los conjuntos de parámetros distintos se pueden intercambiar o combinar con facilidad.
+ El seguimiento de los experimentos se simplifica porque la configuración de cada ejecución se registra de manera automática.
+ Los experimentos en la nube pueden utilizar la misma estructura de configuración que las ejecuciones locales, lo que garantiza la coherencia.
Con Hydra, puede administrar la configuración de manera eficaz; para ello, habilite las características siguientes:
+ **Divida las configuraciones**: divida las configuraciones de su proyecto en partes más pequeñas y manejables que se puedan modificar de manera independiente. Este enfoque facilita la gestión de proyectos complejos.
+ **Ajuste los valores predeterminados con facilidad**: cambie de manera rápida las configuraciones de referencia para que sea más fácil probar nuevas ideas.
+ **Alinee las entradas de la CLI y los archivos de configuración**: combine las entradas de la línea de comandos con sus archivos de configuración sin problemas. Este enfoque reduce el desorden y la confusión, lo que hace que el proyecto sea más manejable con el tiempo.
# Traduce el lenguaje natural a consultas (DSL) para consultas de Elasticsearch OpenSearch y consultas de Elasticsearch
*Tabby Ward, Nicholas Switzer y Breanne Warner, Amazon Web Services*
## Resumen
Este patrón demuestra cómo utilizar modelos de lenguaje grandes (LLMs) para convertir las consultas en lenguaje natural en un lenguaje específico del dominio de consulta (consulta DSL), lo que facilita a los usuarios la interacción con los servicios de búsqueda, como OpenSearch Elasticsearch, sin un conocimiento exhaustivo del lenguaje de consulta. Este recurso es especialmente valioso para los desarrolladores y científicos de datos que quieren mejorar las aplicaciones basadas en búsquedas con funcionalidades de consulta en lenguaje natural y, en última instancia, mejorar la experiencia del usuario y la funcionalidad de búsqueda.
El patrón ilustra las técnicas de ingeniería de peticiones, el perfeccionamiento iterativo y la incorporación de conocimientos especializados, todas fundamentales en la generación de datos sintéticos. Si bien este enfoque se centra principalmente en la conversión de consultas, demuestra de manera implícita el potencial del aumento de datos y la producción escalable de datos sintéticos. Esta base podría ampliarse a tareas de generación de datos sintéticos más exhaustivas, a fin de resaltar el poder de unir las entradas de lenguaje natural no LLMs estructuradas con las salidas estructuradas y específicas de la aplicación.
Esta solución no implica herramientas de migración ni implementación en el sentido tradicional. En cambio, se centra en demostrar una prueba de concepto (PoC) para convertir consultas en lenguaje natural en consultas de DSL mediante el uso de. LLMs
+ El patrón utiliza un cuaderno de Jupyter como step-by-step guía para configurar el entorno e implementar la conversión. text-to-query
+ Utiliza Amazon Bedrock para acceder LLMs, que es crucial para interpretar el lenguaje natural y generar las consultas adecuadas.
+ La solución está diseñada para funcionar con Amazon OpenSearch Service. Puede seguir un proceso similar para Elasticsearch y las consultas generadas podrían adaptarse a los motores de búsqueda similares.
[Query DSL](https://opensearch.org/docs/latest/query-dsl/) es un lenguaje de búsqueda flexible basado en JSON que se utiliza para crear consultas complejas tanto en Elasticsearch como en. OpenSearch Permite especificar consultas en el parámetro de consulta de las operaciones de búsqueda y admite varios tipos de consultas. Una consulta de DSL incluye consultas hojas y consultas compuestas. Las consultas hoja buscan valores específicos en campos determinados y abarcan consultas de texto completo, por términos, geográficas, de unión, de alcance y especializadas. Las consultas compuestas actúan como contenedores para cláusulas compuestas o de varias hojas y combinan sus resultados o modifican su comportamiento. Query DSL permite la creación de búsquedas sofisticadas, que van desde consultas sencillas que coinciden con todos los requisitos hasta consultas complejas con varias cláusulas que producen resultados muy específicos. Query DSL es especialmente útil para proyectos que requieren funcionalidades de búsqueda avanzadas, una construcción de consultas flexible y estructuras de consulta basadas en JSON.
Para la conversión de DSL, este patrón utiliza técnicas como la generación de mensajes en pocos pasos, las solicitudes del sistema, la salida estructurada, el encadenamiento de solicitudes, el suministro de contexto y las solicitudes específicas para tareas específicas. text-to-query Para definiciones y ejemplos de estas técnicas, consulte la sección [Información adicional](#translate-natural-language-query-dsl-opensearch-elasticsearch-additional).
## Requisitos previos y limitaciones
**Requisitos previos **
Para utilizar de manera eficaz el cuaderno de Jupyter para convertir consultas en lenguaje natural en DSL de consultas, necesita lo siguiente:
+ **Conocimientos de los cuadernos de Jupyter**. Comprensión básica de cómo navegar y ejecutar código en un entorno de cuadernos de Jupyter.
+ **Entorno de Python**. Un entorno de Python que funcione, de preferencia Python 3.x, con las bibliotecas necesarias instaladas.
+ ** OpenSearch Elasticsearch** o conocimiento. Conocimientos básicos de Elasticsearch o OpenSearch, incluida su arquitectura y cómo realizar consultas.
+ **Cuenta de AWS**. Un activo Cuenta de AWS para acceder a Amazon Bedrock y otros servicios relacionados.
+ **Bibliotecas y dependencias**. Instalación de bibliotecas específicas mencionadas en el cuaderno, por ejemplo, `boto3` para la AWS interacción, y cualquier otra dependencia necesaria para la integración con LLM.
+ **Acceso a modelos en Amazon Bedrock**. Este patrón usa tres Claude LLMs de Anthropic. Abra la [consola de Amazon Bedrock](https://console.aws.amazon.com/bedrock/) y elija **Acceso a modelos**. En la pantalla siguiente, elija **Activar modelos específicos** y seleccione estos tres modelos:
+ Claude 3 Sonnet
+ Claude 3.5 Sonnet
+ Claude 3 Haiku
+ **Políticas de IAM y rol de IAM adecuados**. Para ejecutar el cuaderno en una función AWS Identity and Access Management (de IAM) Cuenta de AWS, es necesaria la `SagemakerFullAccess` política, así como la política que se proporciona en la sección de [información adicional](#translate-natural-language-query-dsl-opensearch-elasticsearch-additional), a la que puede dar un nombre. `APGtext2querydslpolicy` Esta política incluye la suscripción a los tres modelos de Claude que se indican.
Contar con estos requisitos previos garantiza una experiencia fluida a la hora de trabajar con el portátil e implementar la text-to-query funcionalidad.
**Limitaciones**
+ **Estado de la prueba de concepto**. Este proyecto pretende principalmente ser una prueba de concepto (PoC). Demuestra el potencial de su uso LLMs para convertir consultas en lenguaje natural en consultas DSL, pero es posible que no esté completamente optimizado o preparado para la producción.
+ **Limitaciones del modelo**:
**Restricciones de la ventana de contexto***.* Cuando utilice las LLMs que están disponibles en Amazon Bedrock, tenga en cuenta las limitaciones de la ventana de contexto:
Modelos de Claude (a partir de septiembre de 2024):
+ Claude 3 Opus: 200.000 tokens
+ Claude 3 Sonnet: 200.000 tokens
+ Claude 3 Haiku: 200.000 tokens
Es posible que otros modelos de Amazon Bedrock tengan tamaños de ventana de contexto distintos. Consulte siempre la documentación más reciente para obtener la información más actualizada.
**Disponibilidad de modelos***. *La disponibilidad de modelos específicos en Amazon Bedrock puede variar. Asegúrese de tener acceso a los modelos necesarios antes de implementar esta solución.
+ **Limitaciones adicionales**
+ **Complejidad de la consulta**. La eficacia de la conversión del lenguaje natural a DSL de consulta puede variar según la complejidad de la consulta introducida.
+ **Compatibilidad de versiones**. Es posible que el DSL de consulta generado necesite ajustes en función de la versión específica de Elasticsearch o OpenSearch de la que utilice.
+ **Rendimiento.** Este patrón proporciona una implementación de PoC, por lo que la velocidad y precisión de la generación de consultas podrían no ser óptimas la producción a gran escala.
+ **Costo**. Su uso LLMs en Amazon Bedrock conlleva costes. Tenga en cuenta la estructura de precios del modelo que elija. Para obtener más información, consulte [Precios de Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/bedrock-pricing.html).
+ **Mantenimiento.** Es posible que sea necesario actualizar de manera periódica las peticiones y la selección de modelos para mantenerse al día con los avances de la tecnología de los LLM y los cambios en la sintaxis del DSL de consultas.
**Versiones de producto**
Esta solución se probó en Amazon OpenSearch Service. Si quiere utilizar Elasticsearch, es posible que tenga que hacer algunos cambios para replicar la funcionalidad exacta de este patrón.
+ **OpenSearch compatibilidad de versiones**. **OpenSearch **mantiene la compatibilidad con versiones anteriores en las principales versiones. Por ejemplo:
+ OpenSearch Los clientes 1.x son generalmente compatibles con los clústeres OpenSearch 1.x.
+ OpenSearch Los clientes 2.x son generalmente compatibles con OpenSearch los clústeres 2.x.
Sin embargo, siempre que sea posible, es mejor utilizar la misma versión secundaria para el cliente y para el clúster.
+ OpenSearch Compatibilidad con las **API.** **OpenSearch **mantiene la compatibilidad de la API con Elasticsearch OSS 7.10.2 para la mayoría de las operaciones. Sin embargo, existen algunas diferencias, sobre todo en las versiones más recientes.
+ **OpenSearch consideraciones sobre la actualización:**
+ No se admiten las versiones de nivel inferior directas. Utilice instantáneas para la reversión si es necesario.
+ Cuando actualice, consulte la [matriz de compatibilidad y notas de la versión](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/supported-operations.html) para ver si hay cambios importantes.
**Consideraciones sobre Elasticsearch**
+ **Versión de Elasticsearch**. La versión principal de Elasticsearch que utilice es crucial, ya que la sintaxis y las características de las consultas pueden cambiar entre las versiones principales. Actualmente, la última versión estable es Elasticsearch 8.x. Asegúrese de que las consultas sean compatibles con la versión específica de Elasticsearch.
+ **Versión de la biblioteca de DSL de consultas de Elasticsearch**. Si utiliza la biblioteca de Python de DSL de consultas de Elasticsearch, asegúrese de que la versión coincida con la versión de Elasticsearch. Por ejemplo:
+ Para Elasticsearch 8.x, utilice una versión de `elasticsearch-dsl` superior o igual a la versión 8.0.0, pero inferior a la versión 9.0.0.
+ Para Elasticsearch 7.x, utilice una versión de `elasticsearch-dsl` superior o igual a la versión 7.0.0, pero inferior a la versión 8.0.0.
+ **Versión de la biblioteca del cliente**. Ya sea que utilice el cliente oficial de Elasticsearch o un cliente para un lenguaje específico, asegúrese de que sea compatible con la versión de Elasticsearch.
+ **Versión de Query DSL**. Query DSL evoluciona con las versiones de Elasticsearch. Es posible que algunos tipos o parámetros de consulta estén en desuso o se hayan introducido en versiones diferentes.
+ **Asignación de versión**. La manera en que define las asignaciones de los índices y cambia de una versión a otra. Consulte siempre la documentación de asignación de la versión específica de Elasticsearch.
+ **Versiones de herramientas de análisis**. Si utiliza analizadores, tokenizadores u otras herramientas de análisis de texto, su comportamiento o disponibilidad podrían cambiar de una versión a otra.
## Arquitectura
**Arquitectura de destino**
El siguiente diagrama ilustra la arquitectura de este patrón.
![\[Arquitectura para traducir lenguaje natural a DSL de consultas en Amazon Bedrock.\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/images/pattern-img/75296405-2893-4328-9551-9bcc6ec7fd3e/images/ffb1b893-d23c-4e1c-b679-8063b4f85a8a.png)
donde:
1. Entrada de usuario y petición del sistema con algunos ejemplos de solicitudes de pocos pasos. El proceso comienza con un usuario que proporciona una consulta en lenguaje natural o una solicitud de generación de esquemas.
1. Amazon Bedrock La entrada se envía a Amazon Bedrock, que sirve como interfaz para acceder al LLM de Claude.
1. LLM de Claude 3 Sonnet. Amazon Bedrock utiliza el soneto Claude 3 de la familia Claude 3 LLMs para procesar la entrada. Interpreta y genera el DSL de Elasticsearch o consulta adecuado. OpenSearch Para las solicitudes de esquemas, genera Elasticsearch o mapeos sintéticos. OpenSearch
1. Generación de DSL de consultas. En el caso de las consultas en lenguaje natural, la aplicación toma el resultado del LLM y lo formatea en un DSL válido para consultas de Elasticsearch o Service. OpenSearch
1. Generación de datos sintéticos. La aplicación también utiliza esquemas para crear Elasticsearch sintético o OpenSearch datos para cargarlos en una colección Serverless con fines de prueba. OpenSearch
1. OpenSearch o Elasticsearch. La consulta DSL generada se consulta con una colección OpenSearch Serverless en todos los índices. La salida de JSON contiene los datos relevantes y el número de *visitas* de los datos que residen en la colección Serverless. OpenSearch
**Automatización y escala**
El código que se proporciona con este patrón está diseñado estrictamente para fines de PoC. En la lista siguiente se proporcionan algunas sugerencias para automatizar y escalar aún más la solución y pasar el código a producción. Estas mejoras quedan fuera del alcance de este patrón.
+ Creación de contenedores:
+ Utilice Docker para la aplicación a fin de garantizar la coherencia entre los diversos entornos.
+ Utilice plataformas de orquestación de contenedores como Amazon Elastic Container Service (Amazon ECS) o Kubernetes para las implementaciones escalables.
+ Arquitectura sin servidor:
+ Convierta la funcionalidad principal en AWS Lambda funciones.
+ Utilice Amazon API Gateway para crear RESTful puntos de enlace para la entrada de consultas en lenguaje natural.
+ Proceso asíncrono:
+ Implemente Amazon Simple Queue Service (Amazon SQS) para poner en cola las consultas entrantes.
+ Úselo AWS Step Functions para organizar el flujo de trabajo de procesamiento de consultas y generación del DSL de consultas.
+ Almacenamiento en caché:
+ Implemente un mecanismo para almacenar las peticiones en la memoria caché.
+ Supervisión y registro:
+ Usa Amazon CloudWatch para monitorizar y emitir alertas.
+ Implemente el registro centralizado con Amazon CloudWatch Logs o Amazon OpenSearch Service para el análisis de registros.
+ Mejoras de seguridad:
+ Implemente los roles de IAM para el control de acceso específico.
+ Úselo AWS Secrets Manager para almacenar y administrar de forma segura las claves y credenciales de la API.
+ Implementación multirregional
+ Considere la posibilidad de implementar la solución en varios Regiones de AWS para mejorar la latencia y la recuperación ante desastres.
+ Utilice Amazon Route 53 para el enrutamiento de solicitudes inteligente.
Al implementar estas sugerencias, puede transformar esta PoC en una solución sólida, escalable y lista para la producción. Recomendamos que pruebe exhaustivamente cada componente y todo el sistema antes de la implementación completa.
## Tools (Herramientas)
**Herramientas**
+ Los [cuadernos Amazon SageMaker AI son cuadernos](https://aws.amazon.com/sagemaker/notebooks/) Jupyter totalmente gestionados para el desarrollo del aprendizaje automático. Este patrón utiliza las libretas como un entorno interactivo para la exploración de datos, el desarrollo de modelos y la experimentación en Amazon SageMaker AI. Los cuadernos proporcionan una integración perfecta con otras funciones de SageMaker IA y. Servicios de AWS
+ [Python](https://www.python.org/) es un lenguaje de programación informático de uso general. Este patrón utiliza Python como lenguaje principal para implementar la solución.
+ [Amazon Bedrock](https://aws.amazon.com/bedrock/) es un servicio totalmente gestionado que pone a su disposición modelos básicos de alto rendimiento (FMs) de las principales empresas emergentes de IA y Amazon a través de una API unificada. Amazon Bedrock proporciona acceso al procesamiento LLMs del lenguaje natural. Este patrón utiliza modelos Anthropic Claude 3.
+ [AWS SDK para Python (Boto3)](https://boto3.amazonaws.com/v1/documentation/api/latest/index.html)es un kit de desarrollo de software que le ayuda a integrar su aplicación, biblioteca o script de Python con Servicios de AWS, incluido Amazon Bedrock.
+ [Amazon OpenSearch Service](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/what-is.html) es un servicio gestionado que le ayuda a implementar, operar y escalar clústeres de OpenSearch servicios en la nube de AWS. Este patrón utiliza OpenSearch Service como sistema de destino para generar el DSL de consultas.
**Repositorio de código**
El código de este patrón está disponible en el repositorio GitHub [Prompt Engineering Text-to-QueryDSL Using Claude 3 Models](https://github.com/aws-samples/text-to-queryDSL/blob/main/text2ES_prompting_guide.ipynb). En el ejemplo se utiliza una aplicación de redes sociales de salud que crea publicaciones para los usuarios y los perfiles de usuario asociados a la aplicación de salud.
## Prácticas recomendadas
Al trabajar con esta solución, tenga en cuenta lo siguiente:
+ La necesidad de contar con AWS las credenciales y los permisos adecuados para acceder a Amazon Bedrock
+ Los posibles costos asociados con el uso Servicios de AWS y LLMs
+ La importancia de comprender el DSL de consultas para validar y, posiblemente, modificar las consultas generadas
## Epics
### Configuración del entorno y preparación de los datos
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Configure el entorno de desarrollo. | Para obtener instrucciones detalladas y el código para este y los demás pasos de este patrón, consulte el tutorial completo en el [GitHub repositorio](https://github.com/aws-samples/text-to-queryDSL/blob/main/text2ES_prompting_guide.ipynb).[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/translate-natural-language-query-dsl-opensearch-elasticsearch.html) | Python, pip, AWS SDK |
| Configura el AWS acceso. | Configure el cliente de Amazon Bedrock y la sesión de SageMaker IA. Recupera el nombre del recurso de Amazon (ARN) del rol de ejecución de SageMaker IA para usarlo más adelante en la creación de la colección OpenSearch Serverless. | IAM, AWS CLI, Amazon Bedrock, Amazon SageMaker |
| Cargue esquemas de aplicaciones de salud. | Lea y analice los esquemas JSON de las publicaciones de salud y perfiles de usuario a partir de archivos predefinidos. Convierta los esquemas en cadenas para utilizarlos más adelante en las peticiones. | DevOps ingeniero, AWS general, Python, JSON |
### Generación de datos sintéticos
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Cree un generador de datos basado en LLM. | Implemente la función **generate\$1data()** para llamar a la API de Converse de Amazon Bedrock con los modelos Claude 3. Modelo de configuración IDs para Sonnet, Sonnet 3.5 y Haiku:model_id_sonnet3_5 = "anthropic.claude-3-5-sonnet-20240620-v1:0"
model_id_sonnet = "anthropic.claude-3-sonnet-20240229-v1:0"
model_id_haiku = "anthropic.claude-3-haiku-20240307-v1:0"
| Python, API de Amazon Bedrock, peticiones de LLM |
| Cree publicaciones de salud sintéticas. | Utilice la función **generate\$1data()** con una petición específica para crear entradas sintéticas de publicaciones de salud basadas en el esquema proporcionado. Una llamada a la función tiene un aspecto similar al siguiente: health_post_data = generate_data(bedrock_rt, model_id_sonnet, system_prompt, message_healthpost, inference_config)
| Python, JSON |
| Cree perfiles de usuario sintéticos. | Utilice la función **generate\$1data()** con una petición específica para crear entradas sintéticas de perfiles de usuario basadas en el esquema proporcionado. Esto es similar a la generación de publicaciones de salud, pero utiliza una petición distinta. | Python, JSON |
### Configure e ingiera datos OpenSearch
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Configure una colección OpenSearch sin servidor. | Utilice Boto3 para crear una colección OpenSearch sin servidor con las políticas de cifrado, red y acceso adecuadas. La creación de la colección tiene un aspecto como el siguiente: collection = aoss_client.create_collection(name=es_name, type='SEARCH')
[Para obtener más información sobre OpenSearch Serverless, consulte la documentación.AWS](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/serverless.html) | OpenSearch Sin servidor, IAM |
| Defina los índices OpenSearch . | Cree índices para publicaciones de salud y perfiles de usuario mediante el OpenSearch cliente, en función de las asignaciones de esquemas predefinidas. La creación del índice tiene un aspecto como este:response_health = oss_client.indices.create(healthpost_index, body=healthpost_body)
| OpenSearch, JSON |
| Cargue datos en OpenSearch. | Ejecuta la función **ingest\$1data ()** para insertar de forma masiva las publicaciones sintéticas sobre salud y los perfiles de usuario en sus índices respectivos. OpenSearch La función utiliza el asistente masivo de `opensearch-py`:success, failed = bulk(oss_client, actions)
| Python, OpenSearch API, operaciones de datos masivos |
### Creación y ejecución de consultas
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Diseñe ejemplos de peticiones con pocos pasos. | Genere consultas de ejemplo y las preguntas correspondientes en lenguaje natural con los modelos de Claude 3 como ejemplos con pocos pasos para la generación de consultas. La petición del sistema incluye los ejemplos siguientes:system_prompt_query_generation = [{"text": f"""You are an expert query dsl generator. ... Examples: {example_prompt} ..."""}] | Petición de LLM, DSL de consultas |
| Crea un conversor text-to-query DSL. | Implemente la petición del sistema, que incluye esquemas, datos y ejemplos con pocos pasos, para la generación de consultas. Utilice la petición del sistema para convertir las consultas en lenguaje natural en DSL de consultas. Una llamada a la función tiene un aspecto similar al siguiente:query_response = generate_data(bedrock_rt, model_id, system_prompt_query_generation, query, inference_config)
| Python, API de Amazon Bedrock, peticiones de LLM |
| Pruebe la consulta DSL activada. OpenSearch | Ejecute la función **query\$1oss ()** para ejecutar la consulta DSL generada en la colección OpenSearch Serverless y obtener resultados. La función utiliza el método de búsqueda del cliente OpenSearch :response = oss_client.search(index="_all", body=temp)
| Python, OpenSearch API, consulta DSL |
### Prueba y evaluación
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Cree un conjunto de consultas de prueba. | Utilice Claude 3 para generar un conjunto diverso de preguntas de prueba basadas en los datos y esquemas sintéticos:test_queries = generate_data(bedrock_rt, model_id_sonnet, query_system_prompt, query_prompt, inference_config)
| Peticiones de LLM |
| Evalúe la precisión de la conversión de DSL de consultas. | Pruebe la consulta DSL generada mediante la ejecución de consultas OpenSearch y el análisis de los resultados devueltos para comprobar su relevancia y precisión. Esto implica ejecutar la consulta e inspeccionar los resultados:output = query_oss(response1) print("Response after running query against Opensearch") print(output) | Python, análisis de datos, DSL de consultas |
| Modelos Claude 3 de referencia. | Compare el rendimiento de los distintos modelos de Claude 3 (Haiku, Sonnet, Sonnet 3.5) para la generación de consultas en términos de precisión y latencia. Para comparar, cambie `model_id` cuando llame a **generate\$1data()** y mide el tiempo de ejecución. | Python, análisis comparativo de rendimiento |
### Limpieza y documentación
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Desarrolle un proceso de limpieza. | Elimine todos los índices de la colección OpenSearch Serverless después de usarlos. | Python, SDK de AWS, OpenSearch API |
## Recursos relacionados
+ [Consulta DSL](https://opensearch.org/docs/latest/query-dsl/) (OpenSearch documentación)
+ [Documentación OpenSearch de Amazon Service](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/what-is.html)
+ [OpenSearch Colecciones sin servidor](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/serverless-manage.html)
+ [Documentación de Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/what-is-bedrock.html)
+ [Documentación de Amazon SageMaker AI](https://docs.aws.amazon.com/sagemaker/latest/dg/whatis.html)
+ [AWS SDK para Python (Boto3) documentación](https://boto3.amazonaws.com/v1/documentation/api/latest/index.html)
## Información adicional
**Política de IAM**
Esta es la política `APGtext2querydslpolicy` para el rol de IAM que se utiliza en este patrón:
```
{
"Version": "2012-10-17",
"Statement": [
{ "Effect": "Allow",
"Action": [
"bedrock:InvokeModel",
"bedrock:InvokeModelWithResponseStream"
],
"Resource": "*"
},
{ "Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:PutObject",
"s3:ListBucket"
],
"Resource": [
"arn:aws:s3:::sagemaker-*",
"arn:aws:s3:::sagemaker-*/*"
]
},
{ "Effect": "Allow",
"Action": [
"logs:CreateLogGroup",
"logs:CreateLogStream",
"logs:PutLogEvents"
],
"Resource": "arn:aws:logs:*:*:log-group:/aws/sagemaker/*"
},
{ "Effect": "Allow",
"Action": [
"ec2:CreateNetworkInterface",
"ec2:DescribeNetworkInterfaces",
"ec2:DeleteNetworkInterface"
],
"Resource": "*"
},
{ "Effect": "Allow",
"Action": [
"aoss:*"
],
"Resource": "*"
},
{ "Effect": "Allow",
"Action": [
"iam:PassRole",
"sagemaker:*"
],
"Resource": [
"arn:aws:iam::*:role/*", "*"
],
"Condition": {
"StringEquals": {
"iam:PassedToService": "sagemaker.amazonaws.com"
}
}
},
{ "Effect": "Allow",
"Action": [
"codecommit:GetBranch",
"codecommit:GetCommit",
"codecommit:GetRepository",
"codecommit:ListBranches",
"codecommit:ListRepositories"
],
"Resource": "*"
},
{ "Effect": "Allow",
"Action": [
"aws-marketplace:Subscribe"
],
"Resource": "*",
"Condition": {
"ForAnyValue:StringEquals": {
"aws-marketplace:ProductId": [
"prod-6dw3qvchef7zy",
"prod-m5ilt4siql27k",
"prod-ozonys2hmmpeu"
]
}
}
},
{ "Effect": "Allow",
"Action": [
"aws-marketplace:Unsubscribe",
"aws-marketplace:ViewSubscriptions"
],
"Resource": "*"
},
{ "Effect": "Allow",
"Action": "iam:*",
"Resource": "*"
}
]
}
```
**Técnicas de peticiones con modelos Anthropic Claude 3**
Este patrón muestra las siguientes técnicas de solicitud para la conversión text-to-query DSL utilizando los modelos Claude 3.
+ **Petición con pocos pasos**: las peticiones con pocos pasos es una técnica eficiente para mejorar el rendimiento de los modelos de Claude 3 en Amazon Bedrock. Este enfoque implica proporcionar al modelo un pequeño número de ejemplos que demuestren el input/output comportamiento deseado antes de pedirle que realice una tarea similar. Al utilizar los modelos de Claude 3 en Amazon Bedrock, las peticiones con pocos pasos pueden resultar muy eficaces para las tareas que requieren un formato específico, patrones de razonamiento o conocimientos del dominio. Para implementar esta técnica, en general, se estructura la petición con dos componentes principales: la sección de ejemplos y la consulta propiamente dicha. La sección de ejemplos contiene uno o más input/output pares que ilustran la tarea y la sección de consultas presenta la nueva entrada para la que desea obtener una respuesta. Este método ayuda a Claude 3 a entender el contexto y el formato de salida esperado y, a menudo, da como resultado una respuesta más precisa y coherente.
Ejemplo:
```
"query": {
"bool": {
"must": [
{"match": {"post_type": "recipe"}},
{"range": {"likes_count": {"gte": 100}}},
{"exists": {"field": "media_urls"}}
]
}
}
Question: Find all recipe posts that have at least 100 likes and include media URLs.
```
+ **Peticiones del sistema: **además de las peticiones con pocos pasos, los modelos de Claude 3 de Amazon Bedrock también admiten el uso de peticiones del sistema. Las peticiones del sistema son una manera de proporcionar un contexto general, instrucciones o directrices al modelo antes de presentarlo con entradas específicas del usuario. Son muy útiles para definir el tono, establecer el papel del modelo o establecer las limitaciones de toda la conversación. Para utilizar una petición del sistema con Claude 3 en Amazon Bedrock, debe incluirlo en el parámetro `system` de su solicitud de API. Esto es independiente de los mensajes de usuario y se aplica a toda la interacción. Las peticiones detalladas del sistema se utilizan para establecer el contexto y proporcionar pautas para el modelo.
Ejemplo:
```
You are an expert query dsl generator. Your task is to take an input question and generate a query dsl to answer the question. Use the schemas and data below to generate the query.
Schemas: [schema details]
Data: [sample data]
Guidelines:
- Ensure the generated query adheres to DSL query syntax
- Do not create new mappings or other items that aren't included in the provided schemas.
```
+ **Salida estructurada**: puede indicar al modelo que proporcione la salida en formatos específicos, como JSON o en etiquetas XML.
Ejemplo:
```
Put the query in json tags
```
+ **Encadenamiento de peticiones**: el cuaderno utiliza el resultado de una llamada al LLM como entrada para otra, por ejemplo, utiliza los datos sintéticos generados para crear preguntas de ejemplo.
+ **Aprovisionamiento de contexto**: en las peticiones se proporciona el contexto correspondiente, como los esquemas y los datos de muestra.
Ejemplo:
```
Schemas: [schema details]
Data: [sample data]
```
+ **Peticiones específicas para cada tarea**: se diseñan peticiones distintas para tareas específicas, como generar datos sintéticos, crear preguntas de ejemplo y convertir consultas en lenguaje natural en DSL de consultas.
Ejemplo de generación de preguntas de prueba:
```
Your task is to generate 5 example questions users can ask the health app based on provided schemas and data. Only include the questions generated in the response.
```
# Uso de Amazon Q Developer como asistente de codificación para aumentar la productividad
*Ram Kandaswamy, Amazon Web Services*
## Resumen
Este patrón utiliza un tic-tac-toe juego para demostrar cómo puedes aplicar Amazon Q Developer en una variedad de tareas de desarrollo. Genera código para un tic-tac-toe juego como una aplicación de una sola página (SPA), mejora su interfaz de usuario y crea scripts para implementar la AWS aplicación.
Amazon Q Developer funciona como un asistente de codificación para ayudar a acelerar los flujos de trabajo de desarrollo de software y mejorar la productividad para desarrolladores y para no desarrolladores. Independientemente de sus conocimientos técnicos, le permite crear arquitecturas y diseñar soluciones para problemas empresariales, a reforzar su entorno de trabajo, a implementar características nuevas y a generar casos de prueba para su validación. Utiliza instrucciones en lenguaje natural y funcionalidades de IA para garantizar un código coherente y de alta calidad y mitigar los desafíos de codificación, independientemente de sus habilidades de programación.
La ventaja principal de Amazon Q Developer es su capacidad para quitarle de encima las tareas de codificación repetitivas. Cuando utiliza la anotación `@workspace`, Amazon Q Developer ingiere e indexa todos los archivos de código, las configuraciones y la estructura del proyecto en su entorno de desarrollo integrado (IDE) y proporciona respuestas personalizadas para que se centre en la resolución creativa de problemas. Puede dedicar más tiempo a diseñar soluciones innovadoras y a mejorar la experiencia del usuario. Si no tiene conocimientos técnicos, puede utilizar Amazon Q Developer para agilizar los flujos de trabajo y colaborar de manera más eficaz con el equipo de desarrollo. La característica de **explicación del código** de Amazon Q Developer ofrece instrucciones y resúmenes detallados para que pueda navegar por bases de código complejas.
Además, Amazon Q Developer ofrece un enfoque independiente del lenguaje que ayuda a los desarrolladores de nivel medio y medio a ampliar sus habilidades. Puede concentrarse en los conceptos básicos y la lógica empresarial en lugar de centrarse en la sintaxis específica del lenguaje. Esto reduce la curva de aprendizaje al cambiar de tecnología.
## Requisitos previos y limitaciones
**Requisitos previos **
+ IDE (por ejemplo, WebStorm o Visual Studio Code) con el complemento Amazon Q Developer instalado. Para obtener instrucciones, consulte [Installing the Amazon Q Developer extension or plugin in your IDE](https://docs.aws.amazon.com/amazonq/latest/qdeveloper-ug/q-in-IDE-setup.html) en la documentación de Amazon Q Developer.
+ Una Cuenta de AWS configuración activa con Amazon Q Developer. Para obtener instrucciones, consulte [Getting started](https://docs.aws.amazon.com/amazonq/latest/qdeveloper-ug/getting-started-q-dev.html) en la documentación de Amazon Q Developer.
+ **npm** instalado. Para obtener instrucciones, consulte la [documentación de npm](https://docs.npmjs.com/downloading-and-installing-node-js-and-npm). Este patrón se probó con la versión 10.8 de npm.
+ AWS Command Line Interface (AWS CLI) instalado. Para obtener instrucciones, consulte la [documentación de AWS CLI](https://docs.aws.amazon.com/cli/latest/userguide/getting-started-install.html).
**Limitaciones**
+ Amazon Q Developer solo puede hacer una tarea de desarrollo a la vez.
+ Algunas Servicios de AWS no están disponibles en todas Regiones de AWS. Para conocer la disponibilidad de las regiones, consulte [Servicios de AWS by Region](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/). Para ver los puntos de conexión específicos, consulte la página [Service endpoints and quotas](https://docs.aws.amazon.com/general/latest/gr/aws-service-information.html) y elija el enlace del servicio.
## Tools (Herramientas)
+ Este patrón requiere un IDE como Visual Studio Code o WebStorm. Para obtener una lista de los compatibles IDEs, consulte la [documentación para desarrolladores de Amazon Q.](https://docs.aws.amazon.com/amazonq/latest/qdeveloper-ug/q-in-IDE.html#supported-ides-features)
+ [AWS Command Line Interface (AWS CLI)](https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-welcome.html) es una herramienta de código abierto que le ayuda a interactuar Servicios de AWS mediante los comandos de su shell de línea de comandos.
## Prácticas recomendadas
Consulte [las prácticas recomendadas de codificación con Amazon Q Developer](https://docs.aws.amazon.com/prescriptive-guidance/latest/best-practices-code-generation/best-practices-coding.html) en la Guía AWS prescriptiva. Además:
+ Al enviar peticiones a Amazon Q Developer, asegúrese de que las instrucciones sean claras e inequívocas. Agregue fragmentos de código y anotaciones, por ejemplo, `@workspace` a la petición para proporcionar más contexto a las peticiones.
+ Incluya las bibliotecas pertinentes e impórtelas para evitar conflictos o conjeturas incorrectas por parte del sistema.
+ Si el código generado no es exacto o no es el esperado, utilice la opción **Enviar comentarios y regenerar**. Intente dividir las peticiones en instrucciones más pequeñas.
## Epics
### Configuración del entorno de trabajo
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Cree un nuevo proyecto de . | Para crear un proyecto nuevo en el entorno de trabajo, ejecute el comando siguiente y acepte la configuración predeterminada para todas las preguntas:npx create-next-app@latest
| Desarrollador de aplicaciones, programador, desarrollador de software |
| Pruebe la aplicación base. | Ejecute el comando siguiente y confirme que la aplicación base cargó de manera correcta en el navegador:npm run dev
| Desarrollador de aplicaciones, programador, desarrollador de software |
| Limpie el código base. | Vaya al archivo `page.tsx` de la carpeta `src/app` y elimine el contenido predeterminado para obtener una página en blanco. Una vez eliminado, el archivo debe tener el aspecto siguiente:export default function Home() {
return (
);
} | Desarrollador de aplicaciones, programador, desarrollador de software |
### Usa Amazon Q Developer para diseñar un proyecto de tic-tac-toe juego
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Obtenga información general de los pasos. | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/use-q-developer-as-coding-assistant-to-increase-productivity.html) | Desarrollador de aplicaciones, programador, desarrollador de software |
| Genera código para tic-tac-toe. | En el panel de chat, inicie una tarea de desarrollo mediante el comando `/dev` seguido de la descripción de la tarea. Por ejemplo:/dev Create a React-based single-page application written in TypeScript for a tic-tac-toe game with the following specifications:
1. Design an aesthetically pleasing interface with the game grid centered vertically and
horizontally on the page.
2. Include a heading and clear instructions on how to play the game.
3. Implement color-coding for X and O marks to distinguish them easily.
Amazon Q Developer genera código según sus instrucciones. | Desarrollador de aplicaciones, programador, desarrollador de software |
| Inspeccione y acepte el código generado. | Inspeccione visualmente el código y elija **Aceptar código** para reemplazar automáticamente el archivo `page.tsx`.Si tiene problemas, elija **Enviar comentarios y regenerar** y describa el problema que encontró. | Desarrollador de aplicaciones, programador, desarrollador de software |
| Corrija los errores de linting. | El tic-tac-toe juego de ejemplo incluye una cuadrícula. El código que genera Amazon Q Developer podría utilizar el tipo predeterminado `any`. Para agregar seguridad tipográfica, haga una petición a Amazon Q Developer de la manera siguiente:/dev Ensure proper TypeScript typing for the onSquare Click event handler
to resolve any 'any' type issues.
| Desarrollador de aplicaciones, programador, desarrollador de software |
| Agregue atractivo visual. | Puede dividir el requisito original en fragmentos más pequeños. Por ejemplo, puede mejorar la IU del juego con las peticiones siguientes en las tareas de desarrollo. Esta petición mejora los estilos de Cascading Style Sheets (CSS) y exporta la aplicación para su implementación./dev Debug and fix any CSS issues to correctly display the game grid and overall layout.
Simplify the code by removing game history functionality and related components.
Implement static file export to an 'out' directory for easy deployment. The solution
should be fully functional, visually appealing, and free of typing errors or layout issues.
| Desarrollador de aplicaciones, programador, desarrollador de software |
| Vuelva a probar. | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/use-q-developer-as-coding-assistant-to-increase-productivity.html) | Desarrollador de aplicaciones, programador, desarrollador de software |
### Implemente la aplicación en el Nube de AWS
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Cree carpetas y archivos para su implementación. | En el proyecto del entorno de trabajo, cree una carpeta de implementación con dos archivos en su interior: `pushtos3.sh` y `cloudformation.yml`mkdir deployment && cd deployment
touch pushtos3.sh && chmod +x pushtos3.sh
touch cloudformation.yml
| Desarrollador de aplicaciones, programador, desarrollador de software |
| Genere código de automatización. | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/use-q-developer-as-coding-assistant-to-increase-productivity.html) | Administrador de AWS, AWS DevOps, desarrollador de aplicaciones |
| Genere el contenido del script. | Para crear un script de implementación, utilice la petición siguiente:/dev Modify the pushtos3 shell script so that it can use AWS CLI commands to create a
CloudFormation stack named tictactoe-stack if it does not exist already, and use
cloudformation.yml as the source template. Wait for the stack to complete and sync the
contents from the out folder to the S3 bucket. Perform invalidation of the CloudFront
origin.
| Desarrollador de aplicaciones, programador, desarrollador de software |
| Implemente la aplicación en la Nube de AWS. | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/use-q-developer-as-coding-assistant-to-increase-productivity.html) | Administrador de AWS DevOps, arquitecto de nube, desarrollador de aplicaciones |
## Resolución de problemas
| Problema | Solución |
| --- | --- |
| La creación no crea una aplicación de una sola página ni la exporta a la carpeta de salida. | Mire el contenido del archivo `next.config.mjs`:Si el código tiene la configuración siguiente de manera predeterminada:const nextConfig = {};modifíquelo de la manera siguiente:const nextConfig = {
output: 'export',
distDir: 'out',
}; |
## Recursos relacionados
+ [Creating a new React project](https://react.dev/learn/start-a-new-react-project) (documetación de React)
+ [Descripción general para desarrolladores de Amazon Q](https://docs.aws.amazon.com/amazonq/latest/qdeveloper-ug/what-is.html) (AWS documentación)
+ [Prácticas recomendadas para desarrolladores de Amazon Q](https://docs.aws.amazon.com/prescriptive-guidance/latest/best-practices-code-generation/introduction.html) (guía AWS prescriptiva)
+ [Instalación, configuración y uso de Amazon Q Developer con JetBrains IDEs](https://www.youtube.com/watch?v=-iQfIhTA4J0&pp=ygUSYW1hem9uIHEgZGV2ZWxvcGVy) (YouTube vídeo)
+ [Instalación de Amazon Q para la línea de comandos](https://docs.aws.amazon.com/amazonq/latest/qdeveloper-ug/command-line-getting-started-installing.html) (AWS documentación)
# Utilice el SageMaker procesamiento para la ingeniería de características distribuidas de conjuntos de datos de aprendizaje automático a escala de terabytes
*Chris Boomhower, Amazon Web Services*
## Resumen
Muchos conjuntos de datos a escala de terabytes o más grandes suelen constar de una estructura jerárquica de carpetas y, en ocasiones, los archivos del conjunto de datos comparten interdependencias. Por este motivo, los ingenieros de machine learning (ML) y los científicos de datos deben tomar decisiones de diseño bien pensadas a fin de preparar dichos datos para el entrenamiento y la inferencia de modelos. Este patrón demuestra cómo puede utilizar técnicas manuales de macrofragmentación y microfragmentación en combinación con Amazon SageMaker Processing y la paralelización de CPU virtual (vCPU) para escalar de manera eficiente los procesos de ingeniería de características para conjuntos de datos de aprendizaje automático de big data complicados.
Este patrón define la *macrofragmentación* como la división de los directorios de datos en varias máquinas para su procesamiento, y la *microfragmentación* como la división de los datos de cada máquina en varios subprocesos de procesamiento. El patrón demuestra estas técnicas mediante el uso de Amazon SageMaker con ejemplos de registros de formas de onda de series temporales del conjunto de datos [PhysioNet MIMIC-III](https://physionet.org/content/mimic3wdb/1.0/). Al implementar las técnicas en este patrón, puede minimizar el tiempo y los costos de procesamiento de la ingeniería de características y, al mismo tiempo, maximizar la utilización de los recursos y la eficiencia del rendimiento. Estas optimizaciones se basan en el SageMaker procesamiento distribuido en las instancias de Amazon Elastic Compute Cloud (Amazon EC2) y en v CPUs para conjuntos de datos grandes y similares, independientemente del tipo de datos.
## Requisitos previos y limitaciones
**Requisitos previos **
+ Acceda a instancias de SageMaker notebook o a SageMaker Studio, si desea implementar este patrón en su propio conjunto de datos. Si es la primera vez que utiliza Amazon SageMaker , consulte [Comenzar con Amazon SageMaker](https://docs.aws.amazon.com/sagemaker/latest/dg/gs.html) en la documentación de AWS.
+ SageMaker Studio, si quiere implementar este patrón con los datos de muestra del [PhysioNet MIMIC-III](https://physionet.org/content/mimic3wdb/1.0/).
+ El patrón usa SageMaker Processing, pero no requiere experiencia en la ejecución SageMaker de trabajos de Processing.
**Limitaciones**
+ Este patrón se adapta bien a los conjuntos de datos de machine learning que incluyen archivos interdependientes. Estas interdependencias son las que más se benefician de la fragmentación manual de macros y de la ejecución en paralelo de varios trabajos de procesamiento de una sola instancia SageMaker . Para los conjuntos de datos en los que no existen dichas interdependencias, la `ShardedByS3Key` función de SageMaker procesamiento podría ser una mejor alternativa a la macrofragmentación, ya que envía los datos fragmentados a varias instancias administradas por el mismo trabajo de procesamiento. Sin embargo, puede implementar la estrategia de microfragmentación de este patrón en ambos escenarios para aprovechar al máximo la instancia v. CPUs
**Versiones de producto**
+ Amazon SageMaker Python SDK versión 2
## Arquitectura
**Pila de tecnología de destino**
+ Amazon Simple Storage Service (Amazon S3)
+ Amazon SageMaker
**Arquitectura de destino**
*Macrofragmentación e instancias distribuidas EC2 *
Los 10 procesos paralelos representados en esta arquitectura reflejan la estructura del conjunto de datos MIMIC-III. (Los procesos se representan mediante elipses para simplificar el diagrama). Cuando se utiliza la macrofragmentación manual, se aplica una arquitectura similar a cualquier conjunto de datos. En el caso de MIMIC-III, puede aprovechar la estructura sin procesar del conjunto de datos procesando la carpeta de cada grupo de pacientes por separado, con un esfuerzo mínimo. En el siguiente diagrama, el bloque de grupos de registros aparece a la izquierda (1). Dada la naturaleza distribuida de los datos, tiene sentido dividirlos por grupo de pacientes.
![\[Arquitectura para microfragmentación e instancias distribuidas EC2\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/images/pattern-img/e7a90b31-de8f-41fd-bb3f-c7c6100fc306/images/c19a8f87-ac59-458e-89cb-50be17ca4a0c.png)
Sin embargo, la fragmentación manual por grupo de pacientes significa que se requiere un trabajo de procesamiento independiente para cada carpeta del grupo de pacientes, como puede ver en la sección central del diagrama (2), en lugar de un solo trabajo de procesamiento con varias instancias. EC2 Como los datos de MIMIC-III incluyen tanto archivos de forma de onda binarios como archivos de encabezados basados en texto coincidentes, y existe una dependencia obligatoria de la [biblioteca wfdb](https://wfdb.readthedocs.io/en/latest/) para la extracción de datos binarios, todos los registros de un paciente específico deben estar disponibles en la misma instancia. La única forma de asegurarse de que el archivo de cabecera asociado a cada archivo de forma de onda binaria también esté presente es implementar la fragmentación manual para ejecutar cada fragmento dentro de su propio trabajo de procesamiento y especificar `s3_data_distribution_type='FullyReplicated'` cuándo se define la entrada del trabajo de procesamiento. Como alternativa, si todos los datos estuvieran disponibles en un único directorio y no existieran dependencias entre los archivos, una opción más adecuada sería lanzar un único trabajo de procesamiento con varias EC2 instancias especificadas`s3_data_distribution_type='ShardedByS3Key'`. Si `ShardedByS3Key ` se especifica el tipo de distribución de datos de Amazon S3, se SageMaker gestionará automáticamente la fragmentación de datos en todas las instancias.
Lanzar un trabajo de procesamiento para cada carpeta es una forma rentable de preprocesar los datos, ya que la ejecución simultánea de varias instancias ahorra tiempo. Para ahorrar costos y tiempo adicionales, puede utilizar la microfragmentación en cada trabajo de procesamiento.
*Microsharding y parallel v CPUs*
Dentro de cada trabajo de procesamiento, los datos agrupados se dividen aún más para maximizar el uso de todos los v disponibles CPUs en la instancia SageMaker totalmente administrada EC2 . Los bloques de la sección central del diagrama (2) muestran lo que ocurre en cada trabajo de procesamiento principal. El contenido de las carpetas de registros de pacientes se aplana y se divide en partes iguales en función del número de v disponibles CPUs en la instancia. Una vez dividido el contenido de la carpeta, el conjunto de archivos de tamaño uniforme se distribuye por todos los archivos v CPUs para su procesamiento. Cuando se completa el procesamiento, los resultados de cada vCPU se combinan en un único archivo de datos para cada trabajo de procesamiento.
En el código adjunto, estos conceptos se representan en la siguiente sección del archivo `src/feature-engineering-pass1/preprocessing.py`.
```
def chunks(lst, n):
"""
Yield successive n-sized chunks from lst.
:param lst: list of elements to be divided
:param n: number of elements per chunk
:type lst: list
:type n: int
:return: generator comprising evenly sized chunks
:rtype: class 'generator'
"""
for i in range(0, len(lst), n):
yield lst[i:i + n]
# Generate list of data files on machine
data_dir = input_dir
d_subs = next(os.walk(os.path.join(data_dir, '.')))[1]
file_list = []
for ds in d_subs:
file_list.extend(os.listdir(os.path.join(data_dir, ds, '.')))
dat_list = [os.path.join(re.split('_|\.', f)[0].replace('n', ''), f[:-4]) for f in file_list if f[-4:] == '.dat']
# Split list of files into sub-lists
cpu_count = multiprocessing.cpu_count()
splits = int(len(dat_list) / cpu_count)
if splits == 0: splits = 1
dat_chunks = list(chunks(dat_list, splits))
# Parallelize processing of sub-lists across CPUs
ws_df_list = Parallel(n_jobs=-1, verbose=0)(delayed(run_process)(dc) for dc in dat_chunks)
# Compile and pickle patient group dataframe
ws_df_group = pd.concat(ws_df_list)
ws_df_group = ws_df_group.reset_index().rename(columns={'index': 'signal'})
ws_df_group.to_json(os.path.join(output_dir, group_data_out))
```
Una función, `chunks`, se define primero para consumir una lista dada dividiéndola en trozos de longitud de tamaño uniforme `n ` y devolviendo estos resultados como un generador. A continuación, los datos se agrupan en las carpetas de los pacientes mediante la compilación de una lista de todos los archivos de forma de onda binaria presentes. Una vez hecho esto, se obtiene el número de v CPUs disponible en la EC2 instancia. [La lista de archivos de formas de onda binarias se divide uniformemente entre estas v CPUs mediante una llamada y`chunks`, a continuación, cada sublista de formas de onda se procesa en su propia vCPU mediante la clase Parallel de joblib.](https://joblib.readthedocs.io/en/latest/generated/joblib.Parallel.html) El trabajo de procesamiento combina automáticamente los resultados en una sola lista de marcos de datos, que SageMaker luego los procesa más antes de escribirlos en Amazon S3 al finalizar el trabajo. En este ejemplo, los trabajos de procesamiento escriben 10 archivos en Amazon S3 (uno para cada trabajo).
Cuando se hayan completado todos los trabajos de procesamiento iniciales, un trabajo de procesamiento secundario, que se muestra en el bloque a la derecha del diagrama (3), combina los archivos de salida generados por cada trabajo de procesamiento principal y escribe el resultado combinado en Amazon S3 (4).
## Tools (Herramientas)
**Herramientas**
+ [Python](https://www.python.org/): el código de ejemplo utilizado para este patrón es Python (versión 3).
+ [SageMaker Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/studio.html): Amazon SageMaker Studio es un entorno de desarrollo integrado (IDE) basado en la web para el aprendizaje automático que le permite crear, entrenar, depurar, implementar y supervisar sus modelos de aprendizaje automático. Los trabajos de SageMaker procesamiento se ejecutan con los cuadernos de Jupyter incluidos en Studio. SageMaker
+ [SageMaker Procesamiento](https://docs.aws.amazon.com/sagemaker/latest/dg/processing-job.html): Amazon SageMaker Processing proporciona una forma simplificada de ejecutar sus cargas de trabajo de procesamiento de datos. En este patrón, el código de ingeniería de funciones se implementa a escala mediante tareas SageMaker de procesamiento.
**Código**
El archivo .zip adjunto proporciona el código completo de este patrón. En la siguiente sección se describen los pasos para crear la arquitectura para este patrón. Cada paso se ilustra con un ejemplo de código del archivo adjunto.
## Epics
### Configura tu entorno de SageMaker estudio
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Accede a Amazon SageMaker Studio. | Inscríbase en SageMaker Studio en su cuenta de AWS siguiendo las instrucciones que se proporcionan en la [ SageMaker documentación de Amazon](https://docs.aws.amazon.com/sagemaker/latest/dg/onboard-quick-start.html). | Científico de datos, ingeniero de machine learning |
| Instale la utilidad wget. | Instala *wget* si has incorporado una nueva configuración de SageMaker Studio o si nunca has utilizado estas utilidades en SageMaker Studio. Para instalarlo, abre una ventana de terminal en la consola de SageMaker Studio y ejecuta el siguiente comando:sudo yum install wget
| Científico de datos, ingeniero de machine learning |
| Descargue y descomprima el código de muestra. | Descargue el archivo `attachments.zip` en la sección *Adjuntos*. En una ventana de terminal, navegue hasta la carpeta en la que descargó el archivo y extraiga su contenido:unzip attachment.zip
Desplácese hasta la ubicación donde descargó el archivo .zip y extraiga el contenido del archivo `Scaled-Processing.zip`.unzip Scaled-Processing.zip
| Científico de datos, ingeniero de machine learning |
| Descargue el conjunto de datos de muestra de physionet.org y cárguelo en Amazon S3. | Ejecute el cuaderno de Jupyter `get_data.ipynb` dentro de la carpeta que contiene los archivos `Scaled-Processing`. Este bloc de notas descarga un conjunto de datos MIMIC-III de muestra de [physionet.org](https://physionet.org) y lo carga en el bucket de sesión SageMaker de Studio en Amazon S3. | Científico de datos, ingeniero de machine learning |
### Configuración del primer script de preprocesamiento
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Aplane la jerarquía de archivos en todos los subdirectorios. | En conjuntos de datos grandes, como MIMIC-III, los archivos suelen distribuirse en varios subdirectorios, incluso dentro de un grupo principal lógico. El script debe estar configurado para aplanar todos los archivos del grupo en todos los subdirectorios, como se muestra en el siguiente código.# Generate list of .dat files on machine
data_dir = input_dir
d_subs = next(os.walk(os.path.join(data_dir, '.')))[1]
file_list = []
for ds in d_subs:
file_list.extend(os.listdir(os.path.join(data_dir, ds, '.')))
dat_list = [os.path.join(re.split('_|\.', f)[0].replace('n', ''), f[:-4]) for f in file_list if f[-4:] == '.dat']
Los fragmentos de código de ejemplo de esta epic provienen del archivo `src/feature-engineering-pass1/preprocessing.py` que se proporciona en el archivo adjunto. | Científico de datos, ingeniero de machine learning |
| Divida los archivos en subgrupos según el recuento de vCPU. | Los archivos deben dividirse en subgrupos o fragmentos de tamaño uniforme, según el número de v CPUs presentes en la instancia que ejecuta el script. Para este paso, puede implementar código similar al siguiente.# Split list of files into sub-lists
cpu_count = multiprocessing.cpu_count()
splits = int(len(dat_list) / cpu_count)
if splits == 0: splits = 1
dat_chunks = list(chunks(dat_list, splits))
| Científico de datos, ingeniero de machine learning |
| Paralelice el procesamiento de los subgrupos entre v. CPUs | La lógica del script debe configurarse para procesar todos los subgrupos en paralelo. Para ello, utilice la clase `Parallel ` y el método `delayed ` de la biblioteca Joblib de la siguiente manera. # Parallelize processing of sub-lists across CPUs
ws_df_list = Parallel(n_jobs=-1, verbose=0)(delayed(run_process)(dc) for dc in dat_chunks)
| Científico de datos, ingeniero de machine learning |
| Guarde la salida de un solo grupo de archivos en Amazon S3. | Cuando se complete el procesamiento de la vCPU paralela, los resultados de cada vCPU deben combinarse y cargarse en la ruta del bucket de S3 del grupo de archivos. Para este paso, puede utilizar código similar al siguiente.# Compile and pickle patient group dataframe
ws_df_group = pd.concat(ws_df_list)
ws_df_group = ws_df_group.reset_index().rename(columns={'index': 'signal'})
ws_df_group.to_json(os.path.join(output_dir, group_data_out))
| Científico de datos, ingeniero de machine learning |
### Configuración del segundo script de preprocesamiento
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Combine los archivos de datos generados en todos los trabajos de procesamiento en los que se ejecutó el primer script. | El script anterior genera un único archivo para cada trabajo de SageMaker procesamiento que procesa un grupo de archivos del conjunto de datos. A continuación, debe combinar estos archivos de salida en un único objeto y escribir un único conjunto de datos de salida en Amazon S3. Esto se demuestra en el archivo `src/feature-engineering-pass1p5/preprocessing.py`, que se proporciona en el archivo adjunto, de la siguiente manera.def write_parquet(wavs_df, path):
"""
Write waveform summary dataframe to S3 in parquet format.
:param wavs_df: waveform summary dataframe
:param path: S3 directory prefix
:type wavs_df: pandas dataframe
:type path: str
:return: None
"""
extra_args = {"ServerSideEncryption": "aws:kms"}
wr.s3.to_parquet(
df=wavs_df,
path=path,
compression='snappy',
s3_additional_kwargs=extra_args)
def combine_data():
"""
Get combined data and write to parquet.
:return: waveform summary dataframe
:rtype: pandas dataframe
"""
wavs_df = get_data()
wavs_df = normalize_signal_names(wavs_df)
write_parquet(wavs_df, "s3://{}/{}/{}".format(bucket_xform, dataset_prefix, pass1p5out_data))
return wavs_df
wavs_df = combine_data()
| Científico de datos, ingeniero de machine learning |
### Ejecutar trabajos de procesamiento
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Ejecute el primer trabajo de procesamiento. | Para realizar la fragmentación de macros, ejecute un trabajo de procesamiento independiente para cada grupo de archivos. La microfragmentación se realiza dentro de cada trabajo de procesamiento, ya que cada trabajo ejecuta el primer script. El código siguiente muestra cómo iniciar un trabajo de procesamiento para cada directorio de grupos de archivos en el siguiente fragmento (incluido en `notebooks/FeatExtract_Pass1.ipynb`).pat_groups = list(range(30,40))
ts = str(int(time.time()))
for group in pat_groups:
sklearn_processor = SKLearnProcessor(framework_version='0.20.0',
role=role,
instance_type='ml.m5.4xlarge',
instance_count=1,
volume_size_in_gb=5)
sklearn_processor.run(
code='../src/feature-engineering-pass1/preprocessing.py',
job_name='-'.join(['scaled-processing-p1', str(group), ts]),
arguments=[
"input_path", "/opt/ml/processing/input",
"output_path", "/opt/ml/processing/output",
"group_data_out", "ws_df_group.json"
],
inputs=
[
ProcessingInput(
source=f's3://{sess.default_bucket()}/data_inputs/{group}',
destination='/opt/ml/processing/input',
s3_data_distribution_type='FullyReplicated'
)
],
outputs=
[
ProcessingOutput(
source='/opt/ml/processing/output',
destination=f's3://{sess.default_bucket()}/data_outputs/{group}'
)
],
wait=False
)
| Científico de datos, ingeniero de machine learning |
| Ejecute el segundo trabajo de procesamiento. | Para combinar los resultados generados por el primer conjunto de trabajos de procesamiento y realizar cualquier cálculo adicional para el preprocesamiento, ejecute el segundo script mediante un único trabajo de SageMaker procesamiento. El siguiente código lo demuestra (incluido en `notebooks/FeatExtract_Pass1p5.ipynb`).ts = str(int(time.time()))
bucket = sess.default_bucket()
sklearn_processor = SKLearnProcessor(framework_version='0.20.0',
role=role,
instance_type='ml.t3.2xlarge',
instance_count=1,
volume_size_in_gb=5)
sklearn_processor.run(
code='../src/feature-engineering-pass1p5/preprocessing.py',
job_name='-'.join(['scaled-processing', 'p1p5', ts]),
arguments=['bucket', bucket,
'pass1out_prefix', 'data_outputs',
'pass1out_data', 'ws_df_group.json',
'pass1p5out_data', 'waveform_summary.parquet',
'statsdata_name', 'signal_stats.csv'],
wait=True
)
| Científico de datos, ingeniero de machine learning |
## Recursos relacionados
+ [Incorporarse a Amazon SageMaker Studio mediante Quick Start](https://docs.aws.amazon.com/sagemaker/latest/dg/onboard-quick-start.html) (SageMaker documentación)
+ [Datos del proceso](https://docs.aws.amazon.com/sagemaker/latest/dg/processing-job.html) (SageMaker documentación)
+ [Procesamiento de datos con scikit-learn (documentación)](https://docs.aws.amazon.com/sagemaker/latest/dg/use-scikit-learn-processing-container.html) SageMaker
+ [Documentación de JobLib.Parallel](https://joblib.readthedocs.io/en/latest/generated/joblib.Parallel.html)
+ Moody, B., Moody, G., Villarroel, M., Clifford, G. D., & Silva, I. (2020). Base de datos de formas de [onda MIMIC-III (versión 1.0)](https://doi.org/10.13026/c2607m). *PhysioNet*.
+ Johnson, A. E. W., Pollard, T. J., Shen, L., Lehman, L. H., Feng, M., Ghassemi, M., Moody, B., Szolovits, P., Celi, L. A., & Mark, R. G. (2016). [MIMIC-III, una base de datos de cuidados intensivos de acceso gratuito](https://dx.doi.org/10.1038/sdata.2016.35). Scientific Data, 3, 160035.
+ [Licencia de MIMIC-III Waveform Database](https://physionet.org/content/mimic3wdb/1.0/LICENSE.txt)
## Conexiones
Para acceder al contenido adicional asociado a este documento, descomprima el archivo: [attachment.zip](samples/p-attach/e7a90b31-de8f-41fd-bb3f-c7c6100fc306/attachments/attachment.zip)
# Visualice los resultados AI/ML del modelo con Flask y AWS Elastic Beanstalk
*Chris Caudill y Durga Sury, Amazon Web Services*
## Resumen
La visualización de los resultados de los servicios de inteligencia artificial y machine learning (IA/ML) suele requerir llamadas complejas a la API, que los desarrolladores e ingenieros deben personalizar. Esto puede ser un inconveniente si sus analistas desean explorar rápidamente un nuevo conjunto de datos.
Para mejorar la accesibilidad de sus servicios y ofrecer una forma de análisis de datos más interactiva puede utilizar una interfaz de usuario (UI) basada en la web que permite a los usuarios cargar sus propios datos y visualizar los resultados del modelo en un panel de control.
Este patrón utiliza [Flask](https://flask.palletsprojects.com/en/2.0.x/) y [Plotly](https://plotly.com/) para integrar Amazon Comprehend en una aplicación web personalizada y visualizar opiniones y entidades a partir de los datos proporcionados por los usuarios. El patrón también indica los pasos para implementar una aplicación mediante AWS Elastic Beanstalk. Puede adaptar la aplicación mediante los servicios de [IA de Amazon Web Services (AWS)](https://aws.amazon.com/machine-learning/ai-services/) o con un modelo entrenado personalizado alojado en un punto final (por ejemplo, un [ SageMaker punto final de Amazon](https://docs.aws.amazon.com/sagemaker/latest/dg/deploy-model.html)).
## Requisitos previos y limitaciones
**Requisitos previos**
+ Una cuenta de AWS activa.
+ Interfaz de la línea de comandos de AWS (AWS CLI), instalada y configurada en su equipo local. Para obtener más información, consulte la sección [Aspectos básicos de configuración](https://docs.aws.amazon.com/cli/latest/userguide/cli-configure-quickstart.html) en la documentación de la CLI de AWS. También puede usar un entorno de desarrollo integrado (IDE) de AWS Cloud9; para obtener más información, consulte el [Python tutorial for AWS Cloud9](https://docs.aws.amazon.com/cloud9/latest/user-guide/sample-python.html) y [Previewing running applications in the AWS Cloud9 IDE](https://docs.aws.amazon.com/cloud9/latest/user-guide/app-preview.html) en la documentación de AWS Cloud9.
**Aviso**: ya no AWS Cloud9 está disponible para nuevos clientes. Los clientes actuales de AWS Cloud9 pueden seguir utilizando el servicio con normalidad. [Más información](https://aws.amazon.com/blogs/devops/how-to-migrate-from-aws-cloud9-to-aws-ide-toolkits-or-aws-cloudshell/)
+ Comprensión de la estructura de aplicaciones web de Flask. Para obtener más información acerca de Flask, consulte [Quickstart](https://flask.palletsprojects.com/en/1.1.x/quickstart) en la documentación de Flask.
+ Python 3.6 o una versión posterior, instalada y configurada. Puede instalar Python siguiendo las instrucciones de [Configuración del entorno de desarrollo de Python](https://docs.aws.amazon.com/elasticbeanstalk/latest/dg/python-development-environment.html) en la documentación de AWS Elastic Beanstalk.
+ Interfaz de la línea de comandos de Elastic Beanstalk (CLI de EB), instalada y configurada. Para obtener más información, consulte [Instalación de la CLI de EB](https://docs.aws.amazon.com/elasticbeanstalk/latest/dg/eb-cli3-install.html) y [Configuración de la CLI de EB](https://docs.aws.amazon.com/elasticbeanstalk/latest/dg/eb-cli3-configuration.html) en la documentación de AWS Elastic Beanstalk.
**Limitaciones**
+ La aplicación Flask de este patrón está diseñada para funcionar con archivos .csv que utilizan una sola columna de texto y están limitados a 200 filas. El código de la aplicación se puede adaptar para gestionar otros tipos de archivos y volúmenes de datos.
+ La aplicación no tiene en cuenta la retención de datos y continúa agregando los archivos de usuario cargados hasta que se eliminan manualmente. Puede integrar la aplicación con Amazon Simple Storage Service (Amazon S3) para el almacenamiento persistente de objetos o utilizar una base de datos como Amazon DynamoDB para el almacenamiento de valores clave sin servidor.
+ La aplicación solo tiene en cuenta documentos en inglés. Sin embargo, puede utilizar Amazon Comprehend para detectar el idioma principal de un documento. Para obtener más información acerca de los idiomas admitidos para cada acción, consulte la [Referencia de la API](https://docs.aws.amazon.com/comprehend/latest/dg/API_Reference.html) en la documentación de Amazon Comprehend.
+ En la sección *Información adicional* encontrará una lista de resolución de problemas con los errores más comunes y sus soluciones.
## Arquitectura
**Arquitectura de aplicaciones Flask**
Flask es una estructura ligera para desarrollar aplicaciones web en Python. Está diseñada para combinar el potente procesamiento de datos de Python con una interfaz de usuario web enriquecida. La aplicación Flask del patrón muestra cómo crear una aplicación web que permita a los usuarios cargar datos, enviar los datos a Amazon Comprehend para su inferencia y, a continuación, visualizar los resultados. La aplicación tiene la estructura siguiente:
+ `static`— Contiene todos los archivos estáticos compatibles con la interfaz de usuario web (por ejemplo JavaScript, CSS e imágenes)
+ `templates` – Contiene todas las páginas HTML de la aplicación
+ `userData` – Almacena los datos cargados por el usuario
+ `application.py` – El archivo de la aplicación Flask
+ `comprehend_helper.py` – Funciones para realizar llamadas de API a Amazon Comprehend
+ `config.py` – Archivo de configuración de la aplicación
+ `requirements.txt` – Las dependencias de Python que requiere la aplicación
El script `application.py` contiene la funcionalidad principal de la aplicación web, que consta de cuatro rutas de Flask. En el diagrama siguiente se muestran estas rutas de Flask.
![\[Las cuatro rutas de Flask que componen la funcionalidad principal de la aplicación web.\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/images/pattern-img/03d80cf1-ec97-43f7-adb5-2746a9ec70e6/images/9ca6bad1-26e2-4262-98d0-d54c172336bf.png)
+ `/` es la raíz de la aplicación y dirige a los usuarios a la página `upload.html` (almacenada en el directorio `templates`).
+ `/saveFile` es una ruta que se invoca después de que un usuario cargue un archivo. Esta ruta recibe una solicitud `POST` a través de un formulario HTML, que contiene el archivo cargado por el usuario. El archivo se guarda en el directorio `userData` y la ruta redirige a los usuarios a la ruta `/dashboard`.
+ `/dashboard` envía a los usuarios a la página `dashboard.html`. En el HTML de esta página, ejecuta el JavaScript código `static/js/core.js` que lee los datos de la `/data` ruta y, a continuación, crea visualizaciones para la página.
+ `/data` es una API de JSON que presenta los datos que se van a visualizar en el panel de control. Esta ruta lee los datos proporcionados por el usuario y utiliza las funciones en `comprehend_helper.py` para enviar los datos del usuario a Amazon Comprehend para el análisis de opiniones y el reconocimiento de entidades nombradas (NER). La respuesta de Amazon Comprehend se formatea y se devuelve como un objeto JSON.
**Arquitectura de implementación**
![\[Diagrama de arquitectura para usar Flask y Elastic AI/ML Beanstalk para visualizar los resultados del modelo.\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/images/pattern-img/03d80cf1-ec97-43f7-adb5-2746a9ec70e6/images/d691bfd2-e2ec-4830-8bff-ffa1e3a95c4a.png)
[Consideraciones sobre el diseño](https://docs.aws.amazon.com/elasticbeanstalk/latest/dg/concepts.concepts.design.html)
Para más información sobre las consideraciones de diseño de las aplicaciones implementadas con Elastic Beanstalk en la nube de AWS, consulte la documentación de AWS Elastic Beanstalk.
**Pila de tecnología**
+ Amazon Comprehend
+ Elastic Beanstalk
+ Flask
**Automatización y escala**
Las implementaciones de Elastic Beanstalk se configuran automáticamente con equilibradores de carga y grupos de escalado automático. Para obtener más opciones de configuración, consulte [Configuración de entornos de Elastic Beanstalk](https://docs.aws.amazon.com/elasticbeanstalk/latest/dg/customize-containers.html) en la documentación de AWS Elastic Beanstalk.
## Tools (Herramientas)
+ [Interfaz de la línea de comandos de AWS (AWS CLI)](https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-welcome.html): es una herramienta unificada que proporciona una interfaz coherente para interactuar con todas las partes de AWS.
+ [Amazon Comprehend](https://docs.aws.amazon.com/comprehend/latest/dg/comprehend-general.html): utiliza el procesamiento de lenguaje natural (NLP) para extraer información sobre el contenido de los documentos, sin necesitar procesamiento especial.
+ [AWS Elastic Beanstalk](https://docs.aws.amazon.com/elasticbeanstalk/latest/dg/Welcome.html): le permite implementar y administrar aplicaciones rápidamente en la nube de AWS sin tener que aprender acerca de la infraestructura que las ejecuta.
+ [Elastic Beanstalk CLI (EB CLI)](https://docs.aws.amazon.com/elasticbeanstalk/latest/dg/eb-cli3.html): es una interfaz de la línea de comandos de AWS Elastic Beanstalk que proporciona comandos interactivos que simplifican la creación, actualización y supervisión de entornos desde un repositorio local.
+ El marco de [Flask](https://flask.palletsprojects.com/en/2.0.x/) hace el procesamiento de datos y las llamadas a la API mediante Python y ofrece una visualización web interactiva con Plotly.
**Código**
El código de este patrón está disponible en los [resultados del AI/ML modelo de GitHub Visualize mediante Flask y el repositorio AWS Elastic Beanstalk](https://github.com/aws-samples/aws-comprehend-elasticbeanstalk-for-flask).
## Epics
### Configurar la aplicación Flask
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Clone el repositorio. GitHub | Extraiga el código de la aplicación de los [resultados del AI/ML modelo de GitHub Visualize mediante Flask y el repositorio de AWS Elastic Beanstalk](https://github.com/aws-samples/aws-comprehend-elasticbeanstalk-for-flask) ejecutando el siguiente comando:`git clone git@github.com:aws-samples/aws-comprehend-elasticbeanstalk-for-flask.git`Asegúrese de configurar sus claves SSH con. GitHub | Desarrollador |
| Instale los módulos de Python. | Una vez clonado el repositorio, se crea un nuevo directorio `aws-comprehend-elasticbeanstalk-for-flask` local. En ese directorio, el archivo `requirements.txt` contiene los módulos y las versiones de Python que ejecutan la aplicación. Utilice los comandos siguientes para instalar los módulos:`cd aws-comprehend-elasticbeanstalk-for-flask``pip install -r requirements.txt` | Python developer |
| Pruebe la aplicación localmente. | Ejecute el siguiente comando para iniciar el servidor de Flask:`python application.py`Esto devuelve información sobre el servidor en ejecución. Debería poder acceder a la aplicación si abre un navegador y visita http://localhost:5000Si ejecuta la aplicación en un IDE de AWS Cloud9, debe reemplazar el comando `application.run()` del archivo `application.py` por la línea siguiente:`application.run(host=os.getenv('IP', '0.0.0.0'),port=int(os.getenv('PORT', 8080)))`Debe revertir este cambio antes de la implementación. | Python developer |
### Implementar la aplicación en Elastic Beanstalk
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Inicie la aplicación Elastic Beanstalk. | Para lanzar el proyecto como una aplicación de Elastic Beanstalk, ejecute el comando siguiente desde el directorio raíz de la aplicación:`eb init -p python-3.6 comprehend_flask --region us-east-1`[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/visualize-ai-ml-model-results-using-flask-and-aws-elastic-beanstalk.html)Ejecute el comando `eb init -i` para obtener más opciones de configuración de implementación. | Arquitecto, desarrollador |
| Implemente el entorno de Elastic Beanstalk. | Ejecute el comando siguiente desde el directorio raíz de la aplicación: `eb create comprehend-flask-env``comprehend-flask-env` es el nombre del entorno de Elastic Beanstalk y se puede cambiar según las necesidades. El nombre solo puede contener letras, números y guiones. | Arquitecto, desarrollador |
| Autorice su implementación para usar Amazon Comprehend. | Si bien es posible que su aplicación se haya implementado correctamente, debe proporcionar a su implementación acceso a Amazon Comprehend. `ComprehendFullAccess` es una política administrada de AWS que proporciona a la aplicación implementada los permisos para realizar llamadas de API a Amazon Comprehend.Adjunte la política `ComprehendFullAccess` a `aws-elasticbeanstalk-ec2-role` (esta función se crea automáticamente para las instancias de Amazon Elastic Compute Cloud (Amazon EC2) de la implementación) al ejecutar el comando siguiente:`aws iam attach-role-policy --policy-arn arn:aws:iam::aws:policy/ComprehendFullAccess --role-name aws-elasticbeanstalk-ec2-role``aws-elasticbeanstalk-ec2-role` se crea cuando se implementa la aplicación. Debe completar el proceso de implementación para poder adjuntar la política de AWS Identity and Access Management (IAM). | Desarrollador, arquitecto de seguridad |
| Visite su aplicación implementada. | Una vez que la aplicación se haya implementado correctamente, puede visitarla mediante la ejecución del comando `eb open`.También puede ejecutar el comando `eb status` para recibir detalles sobre su implementación. La URL de la implementación aparece en `CNAME`. | Arquitecto, desarrollador |
### (Opcional) Personalizar la aplicación según su modelo de ML
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Autorice que Elastic Beanstalk acceda al nuevo modelo. | Asegúrese de que Elastic Beanstalk tenga los permisos de acceso necesarios para el nuevo modelo de punto de conexión. Por ejemplo, si utilizas un SageMaker punto de conexión de Amazon, tu implementación debe tener permiso para invocar el punto de conexión. Para obtener más información al respecto, consulta [InvokeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_runtime_InvokeEndpoint.html)la SageMaker documentación de Amazon. | Desarrollador, arquitecto de seguridad |
| Envíe los datos del usuario a un nuevo modelo. | Para cambiar el modelo de ML subyacente en esta aplicación, debe cambiar los archivos siguientes:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/visualize-ai-ml-model-results-using-flask-and-aws-elastic-beanstalk.html) | Científico de datos |
| Actualice las visualizaciones del panel de control. | Por lo general, la incorporación de un nuevo modelo de ML significa que las visualizaciones deben actualizarse para reflejar los nuevos resultados. Se han realizado estos cambios en los archivos siguientes:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/visualize-ai-ml-model-results-using-flask-and-aws-elastic-beanstalk.html) | Desarrollador web |
### (Opcional) Implementar la aplicación actualizada
| Tarea | Descripción | Habilidades requeridas |
| --- | --- | --- |
| Actualice el archivo de requisitos de su solicitud. | Antes de enviar los cambios a Elastic Beanstalk, actualice el archivo `requirements.txt` para que refleje los nuevos módulos de Python. Para ello, ejecute el siguiente comando en el directorio raíz de la aplicación:`pip freeze > requirements.txt` | Python developer |
| Vuelva a implementar el entorno de Elastic Beanstalk. | Para asegurarse de que los cambios en la aplicación se reflejen en la implementación de Elastic Beanstalk, navegue hasta el directorio raíz de la aplicación y ejecute el comando siguiente:`eb deploy`Esto envía la versión más reciente del código de la aplicación a la implementación de Elastic Beanstalk existente. | Administrador de sistemas, arquitecto |
## Recursos relacionados
+ [Llame a un punto de conexión SageMaker modelo de Amazon mediante Amazon API Gateway y AWS Lambda](https://aws.amazon.com/blogs/machine-learning/call-an-amazon-sagemaker-model-endpoint-using-amazon-api-gateway-and-aws-lambda/)
+ [Implementación de una aplicación Flask en Elastic Beanstalk](https://docs.aws.amazon.com/elasticbeanstalk/latest/dg/create-deploy-python-flask.html)
+ [Referencia de los comandos de EB CLI](https://docs.aws.amazon.com/elasticbeanstalk/latest/dg/eb3-cmd-commands.html)
+ [Configuración del entorno de desarrollo de Python](https://docs.aws.amazon.com/elasticbeanstalk/latest/dg/python-development-environment.html)
## Información adicional
**Lista de solución de problemas**
A continuación, se presentan seis errores comunes y sus soluciones.
***Error 1 * **
```
Unable to assume role "arn:aws:iam::xxxxxxxxxx:role/aws-elasticbeanstalk-ec2-role". Verify that the role exists and is configured correctly.
```
**Solución**: Si este error se produce al ejecutar `eb create`, cree una aplicación de muestra en la consola de Elastic Beanstalk para crear el perfil de instancia predeterminado. Para obtener más información al respecto, consulte [Creación de un entorno de Elastic Beanstalk](https://docs.aws.amazon.com/elasticbeanstalk/latest/dg/using-features.environments.html) en la documentación de AWS Elastic Beanstalk.
***Error 2***
```
Your WSGIPath refers to a file that does not exist.
```
**Solución:** Este error se produce en los registros de implementación porque Elastic Beanstalk espera que el código de Flask se denomine `application.py`. Si eligió un nombre diferente, ejecútelo `eb config` y edítelo WSGIPath como se muestra en el siguiente ejemplo de código:
```
aws:elasticbeanstalk:container:python:
NumProcesses: '1'
NumThreads: '15'
StaticFiles: /static/=static/
WSGIPath: application.py
```
Asegúrese de reemplazar `application.py` con el nombre de su archivo.
También puede aprovechar Gunicorn y un Procfile. Para obtener más información sobre este enfoque, consulte [Configuración del servidor WSGI con un Procfile](https://docs.aws.amazon.com/elasticbeanstalk/latest/dg/python-configuration-procfile.html) en la documentación de AWS Elastic Beanstalk.
***Error 3***
```
Target WSGI script '/opt/python/current/app/application.py' does not contain WSGI application 'application'.
```
**Solución:** Elastic Beanstalk espera que la variable que representa la aplicación Flask se denomine `application`. Asegúrese de que el archivo `application.py` utilice `application` como nombre de la variable:
```
application = Flask(__name__)
```
***Error 4***
```
The EB CLI cannot find your SSH key file for keyname
```
**Solución:** Utilice la EB CLI para especificar qué par de claves usar o para crear un par de claves para las instancias EC2 de la implementación. Para resolver el error, ejecute `eb init -i` y una de las opciones le solicitará lo siguiente:
```
Do you want to set up SSH for your instances?
```
Responda `Y` para crear un par de claves o especificar un par de claves existente.
***Error 5***
*He actualizado mi código y lo he vuelto a implementar, pero mi implementación no refleja los cambios.*
**Solución**: Si utiliza un repositorio de Git con su implementación, asegúrese de añadir y confirmar los cambios antes de volver a implementarlos.
***Error 6***
*Está previsualizando la aplicación Flask desde un IDE de AWS Cloud9 y se produce un error.*
**Solución:** Para obtener más información al respecto, consulte [Vista previa de las aplicaciones en ejecución en el IDE de AWS Cloud9](https://docs.aws.amazon.com/cloud9/latest/user-guide/app-preview.html) en la documentación de AWS Cloud9.
**Uso de Amazon Comprehend para el procesamiento de lenguaje natural**
Al elegir Amazon Comprehend, puede detectar entidades personalizadas en documentos de texto individuales mediante la ejecución de análisis en tiempo real o trabajos por lotes asíncronos. Amazon Comprehend también le permite entrenar modelos personalizados de reconocimiento de entidades y clasificación de texto que se pueden utilizar en tiempo real mediante la creación de un punto de conexión.
Este patrón utiliza trabajos por lotes asíncronos para detectar opiniones y entidades en un archivo de entrada que contiene varios documentos. La aplicación de ejemplo que proporciona este patrón está diseñada para que los usuarios carguen un archivo .csv que contenga una sola columna con un documento de texto por fila. El `comprehend_helper.py` archivo del [ AI/ML modelo de GitHub Visualize genera resultados con Flask y el repositorio de AWS Elastic Beanstalk](https://github.com/aws-samples/aws-comprehend-elasticbeanstalk-for-flask) lee el archivo de entrada y lo envía a Amazon Comprehend para su procesamiento.
*BatchDetectEntities*
Amazon Comprehend inspecciona el texto de un lote de documentos en busca de entidades nombradas y devuelve la entidad detectada, la ubicación, el [tipo de entidad](https://docs.aws.amazon.com/comprehend/latest/dg/how-entities.html) y una puntuación que indica el nivel de confianza de Amazon Comprehend. Se puede enviar un máximo de 25 documentos en una llamada de API, y cada documento tiene un tamaño inferior a 5000 bytes. Puede filtrar los resultados para mostrar solo determinadas entidades en función del caso de uso. Así, por ejemplo, puede omitir el tipo de entidad `‘quantity’` y establecer una puntuación límite para la entidad detectada (por ejemplo, 0,75). Le recomendamos que explore los resultados para su caso de uso específico antes de elegir un valor umbral. Para obtener más información al respecto, consulte [BatchDetectEntities](https://docs.aws.amazon.com/comprehend/latest/dg/API_BatchDetectEntities.html)la documentación de Amazon Comprehend.
*BatchDetectSentiment*
Amazon Comprehend inspecciona un lote de documentos entrantes y devuelve la opinión predominante para cada documento (`POSITIVE`, `NEUTRAL`, `MIXED` o `NEGATIVE`). Se puede enviar un máximo de 25 documentos en una llamada de API, y cada documento tiene un tamaño inferior a 5000 bytes. Analizar la opinión es sencillo y se puede elegir aquella que tiene la puntuación más alta para que aparezca en los resultados finales. Para obtener más información al respecto, consulte [BatchDetectSentiment](https://docs.aws.amazon.com/comprehend/latest/dg/API_BatchDetectSentiment.html)la documentación de Amazon Comprehend.
**Manejo de la configuración de Flask**
Los servidores Flask utilizan una serie de [variables de configuración](https://flask.palletsprojects.com/en/1.1.x/config/) para controlar el funcionamiento del servidor. Estas variables pueden contener el resultado de la depuración, tokens de sesión u otros ajustes de la aplicación. También puede definir variables personalizadas a las que se puede acceder mientras la aplicación se está ejecutando. Existen varios enfoques para establecer las variables de configuración.
En este patrón, la configuración se define `config.py` y se hereda dentro de `application.py`.
+
**nota**
`config.py` contiene las variables de configuración que se configuran al iniciar la aplicación. En esta aplicación, se define una variable `DEBUG` para indicar a la aplicación que ejecute el servidor en [modo de depuración](https://flask.palletsprojects.com/en/1.1.x/config/#DEBUG). El modo de depuración no debe utilizarse cuando se ejecuta una aplicación en un entorno de producción. `UPLOAD_FOLDER` es una variable personalizada que se define para hacer referencia a ella más adelante en la aplicación e indicar dónde deben almacenarse los datos de usuario cargados.
+ `application.py` inicia la aplicación Flask y hereda los ajustes de configuración definidos en `config.py`. Esto se lleva a cabo mediante el código siguiente:
```
application = Flask(__name__)
application.config.from_pyfile('config.py')
```
# Más patrones
**Topics**
+ [Acelere MLOps con las plantillas Backstage y de autoservicio de Amazon AI SageMaker](accelerate-mlops-with-backstage-and-sagemaker-templates.md)
+ [Automatice las operaciones de AWS infraestructura con Amazon Bedrock](automate-aws-infrastructure-operations-by-using-amazon-bedrock.md)
+ [Implementación de sistemas de agentes en Amazon Bedrock con el marco CrewAI mediante Terraform](deploy-agentic-systems-on-amazon-bedrock-with-the-crewai-framework.md)
+ [Implemente una ChatOps solución para gestionar los resultados de los escaneos SAST mediante Amazon Q Developer en aplicaciones de chat, acciones personalizadas y CloudFormation](deploy-chatops-solution-to-manage-sast-scan-results.md)
+ [Genere información de datos mediante AWS Mainframe Modernization Amazon Q en Quick Sight](generate-data-insights-by-using-aws-mainframe-modernization-and-amazon-q-in-quicksight.md)
+ [Genere información sobre z/OS datos de Db2 mediante AWS Mainframe Modernization Amazon Q en Quick Sight](generate-db2-zos-data-insights-aws-mainframe-modernization-amazon-q-in-quicksight.md)
+ [Otorgue a las instancias de SageMaker notebook acceso temporal a un CodeCommit repositorio de otra cuenta de AWS](give-sagemaker-notebook-instances-temporary-access-to-a-codecommit-repository-in-another-aws-account.md)
+ [Gestione AWS Organizations las políticas como código mediante AWS CodePipeline Amazon Bedrock](manage-organizations-policies-as-code.md)
+ [Modernice la aplicación de CardDemo mainframe mediante AWS Transform](modernize-carddemo-mainframe-app.md)
+ [Modernice e implemente aplicaciones de mainframe con Terraform AWS Transform](modernize-mainframe-app-transform-terraform.md)
+ [Realizar análisis avanzados mediante Amazon Redshift ML](perform-advanced-analytics-using-amazon-redshift-ml.md)
+ [Optimice la gestión EC2 del cumplimiento de Amazon con los agentes de Amazon Bedrock y AWS Config](streamline-amazon-ec2-compliance-management-with-amazon-bedrock-agents-and-aws-config.md)
+ [Simplificación del desarrollo y la implementación de los bots de Amazon Lex mediante un flujo de trabajo automatizado](streamline-amazon-lex-bot-development-and-deployment-using-an-automated-workflow.md)
+ [Solucione problemas de estados AWS Step Functions mediante Amazon Bedrock](troubleshooting-states-in-aws-step-functions.md)