Uso de machine learning de Amazon Aurora con Aurora MySQL

Al utilizar el machine learning de Amazon Aurora con su clúster de base de datos de Aurora MySQL, puede utilizar Amazon Bedrock, Amazon Comprehend o IA de Amazon SageMaker, en función de sus necesidades. Cada uno admite casos de uso de machine learning diferentes.

Requisitos para usar machine learning de Aurora con Aurora MySQL

Los servicios de machine learning de AWS son servicios administrados que se configuran y ejecutan en sus propios entornos de producción. El machine learning de Aurora admite la integración con Amazon Bedrock, Amazon Comprehend e IA de SageMaker. Antes de intentar configurar el clúster de base de datos de Aurora MySQL para usar el machine learning de Aurora, asegúrese de comprender los siguientes requisitos y requisitos previos.

Disponibilidad en regiones y versiones

La disponibilidad de las características varía según las versiones específicas de cada motor de base de datos de Aurora y entre Regiones de AWS.

Funciones y limitaciones compatibles del machine learning de Aurora con Aurora MySQL

Al usar Aurora MySQL con el machine learning de Aurora, se aplican las siguientes limitaciones:

Configuración del clúster de base de datos Aurora MySQL para utilizar el machine learning de Aurora

En los siguientes temas, puede encontrar procedimientos de configuración independientes para cada uno de estos servicios de machine learning de Aurora.

Configuración del clúster de base de datos de Aurora MySQL para utilizar Amazon Bedrock

El machine learning de Aurora se basa en roles de AWS Identity and Access Management (IAM) y políticas para permitir que su clúster de base de datos de Aurora MySQL acceda a los servicios de Amazon Bedrock y los utilice. Los siguientes procedimientos crean una política de permisos y un rol de IAM para que el clúster de base de datos se pueda integrar con Amazon Bedrock.

A continuación, debe crear el rol de IAM que usa la política de permisos de Amazon Bedrock.

A continuación, asocie el rol de IAM de Amazon Bedrock con su clúster de base de datos.

Debe agregar el ARN de este rol de IAM al parámetro aws_default_bedrock_role del grupo de parámetros del clúster de base de datos personalizado asociado a su clúster de base de datos de Aurora MySQL. Si el clúster de base de datos de Aurora MySQL no usa un grupo de parámetros de clúster de base de datos personalizado, debe crear uno para usarlo con el clúster de base de datos de Aurora MySQL para completar la integración. Para obtener más información, consulte Grupos de parámetros de clústeres de base de datos para clústeres de base de datos en Amazon Aurora.

La integración de IAM para Amazon Bedrock está completa. Continúe configurando su clúster de base de datos de Aurora MySQL para que funcione con Amazon Bedrock mediante Concesión de acceso a los usuarios de bases de datos a machine learning de Aurora.

Configuración del clúster de base de datos de Aurora MySQL para utilizar Amazon Comprehend

El machine learning de Aurora se basa en roles y políticas de AWS Identity and Access Management para permitir que su clúster de base de datos de Aurora MySQL acceda a los servicios de Amazon Comprehend y los utilice. El siguiente procedimiento crea automáticamente una política y un rol de IAM para su clúster, de modo que pueda usar Amazon Comprehend.

La integración de IAM para Amazon Comprehend está completa. Siga configurando su clúster de base de datos Aurora MySQL para que funcione con Amazon Comprehend concediendo acceso a los usuarios de la base de datos adecuados.

Configuración del clúster de base de datos de Aurora MySQL para utilizar IA de SageMaker

El siguiente procedimiento crea automáticamente una política y un rol de IAM para su clúster de base de datos de Aurora MySQL, de modo que pueda usar IA de SageMaker. Antes de intentar seguir este procedimiento, asegúrese de tener disponible el punto de conexión de IA de SageMaker para poder introducirlo cuando sea necesario. Por lo general, los científicos de datos de su equipo se encargarían de crear un punto de conexión que pueda utilizar desde su clúster de base de datos de Aurora MySQL. Puede encontrar estos puntos de conexión en la consola de IA de SageMaker. En el panel de navegación, abra el menú Inferencia y elija Puntos de conexión. En la siguiente imagen, puede ver un ejemplo.

La configuración de IAM ya se ha completado. Siga configurando su clúster de base de datos Aurora MySQL para que funcione con IA de SageMaker concediendo acceso a los usuarios de la base de datos adecuados.

Si desea utilizar sus modelos de IA de SageMaker para el entrenamiento en lugar de utilizar componentes prediseñados de IA de SageMaker, también debe añadir el bucket de Amazon S3 a su clúster de base de datos de Aurora MySQL, tal y como se describe en Configuración del clúster de base de datos de Aurora MySQL para utilizar Amazon S3 para IA de SageMaker (opcional) a continuación.

Configuración del clúster de base de datos de Aurora MySQL para utilizar Amazon S3 para IA de SageMaker (opcional)

Para utilizar IA de SageMaker con sus propios modelos en lugar de utilizar los componentes prediseñados que ofrece IA de SageMaker, debe configurar un bucket de Amazon S3 para que lo utilice el clúster de base de datos de Aurora MySQL. Para obtener más información sobre la creación de un bucket de Amazon S3, consulte la sección de Creación de un bucket en la Guía del usuario de Amazon Simple Storage Service.

Para obtener más información sobre el uso de los buckets de Amazon S3 con IA de SageMaker, consulte Specify an Amazon S3 Bucket to Upload Training Datasets and Store Output Data en la Guía para desarrolladores de IA de Amazon SageMaker. Para obtener más información sobre cómo trabajar con IA de SageMaker, consulte Get Started with Amazon SageMaker AI Notebook Instances en la Guía para desarrolladores de Amazon SageMaker.

Concesión de acceso a los usuarios de bases de datos a machine learning de Aurora

Los usuarios de la base de datos deben tener permiso para invocar las funciones de machine learning de Aurora. La forma de conceder los permisos depende de la versión de MySQL que utilice para el clúster de base de datos Aurora MySQL, tal como se describe a continuación. La forma de hacerlo depende de la versión de MySQL que utilice el clúster de base de datos de Aurora MySQL.

La siguiente tabla muestra los roles y los privilegios que los usuarios de bases de datos necesitan para trabajar con funciones de machine learning.

Concesión de acceso a las funciones de Amazon Bedrock

Para dar a los usuarios de bases de datos acceso a las funciones de Amazon Bedrock, utilice la siguiente instrucción de SQL:

GRANT AWS_BEDROCK_ACCESS TO user@domain-or-ip-address;

Los usuarios de bases de datos también deben tener permisos EXECUTE para las funciones que cree para trabajar con Amazon Bedrock:

GRANT EXECUTE ON FUNCTION database_name.function_name TO user@domain-or-ip-address;

Por último, los usuarios de la base de datos deben tener sus roles configurados en:AWS_BEDROCK_ACCESS

SET ROLE AWS_BEDROCK_ACCESS;

Las funciones de Amazon Bedrock ya están disponibles para su uso.

Concesión de acceso a las funciones de Amazon Comprehend

Para dar a los usuarios de bases de datos acceso a las funciones de Amazon Comprehend, utilice la sentencia correspondiente para su versión de Aurora MySQL.

Las funciones de Amazon Comprehend ya están disponibles para su uso. Para ejemplos de uso, consulte Uso de Amazon Comprehend con el clúster de base de datos de Aurora MySQL.

Concesión de acceso a las funciones de IA de SageMaker

Para dar a los usuarios de bases de datos acceso a las funciones de IA de SageMaker, utilice la sentencia correspondiente para su versión de Aurora MySQL.

Los usuarios de bases de datos también deben tener permisos EXECUTE para las funciones que cree para trabajar con IA de SageMaker. Supongamos que ha creado dos funciones db1.anomoly_score y db2.company_forecasts, para invocar los servicios de su punto de conexión de IA de SageMaker. Debe conceder privilegios de ejecución como se muestra en el siguiente ejemplo.

GRANT EXECUTE ON FUNCTION db1.anomaly_score TO user1@domain-or-ip-address1;
GRANT EXECUTE ON FUNCTION db2.company_forecasts TO user2@domain-or-ip-address2;

Las funciones de IA de SageMaker ya están disponibles para su uso. Para ejemplos de uso, consulte Uso de IA de SageMaker con el clúster de base de datos de Aurora MySQL.

Uso de Amazon Bedrock con el clúster de base de datos de Aurora MySQL

Para utilizar Amazon Bedrock, debe crear una función definida por el usuario (UDF) en la base de datos de Aurora MySQL que invoque un modelo. Para obtener más información, consulte Modelos compatibles en Amazon Bedrock en la Guía del usuario de Amazon Bedrock.

Una UDF utiliza la siguiente sintaxis:

CREATE FUNCTION function_name (argument type)
        [DEFINER = user]
    RETURNS mysql_data_type
    [SQL SECURITY {DEFINER | INVOKER}]
    ALIAS AWS_BEDROCK_INVOKE_MODEL
    MODEL ID 'model_id'
    [CONTENT_TYPE 'content_type']
    [ACCEPT 'content_type']
    [TIMEOUT_MS timeout_in_milliseconds];

Por ejemplo, la siguiente UDF invoca el modelo Text Express de Amazon Titan:

CREATE FUNCTION invoke_titan (request_body TEXT)
    RETURNS TEXT
    ALIAS AWS_BEDROCK_INVOKE_MODEL
    MODEL ID 'amazon.titan-text-express-v1'
    CONTENT_TYPE 'application/json'
    ACCEPT 'application/json';

Para permitir que un usuario de base de datos utilice esta función, utilice el siguiente comando de SQL:

GRANT EXECUTE ON FUNCTION database_name.invoke_titan TO user@domain-or-ip-address;

A continuación, el usuario puede llamar a invoke_titan como a cualquier otra función, como se muestra en el siguiente ejemplo. Asegúrese de formatear el cuerpo de la solicitud de acuerdo con los modelos de texto de Amazon Titan.

CREATE TABLE prompts (request varchar(1024));
INSERT INTO prompts VALUES (
'{
    "inputText": "Generate synthetic data for daily product sales in various categories - include row number, product name, category, date of sale and price. Produce output in JSON format. Count records and ensure there are no more than 5.",
    "textGenerationConfig": {
        "maxTokenCount": 1024,
        "stopSequences": [],
        "temperature":0,
        "topP":1
    }
}');

SELECT invoke_titan(request) FROM prompts;

{"inputTextTokenCount":44,"results":[{"tokenCount":296,"outputText":"
```tabular-data-json
{
    "rows": [
        {
            "Row Number": "1",
            "Product Name": "T-Shirt",
            "Category": "Clothing",
            "Date of Sale": "2024-01-01",
            "Price": "$20"
        },
        {
            "Row Number": "2",
            "Product Name": "Jeans",
            "Category": "Clothing",
            "Date of Sale": "2024-01-02",
            "Price": "$30"
        },
        {
            "Row Number": "3",
            "Product Name": "Hat",
            "Category": "Accessories",
            "Date of Sale": "2024-01-03",
            "Price": "$15"
        },
        {
            "Row Number": "4",
            "Product Name": "Watch",
            "Category": "Accessories",
            "Date of Sale": "2024-01-04",
            "Price": "$40"
        },
        {
            "Row Number": "5",
            "Product Name": "Phone Case",
            "Category": "Accessories",
            "Date of Sale": "2024-01-05",
            "Price": "$25"
        }
    ]
}
```","completionReason":"FINISH"}]}

Para otros modelos que utilice, asegúrese de formatear el cuerpo de la solicitud de forma adecuada para ellos. Para obtener más información, consulte Inference parameters for foundation models en la Guía del usuario de Amazon Bedrock.

Uso de Amazon Comprehend con el clúster de base de datos de Aurora MySQL

Para Aurora MySQL, el machine learning de Aurora proporciona las dos funciones integradas siguientes para trabajar con Amazon Comprehend y sus datos de texto. Proporciona el texto para analizar (input_data) y especifica el idioma (language_code).

En ambas funciones (aws_comprehend_detect_sentiment_confidence, aws_comprehend_detect_sentiment), max_batch_size utiliza un valor por defecto de 25 si no se especifica ninguno. El tamaño del lote siempre debe ser mayor que 0. Puede usar max_batch_size para ajustar el rendimiento de las llamadas a funciones de Amazon Comprehend. Un tamaño de lote grande sacrifica un rendimiento más rápido por un mayor uso de la memoria en el clúster de base de datos de Aurora MySQL. Para obtener más información, consulte Consideraciones sobre el rendimiento para utilizar el machine learning de Aurora con Aurora MySQL.

Para obtener más información acerca de los parámetros y los tipos de valores devueltos en las funciones de detección de opiniones de Amazon Comprehend, consulte DetectSentiment.

SELECT feedback AS 'Customer feedback',
    aws_comprehend_detect_sentiment(feedback, 'en') AS Sentiment,
    ROUND(aws_comprehend_detect_sentiment_confidence(feedback, 'en'), 6)
    AS Confidence FROM support
    ORDER BY Confidence DESC;
+----------------------------------------------------------+-----------+------------+
| Customer feedback                                        | Sentiment | Confidence |
+----------------------------------------------------------+-----------+------------+
| Thank you for the excellent customer support!            | POSITIVE  |   0.999771 |
| The latest version of this product stinks!               | NEGATIVE  |   0.999184 |
| Your support team is just awesome! I am blown away.      | POSITIVE  |   0.997774 |
| Your product is too complex, but your support is great.  | MIXED     |   0.957958 |
| Your support tech helped me in fifteen minutes.          | POSITIVE  |   0.949491 |
| My problem was never resolved!                           | NEGATIVE  |   0.920644 |
| When will the new version of this product be released?   | NEUTRAL   |   0.902706 |
| I cannot stand that chatbot.                             | NEGATIVE  |   0.895219 |
| Your support tech talked down to me.                     | NEGATIVE  |   0.868598 |
| It took me way too long to get a real person.            | NEGATIVE  |   0.481805 |
+----------------------------------------------------------+-----------+------------+
 10 rows in set (0.1898 sec)

SELECT AVG(CASE aws_comprehend_detect_sentiment(productTable.document, 'en')
  WHEN 'POSITIVE' THEN 1.0
  WHEN 'NEGATIVE' THEN -1.0
  ELSE 0.0 END) AS avg_sentiment, COUNT(*) AS total
FROM productTable
WHERE productTable.productCode = 1302 AND
    aws_comprehend_detect_sentiment_confidence(productTable.document, 'en') >= 0.80;

Uso de IA de SageMaker con el clúster de base de datos de Aurora MySQL

Para usar la funcionalidad de IA de SageMaker desde su clúster de base de datos de Aurora MySQL, debe crear funciones almacenadas que integren las llamadas en el punto de conexión de IA de SageMaker y sus funciones de inferencia. Se logra utilizando CREATE FUNCTION de MySQL generalmente de la misma manera que lo hace para otras tareas de procesamiento en su clúster de base de datos de Aurora MySQL.

Para utilizar los modelos implementados en IA de SageMaker para la inferencia, cree funciones definidas por el usuario mediante las instrucciones en lenguaje de definición de datos (DDL) de MySQL para las funciones almacenadas. Cada función almacenada representa el punto de conexión de IA de SageMaker que aloja el modelo. Al definir una función así, especifique los paramentos de entrada en el modelo, el punto de conexión de IA de SageMaker específico que desee invocar y el tipo de valor devuelto. La función devuelve la inferencia calculada por el punto de conexión de IA de SageMaker después de aplicar el modelo a los parámetros de entrada.

Todas las funciones almacenadas de machine learning de Aurora devuelven tipos numéricos o VARCHAR. Puede utilizar cualquier tipo numérico excepto BIT. No se permiten otros tipos, como JSON, BLOB, TEXT y DATE.

En el siguiente ejemplo, se muestra la sintaxis de CREATE FUNCTION para trabajar con IA de SageMaker.

CREATE FUNCTION function_name (
     arg1 type1, 
     arg2 type2, ...)
     [DEFINER = user]
  RETURNS mysql_type
  [SQL SECURITY { DEFINER | INVOKER } ]
  ALIAS AWS_SAGEMAKER_INVOKE_ENDPOINT
  ENDPOINT NAME 'endpoint_name'
  [MAX_BATCH_SIZE max_batch_size];

Esta es una extensión de la instrucción regular de DDL de CREATE FUNCTION. En la instrucción CREATE FUNCTION que define la función de IA de SageMaker, no se especifica el cuerpo de la función. En cambio, se especifica la palabra clave ALIAS donde normalmente va el cuerpo de la función. Actualmente, el machine learning de Aurora solo admite aws_sagemaker_invoke_endpoint en esta sintaxis ampliada. Debe especificar el parámetro endpoint_name. Un punto de conexión de IA de SageMaker puede tener diferentes características en cada modelo.

El parámetro max_batch_size es opcional. De forma predeterminada, el tamaño máximo de lote es 10 000. Puede utilizar este parámetro en la función para restringir el número máximo de entradas procesadas en una solicitud por lotes a IA de SageMaker. El parámetro max_batch_size puede ayudar a evitar un error provocado por entradas demasiado grandes o a hacer que IA de SageMaker devuelva una respuesta más rápidamente. Este parámetro afecta al tamaño de un búfer interno utilizado para el procesamiento de solicitudes de IA de SageMaker. Especificar un valor demasiado grande en max_batch_size podría provocar una sobrecarga significativa de la memoria en la instancia de base de datos.

Recomendamos que deje la opción MANIFEST en su valor predeterminado de OFF. Aunque puede utilizar la opción MANIFEST ON, algunas características de IA de SageMaker no pueden utilizar directamente el CSV exportado con esta opción. El formato del manifiesto no es compatible con el formato esperado del manifiesto en IA de SageMaker.

Puede crear una función almacenada independiente para cada uno de sus modelos de IA de SageMaker. Esta asignación de funciones a los modelos es obligatoria, porque un punto de conexión se asocia con un modelo específico y cada modelo acepta diferentes parámetros. El uso de tipos de SQL para las entradas del modelo y el tipo de salida del modelo ayuda a evitar errores de conversión de tipos que transfieren datos de manera bidireccional entre los servicios de AWS. Puede controlar quién puede aplicar el modelo. También puede controlar las características de tiempo de ejecución especificando un parámetro que represente el tamaño máximo del lote.

Actualmente, todas las funciones de machine learning de Aurora cuentan con la propiedad NOT DETERMINISTIC. Si no especifica dicha propiedad de manera explícita, Aurora establece NOT DETERMINISTIC automáticamente. Este requisito se debe a que el modelo de IA de SageMaker se puede modificar sin ninguna notificación dirigida a la base de datos. Si esto ocurre, las llamadas a una función de machine learning de Aurora podrían devolver resultados distintos para la misma entrada en una única transacción.

No puede utilizar las características CONTAINS SQL, NO SQL, READS SQL DATA o MODIFIES SQL DATA en la instrucción CREATE FUNCTION.

A continuación, se muestra un ejemplo del uso de la invocación de un punto de conexión de IA de SageMaker para detectar anomalías. Hay un punto de conexión de IA de SageMaker random-cut-forest-model. El algoritmo random-cut-forest ya ha entrenado el modelo correspondiente. En cada entrada, el modelo devuelve el origen de una anomalía. En este ejemplo, se muestran los puntos de datos cuya puntuación es superior a 3 desviaciones estándar (aproximadamente el percentil 99,9) con respecto de la puntuación media.

CREATE FUNCTION anomaly_score(value real) returns real
  alias aws_sagemaker_invoke_endpoint endpoint name 'random-cut-forest-model-demo';

set @score_cutoff = (select avg(anomaly_score(value)) + 3 * std(anomaly_score(value)) from nyc_taxi);

select *, anomaly_detection(value) score from nyc_taxi
  where anomaly_detection(value) > @score_cutoff;

Requisito del conjunto de caracteres en las funciones de IA de SageMaker que devuelven cadenas

Recomendamos especificar un conjunto de caracteres de utf8mb4 como el tipo de valor devuelto en las funciones de IA de SageMaker que devuelven valores de cadena. Si no resulta útil, utilice una longitud de cadena lo suficientemente grande para que el tipo de valor devuelto retenga un valor representado en el conjunto de caracteres utf8mb4. En el siguiente ejemplo, se muestra cómo declarar el conjunto de caracteres utf8mb4 en la función.

CREATE FUNCTION my_ml_func(...) RETURNS VARCHAR(5) CHARSET utf8mb4 ALIAS ...

Actualmente, todas las funciones de IA de SageMaker que devuelven una cadena utilizan el conjunto de caracteres utf8mb4 en el valor devuelto. El valor devuelto utiliza este conjunto de caracteres aunque la función de IA de SageMaker declare implícita o explícitamente un conjunto de caracteres diferente para su tipo de valor devuelto. Si la función de IA de SageMaker declara otro conjunto de caracteres para el valor devuelto, los datos devueltos podrían truncarse inadvertidamente si los almacena en la columna de una tabla que no sea lo suficientemente grande. Por ejemplo, una consulta con una cláusula DISTINCT crea una tabla temporal. Así, el resultado de la función de IA de SageMaker se podría truncar debido a la manera en que las cadenas se gestionan internamente durante una consulta.

Exportación de datos a Amazon S3 para el entrenamiento de modelos de IA de SageMaker (avanzado)

Le recomendamos que comience a usar el machine learning de Aurora e IA de SageMaker utilizando algunos de los algoritmos proporcionados, y que los científicos de datos de su equipo le proporcionen los puntos de conexión de IA de SageMaker que pueda usar con su código SQL. A continuación, encontrará información mínima sobre el uso de su propio bucket de Amazon S3 con sus propios modelos de IA de SageMaker y su clúster de base de datos Aurora MySQL.

El machine learning consta de dos pasos principales: entrenamiento e inferencia. Para entrenar modelos de IA de SageMaker, exporte los datos a un bucket de Amazon S3. Una instancia de cuaderno de Jupyter de IA de SageMaker utiliza el bucket de Amazon S3 para entrenar el modelo antes de que se implemente. La instrucción SELECT INTO OUTFILE S3 permite consultar datos de un clúster de bases de datos Aurora MySQL y guardarlos directamente en archivos de texto almacenados en un bucket de Amazon S3. A continuación, la instancia de bloc de notas consume los datos del bucket de Amazon S3 para el entrenamiento.

El machine learning de Aurora amplía la sintaxis de SELECT INTO OUTFILE existente en Aurora MySQL para exportar los datos a formato CSV. Los modelos que necesitan este formato para el entrenamiento pueden consumir directamente el archivo CSV generado.

SELECT * INTO OUTFILE S3 's3_uri' [FORMAT {CSV|TEXT} [HEADER]] FROM table_name;

La ampliación admite el formato CSV estándar.

La gramática y la sintaxis ampliadas de SELECT INTO son ahora las siguientes:

INTO OUTFILE S3 's3_uri'
[CHARACTER SET charset_name]
[FORMAT {CSV|TEXT} [HEADER]]
[{FIELDS | COLUMNS}
  [TERMINATED BY 'string']
  [[OPTIONALLY] ENCLOSED BY 'char']
  [ESCAPED BY 'char']
]
[LINES
  [STARTING BY 'string']
  [TERMINATED BY 'string']
]

Consideraciones sobre el rendimiento para utilizar el machine learning de Aurora con Aurora MySQL

Los servicios de Amazon Bedrock, Amazon Comprehend e IA de SageMaker realizan la mayor parte del trabajo cuando se invocan mediante una función de machine learning de Aurora. Esto significa que puede escalar esos recursos según sea necesario, de forma independiente. Para su clúster de base de datos Aurora MySQL, puede hacer que sus llamadas a funciones sean lo más eficientes posible. A continuación, encontrará algunas consideraciones de rendimiento que debe tener en cuenta al trabajar con el machine learning de Aurora.

Modelo y petición

El rendimiento al utilizar Amazon Bedrock depende en gran medida del modelo y de la petición que utilice. Elija un modelo y una petición que sean óptimos para su caso de uso.

Caché de consultas

La caché de consulta de Aurora MySQL no funciona para las funciones de machine learning de Aurora. Aurora MySQL no almacena los resultados de las consultas en la caché de consultas para las sentencias SQL que llaman a las funciones de machine learning de Aurora.

Optimización de lotes para las llamadas a las funciones de machine learning de Aurora

El aspecto principal del rendimiento de machine learning de Aurora en el que puede influir desde el clúster de Aurora es la opción de modo de lote para las llamadas a las funciones almacenadas de machine learning de Aurora. Las funciones de Machine Learning normalmente requieren una sobrecarga sustancial, lo que hace que sea poco práctico llamar a un servicio externo por separado para cada fila. El machine learning de Aurora puede minimizar esta sobrecarga combinando las llamadas al servicio de machine learning de Aurora externo para muchas filas en un solo lote. El machine learning de Aurora recibe las respuestas de un lote de filas de entrada y, luego, devuelve las respuestas a la consulta en ejecución una fila a la vez. Esta optimización mejora el rendimiento y la latencia de las consultas de Aurora sin modificar los resultados.

Al crear una función almacenada de Aurora conectada a un punto de conexión de IA de SageMaker, se define el parámetro de tamaño del lote. Este parámetro influye en el número de filas que se transfieren en cada llamada subyacente a IA de SageMaker. En las consultas que procesan un número elevado de filas, la sobrecarga para realizar una llamada de IA de SageMaker independiente en cada fila puede ser significativa. Cuanto más grande sea el conjunto de datos procesado por el procedimiento almacenado, mayor puede ser el tamaño del lote.

Puede comprobar si se puede aplicar la optimización del modo de lote a una función de IA de SageMaker consultando el plan de consulta generado por la instrucción EXPLAIN PLAN. En este caso, la columna extra del plan de ejecución incluye Batched machine learning. En el siguiente ejemplo, se muestra una llamada a una función de IA de SageMaker que utiliza el modo de lote.

mysql> CREATE FUNCTION anomaly_score(val real) returns real alias aws_sagemaker_invoke_endpoint endpoint name 'my-rcf-model-20191126';
Query OK, 0 rows affected (0.01 sec)

mysql> explain select timestamp, value, anomaly_score(value) from nyc_taxi;
+----+-------------+----------+------------+------+---------------+------+---------+------+------+----------+--------------------------+
| id | select_type | table    | partitions | type | possible_keys | key  | key_len | ref  | rows | filtered | Extra                    |
+----+-------------+----------+------------+------+---------------+------+---------+------+------+----------+--------------------------+
|  1 | SIMPLE      | nyc_taxi | NULL       | ALL  | NULL          | NULL | NULL    | NULL |   48 |   100.00 | Batched machine learning |
+----+-------------+----------+------------+------+---------------+------+---------+------+------+----------+--------------------------+
1 row in set, 1 warning (0.01 sec)

Al llamar a una de las funciones de Amazon Comprehend integradas, puede controlar el tamaño del lote especificando el parámetro max_batch_size opcional. Este parámetro restringe el número máximo de valores input_text procesados en cada lote. El envío de varios elementos a la vez reduce el número de recorridos de ida y vuelta entre Aurora y Amazon Comprehend. Resulta útil limitar el tamaño del lote en situaciones como una consulta con una cláusula LIMIT. Al utilizar un valor pequeño para max_batch_size, puede evitar invocar Amazon Comprehend más veces que los textos de entrada que tenga.

La optimización de lotes para la evaluación de funciones de machine learning de Aurora se aplica en los siguientes casos:

Monitorización del machine learning de Aurora

Puede monitorear las operaciones por lotes de machine learning de Aurora consultando varias variables globales, como en el siguiente ejemplo.

show status like 'Aurora_ml%';

Puede restablecer las variables de estado utilizando una instrucción FLUSH STATUS. Así, todas las cifras representan los valores totales, los promedios, etc., desde la última vez que se restableció la variable.

Para obtener información acerca del monitoreo del rendimiento de las operaciones de SageMaker llamadas desde las funciones del machine learning de Aurora, consulte Monitoreo de IA de Amazon SageMaker.