Integración sin ETL de DynamoDB con Amazon OpenSearch Service

Amazon DynamoDB ofrece una integración sin ETL con Amazon OpenSearch Service mediante el complemento de DynamoDB para OpenSearch Ingestion. Amazon OpenSearch Ingestion ofrece una experiencia completamente administrada y sin código para la ingesta de datos en Amazon OpenSearch Service.

El complemento de DynamoDB para OpenSearch Ingestion permite usar una o más tablas de DynamoDB como origen de la ingesta para uno o más índices de OpenSearch Service. Puede explorar y configurar sus canalizaciones de OpenSearch Ingestion con DynamoDB como origen desde las integraciones de OpenSearch Ingestion o de DynamoDB en la AWS Management Console.

Funcionamiento

El complemento utiliza la exportación de DynamoDB a Amazon S3 para crear una instantánea inicial para cargarla en OpenSearch. Una vez cargada la instantánea, el complemento utiliza DynamoDB Streams para replicar cualquier otro cambio prácticamente en tiempo real. Cada elemento se procesa como un evento en OpenSearch Ingestion y se puede modificar con los complementos del procesador. Puede eliminar atributos o crear atributos compuestos y enviarlos a diferentes índices a través de rutas.

Debe tener activada la recuperación en un momento dado (PITR) para utilizar la exportación a Amazon S3. También debe tener DynamoDB Streams activado (con la opción imágenes nuevas y antiguas seleccionada) para poder usarlo. Para crear una canalización sin realizar instantáneas debe excluir la configuración de exportación.

También se puede crear una canalización con solo una instantánea y sin actualizaciones excluyendo la configuración de las secuencias. El complemento no utiliza el rendimiento de lectura o escritura en la tabla, por lo que se puede usar de forma segura sin que afecte al tráfico de producción. Hay límites para la cantidad de consumidores paralelos en una secuencia que debes tener en cuenta antes de crear esta u otras integraciones. Para otras consideraciones, consulte Prácticas recomendadas para la integración con DynamoDB.

Para las canalizaciones simples, una sola unidad de computación de OpenSearch (OCU) puede procesar aproximadamente 1 MB por segundo de escrituras. Esto equivale a unas 1000 unidades de solicitud de escritura (WCU). Puede superar o quedarse por debajo de esta cantidad en función de la complejidad de la canalización y de otros factores.

OpenSearch Ingestion admite una cola de mensajes fallidos (DLQ) para los eventos que provocan errores irrecuperables. Además, la canalización puede reanudarse desde se dejó sin la intervención del usuario, incluso si se interrumpe el servicio con DynamoDB, la canalización o Amazon OpenSearch Service.

Si la interrupción se prolonga durante más de 24 horas, se pueden perder las actualizaciones. Sin embargo, la canalización seguiría procesando las actualizaciones disponibles todavía cuando se restableciera el servicio. Tendría que crear un nuevo índice para corregir cualquier irregularidad derivada de la interrupción de los eventos, a menos que estuvieran en la cola de mensajes fallidos.

Para conocer todos los ajustes y detalles del complemento, consulte la OpenSearch Ingestion DynamoDB plugin documentation.

Experiencia de creación integrada a través de la consola

DynamoDB y OpenSearch Service ofrecen una experiencia integrada en la AWS Management Console, lo que agiliza el proceso inicial. Al seguir estos pasos, el servicio seleccionará automáticamente el esquema de DynamoDB y añadirá la información de DynamoDB adecuada para usted.

Para crear una integración, consulte la guía de introducción a OpenSearch Ingestion. Cuando llegue al punto Step 3: Create a pipeline, sustituya los pasos 1 y 2 por los siguientes:

A partir de aquí, ya puede continuar con el resto del tutorial.

Siguientes pasos

Para comprender mejor cómo se integra DynamoDB con OpenSearch Service, consulte los siguientes temas: