Secuencia temporal para la validación LiveAnalytics del esquema con claves de partición compuestas personalizadas - Amazon Timestream

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Secuencia temporal para la validación LiveAnalytics del esquema con claves de partición compuestas personalizadas

La validación de esquemas en Timestream for LiveAnalytics ayuda a garantizar que los datos ingresados en la base de datos cumplan con el esquema especificado, lo que minimiza los errores de ingesta y mejora la calidad de los datos. En particular, la validación de esquemas es especialmente útil cuando se adopta una clave de partición definida por el cliente con el objetivo de optimizar el rendimiento de las consultas.

¿Qué es Timestream para la validación de LiveAnalytics esquemas con claves de partición definidas por el cliente?

El Timestream para la validación de LiveAnalytics esquemas es una función que valida los datos que se ingieren en una tabla Timestream for en función de un esquema predefinido. LiveAnalytics Este esquema define el modelo de datos, incluida la clave de partición, los tipos de datos y las restricciones de los registros que se insertan.

Cuando se utiliza una clave de partición definida por el cliente, la validación del esquema se vuelve aún más crucial. Las claves de partición le permiten especificar una clave de partición, que determina el modo en que se almacenan sus datos en Timestream. LiveAnalytics Al validar los datos entrantes con respecto al esquema con una clave de partición personalizada, puede garantizar la coherencia de los datos, detectar los errores a tiempo y mejorar la calidad general de los datos almacenados en Timestream for. LiveAnalytics

Cómo utilizar Timestream para la validación de LiveAnalytics esquemas con claves de partición compuestas personalizadas

Para usar Timestream para la validación de LiveAnalytics esquemas con claves de partición compuestas personalizadas, siga estos pasos:

Piensa en el aspecto que tendrán tus patrones de consulta: para elegir y definir correctamente el esquema de tu LiveAnalytics tabla Timestream for, debes empezar por los requisitos de consulta.

Especifique claves de partición compuestas personalizadas: al crear la tabla, especifique una clave de partición personalizada. Esta clave determina el atributo que se utilizará para particionar los datos de la tabla. Puede elegir entre claves de dimensiones y teclas de medida para la partición. Una clave de dimensión divide los datos en función del nombre de una dimensión, mientras que una clave de medida divide los datos en función del nombre de la medida.

Establezca niveles de cumplimiento: para garantizar un particionamiento de datos adecuado y las ventajas que ello conlleva, Amazon LiveAnalytics Timestream for le permite establecer niveles de cumplimiento para cada clave de partición de su esquema. El nivel de cumplimiento determina si la dimensión de clave de partición es obligatoria u opcional al ingerir registros. Puede elegir entre dos opciones: REQUIRED la clave de partición debe estar presente en el registro ingerido y OPTIONAL la clave de partición no tiene por qué estar presente. Se recomienda utilizar el nivel de exigencia al REQUIRED utilizar una partición definida por el cliente para garantizar que los datos estén correctamente particionados y aprovechar todas las ventajas de esta función. Además, puede cambiar la configuración del nivel de cumplimiento en cualquier momento después de la creación del esquema para ajustarla a sus requisitos de ingesta de datos.

Ingesta de datos: al incorporar datos a la LiveAnalytics tabla Timestream for, el proceso de validación del esquema comparará los registros con el esquema definido con claves de partición compuestas personalizadas. Si los registros no se ajustan al esquema, Timestream for LiveAnalytics devolverá un error de validación.

Gestionar los errores de validación: en caso de errores de validación, Timestream for LiveAnalytics devolverá a ValidationException o aRejectedRecordsException, según el tipo de error. Asegúrese de gestionar estas excepciones en su aplicación y de tomar las medidas adecuadas, como corregir los registros incorrectos y volver a intentar la ingestión.

Actualizar los niveles de cumplimiento: si es necesario, puede actualizar el nivel de cumplimiento de las claves de partición después de crear la tabla mediante la UpdateTable acción. Sin embargo, es importante tener en cuenta que algunos aspectos de la configuración de la clave de partición, como el nombre y el tipo, no se pueden cambiar después de crear la tabla. Si cambia el nivel de cumplimiento de REQUIRED aOPTIONAL, se aceptarán todos los registros independientemente de la presencia del atributo seleccionado como clave de partición definida por el cliente. Por el contrario, si cambias el nivel de cumplimiento de OPTIONAL aREQUIRED, es posible que empiecen a aparecer errores de escritura de hasta cuatro veces en los registros que no cumplan esta condición. Por lo tanto, es esencial elegir el nivel de cumplimiento adecuado para su caso de uso al crear la tabla, en función de los requisitos de particionamiento de los datos.

Cuándo usar Timestream para la validación de LiveAnalytics esquemas con claves de partición compuestas personalizadas

Se debe utilizar Timestream para la validación de LiveAnalytics esquemas con claves de partición compuestas personalizadas en situaciones en las que la coherencia de los datos, la calidad y la optimización de las particiones sean cruciales. Al aplicar un esquema durante la ingesta de datos, puede evitar errores e inconsistencias que podrían provocar un análisis incorrecto o la pérdida de información valiosa.

Interacción con los trabajos de carga por lotes

Al configurar un trabajo de carga por lotes para importar datos a una tabla con una clave de partición definida por el cliente, hay algunos escenarios que pueden afectar al proceso:

  1. Si el nivel de cumplimiento está establecido enOPTIONAL, se mostrará una alerta en la consola durante el flujo de creación si la clave de partición no se mapea durante la configuración del trabajo. Esta alerta no aparecerá cuando se utilice la API o la CLI.

  2. Si el nivel de cumplimiento está establecido enREQUIRED, se rechazará la creación de puestos de trabajo a menos que la clave de partición se asigne a una columna de datos de origen.

  3. Si el nivel de cumplimiento se cambia a REQUIRED uno posterior a la creación del trabajo, el trabajo seguirá ejecutándose, pero los registros que no tengan la asignación adecuada para la clave de partición se rechazarán con un error de 4xx.

Interacción con una consulta programada

Al configurar un trabajo de consulta programado para calcular y almacenar agregados, resúmenes y otros tipos de datos preprocesados en una tabla con una clave de partición definida por el cliente, existen algunos escenarios que podrían afectar al proceso:

  1. Si el nivel de cumplimiento está establecido enOPTIONAL, se mostrará una alerta si la clave de partición no está mapeada durante la configuración del trabajo. Esta alerta no aparecerá cuando se utilice la API o la CLI.

  2. Si el nivel de cumplimiento está establecido enREQUIRED, se rechazará la creación de puestos de trabajo a menos que la clave de partición se asigne a una columna de datos de origen.

  3. Si el nivel de cumplimiento se cambia a uno REQUIRED posterior a la creación del trabajo y los resultados de la consulta programada no contienen la dimensión de la clave de partición, se producirá un error en las siguientes iteraciones del trabajo.