Tras considerarlo detenidamente, hemos decidido interrumpir Amazon Kinesis Data Analytics SQL para aplicaciones en dos pasos:
1. A partir del 15 de octubre de 2025, no podrá crear nuevos Kinesis Data Analytics SQL para aplicaciones.
2. Eliminaremos sus aplicaciones a partir del 27 de enero de 2026. No podrá iniciar ni utilizar Amazon Kinesis Data Analytics SQL para aplicaciones. A partir de ese momento, el soporte para Amazon Kinesis Data Analytics dejará SQL de estar disponible. Para obtener más información, consulte Suspensión de Amazon Kinesis Data Analytics SQL for Applications.
Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Uso de la función de detección de esquema en datos de streaming
nota
Después del 12 de septiembre de 2023, no podrá crear nuevas aplicaciones con Kinesis Data Firehose como origen si aún no utiliza Kinesis Data Analytics para SQL. Para obtener más información, consulte Límites.
Proporcionar un esquema de entrada que describe cómo se asignan los registros de la entrada de streaming a una secuencia en la aplicación podría ser algo incómodo y propenso a errores. Puede utilizar la API DiscoverInputSchema (denominada API de detección) para inferir un esquema. Mediante el uso de muestras aleatorias de registros en el origen de streaming, API puede inferir un esquema (es decir, nombres de columna, tipos de datos y posición del elemento de datos en los datos entrantes).
nota
Para utilizar la API de detección para generar un esquema a partir de un archivo almacenado en Amazon S3, consulte Uso de la función de detección de esquema en datos estáticos.
La consola utiliza la API de detección para generar un esquema para un origen de streaming especificado. Con la consola, también puede actualizar el esquema, incluido añadir o eliminar columnas, cambiar los nombres de columna o los tipos de datos, y así sucesivamente. Sin embargo, realice los cambios con cuidado para asegurarse de que no crea un esquema no válido.
Una vez que finalice un esquema para su secuencia en la aplicación, existen las funciones que se pueden utilizar para manipular cadena y valores de datetime. Puede utilizar estas funciones en el código de la aplicación a la hora de trabajar con filas en la secuencia en la aplicación resultante. Para obtener más información, consulte Ejemplo: transformación DateTime de valores.
Nombres de columnas durante la detección de esquemas
Durante la detección de esquemas, Amazon Kinesis Data Analytics intenta conservar cuanto puede del nombre original de la columna del origen de entrada de streaming, excepto en los casos siguientes:
-
El nombre de la columna de secuencia de origen es una palabra clave SQL reservada como
TIMESTAMP
,USER
,VALUES
oYEAR
. -
El nombre de la columna de secuencia de origen contiene caracteres no compatibles. Solo letras, números y guiones bajos (_) son compatibles.
-
El nombre de la columna de secuencia de origen comienza con un número.
-
El nombre de la columna de secuencia de origen tiene más de 100 caracteres de largo.
Si se ha cambiado el nombre de la columna, la columna de esquema con nombre cambiado comienza con COL_
. En algunos casos, ninguno de los nombres de columna original se pueden conservar, por ejemplo, si todo el nombre tiene caracteres no compatibles. En este caso, la columna se denomina COL_#
, con # que indica el lugar de la columna en el orden de la columna.
Una vez completada la detección, puede actualizar el esquema utilizando la consola para añadir o eliminar columnas, o cambiar los nombres de columna, los tipos de datos o el tamaño de los datos.
Ejemplos de nombres de columna sugeridos por la detección
Nombre de columna de secuencia de origen | Nombre de columna sugerido por la detección |
---|---|
USER |
COL_USER |
USER@DOMAIN |
COL_USERDOMAIN |
@@ |
COL_0 |
Problemas de la detección de esquemas
¿Qué sucede si Kinesis Data Analytics no infiere un esquema para un determinado origen de streaming?
Kinesis Data Analytics infiere el esquema para formatos comunes, como CSV y JSON, que están codificados en UTF-8. Kinesis Data Analytics admite cualquier registro codificado en UTF-8, incluido texto sin procesar, como los registros y logs de las aplicaciones, con una columna personalizada y un delimitador de filas. Si Kinesis Data Analytics no infiere un esquema, es posible definir un esquema manualmente con el editor de esquemas de la consola (o utilizando la API).
Si los datos no siguen un patrón (que puede especificar con el editor de esquemas), puede definir un esquema como un único tipo de columnas VARCHAR (N), donde N es el mayor número de caracteres que espera que incluya un registro. A partir de ahí, puede utilizar la hora y la fecha de manipulación de cadenas para estructurar los datos una vez que estén en una secuencia en la aplicación. Para ver ejemplos, consulte Ejemplo: transformación DateTime de valores.