Carga de archivos con ingesta continua de archivos desde Amazon S3 (versión preliminar) - Amazon Redshift

Carga de archivos con ingesta continua de archivos desde Amazon S3 (versión preliminar)

Esta es la documentación preliminar de la copia automática (SQL COPY JOB), que se encuentra en versión preliminar. Tanto la documentación como la característica quedan sujetas a cambios. Se recomienda utilizar esta característica solo en entornos de prueba y no en entornos de producción. La versión preliminar pública finalizará el 31 de octubre de 2024. Los clústeres de la versión preliminar se eliminarán automáticamente dos semanas después de que finalice la versión preliminar. Para conocer los términos y condiciones de las versiones preliminares, consulte Betas y versiones preliminares en Términos de servicio de AWS.
nota

Puede crear un clúster de Amazon Redshift en versión preliminar para probar las nuevas características de Amazon Redshift. No puede usar esas características en producción ni mover su clúster de versión preliminar a un clúster de producción o a un clúster de otra pista. Para conocer los términos y condiciones de las versiones preliminares, consulte Betas y versiones preliminares en Términos de servicio de AWS.

Para crear un clúster en versión preliminar

  1. Inicie sesión en la AWS Management Console y abra la consola de Amazon Redshift en https://console.aws.amazon.com/redshiftv2/.

  2. En el menú de navegación, elija Provisioned clusters dashboard (Panel de clústeres aprovisionados) y elija Clusters (Clústeres). Se enumeran los clústeres de su cuenta en la Región de AWS actual. Se muestra en la lista un subconjunto de propiedades de cada clúster en columnas.

  3. Aparece un banner en la página de la lista Clusters (Clústeres) que presenta la versión preliminar. Elija el botón Create preview cluster (Crear clúster de versión preliminar para abrir la página de creación de clústeres.

  4. Ingrese las propiedades del clúster. Elija en Preview track (Pista de versión preliminar) la pista de versión preliminar que contenga las características que desea probar. Le recomendamos que ingrese un nombre para el clúster que indique que se encuentra en una pista de versión preliminar. Elija las opciones de su clúster, incluidas las etiquetadas como -preview (-versión preliminar), para las características que desee probar. Para obtener más información sobre la creación de clústeres, consulte Creación de un clúster en la Guía de administración de clústeres de Amazon Redshift.

  5. Elija Crear clúster de vista previa para crear un clúster de vista previa.

  6. Cuando el clúster de versión preliminar esté disponible, utilice su cliente de SQL para cargar y consultar datos.

El clúster debe crearse con la pista de versión preliminar denominada: preview_2023. Utilice un clúster nuevo para realizar pruebas. No se admite la restauración de un clúster en esta pista. La característica de copia automática no está disponible en el grupo de trabajo de Amazon Redshift sin servidor.

Esta versión preliminar está disponible en las siguientes Regiones de AWS:

  • Región Este de EE. UU. (Ohio) (us-east-2)

  • Región Este de EE. UU. (Norte de Virginia) (us-east-1)

  • Región Oeste de EE. UU. (Oregón) (us-west-2)

  • Región Asia-Pacífico (Tokio) (ap-northeast-1)

  • Región Europa (Estocolmo) (eu-north-1)

  • Región Europa (Irlanda) (eu-west-1)

Puede utilizar COPY JOB para cargar datos en sus tablas de Amazon Redshift desde archivos almacenados en Amazon S3. Amazon Redshift detecta cuándo se agregan nuevos archivos de Amazon S3 a la ruta especificada en el comando COPY. A continuación, se ejecuta automáticamente un comando COPY sin tener que crear una canalización de ingesta de datos externa. Amazon Redshift hace un seguimiento de los archivos que se han cargado. Amazon Redshift determina la cantidad de archivos agrupados en lotes por comando COPY. Puede ver los comandos COPY resultantes en las vistas del sistema.

El comando COPY JOB se define una vez. Los mismos parámetros se utilizan para ejecuciones futuras.

Las operaciones de carga se administran utilizando opciones para trabajos CREATE, LIST, SHOW, DROP, ALTER y RUN. Para obtener más información, consulte COPY JOB (versión preliminar).

Puede consultar las vistas del sistema para ver el estado y el progreso de COPY JOB. Las vistas se proporcionan de la siguiente manera:

Para obtener la lista de archivos que carga COPY JOB, ejecute el siguiente ejemplo; para ello, reemplace <job_id>:

SELECT job_id, job_name, data_source, copy_query,filename,status, curtime
FROM sys_copy_job copyjob
JOIN stl_load_commits loadcommit
ON copyjob.job_id = loadcommit.copy_job_id
WHERE job_id = <job_id>;