Carregar tabelas com ingestão contínua de arquivos do Amazon S3 (visualização prévia)

Você pode usar um COPY JOB para carregar dados em suas tabelas do Amazon Redshift a partir de arquivos armazenados no Amazon S3. O Amazon Redshift detecta quando novos arquivos do Amazon S3 são adicionados ao caminho especificado em seu comando COPY. Depois, um comando COPY é executado automaticamente sem que você precise criar um pipeline externo de ingestão de dados. O Amazon Redshift mantém o controle de quais arquivos foram carregados. O Amazon Redshift determina o número de arquivos agrupados por comando COPY. Você pode ver os comandos COPY resultantes nas visualizações do sistema.

Você define um COPY JOB uma vez. Os mesmos parâmetros serão usados em execuções futuras.

Você gerencia as operações de carregamento usando as opções CREATE, LIST, SHOW, DROP, ALTER e RUN para trabalhos. Para ter mais informações, consulte COPY JOB (pré-visualização).

Você pode consultar as visualizações do sistema para ver o status e o progresso de COPY JOB. As visualizações são fornecidas da seguinte forma:

Para obter a lista de arquivos carregados por um COPY JOB, execute o exemplo a seguir substituindo <job_id>:

SELECT job_id, job_name, data_source, copy_query,filename,status, curtime
FROM sys_copy_job copyjob
JOIN stl_load_commits loadcommit
ON copyjob.job_id = loadcommit.copy_job_id
WHERE job_id = <job_id>;