Usando o comando COPY para carregar do Amazon S3

Use o comando COPY para carregar uma tabela em paralelo a partir de arquivos de dados no Amazon S3. Você pode especificar os arquivos a serem carregados usando um prefixo de objeto do Amazon S3 ou usando um arquivo manifesto.

A sintaxe para especificar os arquivos a serem carregados usando um prefixo é a seguinte:

COPY <table_name> FROM 's3://<bucket_name>/<object_prefix>'
authorization;

O arquivo manifesto é um arquivo em formato JSON que lista os arquivos de dados a serem carregados. A sintaxe para especificar os arquivos a serem carregados usando um arquivo manifesto é a seguinte:

COPY <table_name> FROM 's3://<bucket_name>/<manifest_file>'
authorization
MANIFEST;

A tabela a ser carregada já deve existir no banco de dados. Para obter informações sobre como criar uma tabela, consulte CRIAR TABELA na referência do SQL.

Os valores para autorização fornecem a autorização da AWS de que o Amazon Redshift precisa para acessar objetos do Amazon S3. Para obter informações sobre as permissões necessárias, consulte Permissões do IAM para COPY, UNLOAD e CREATE LIBRARY. O método preferido de autenticação é especificar o parâmetro IAM_ROLE e fornecer o nome de recurso da Amazon (ARN) para uma função do IAM com as permissões necessárias. Para obter mais informações, consulte Controle de acesso com base em função.

Para autenticação usando o parâmetro IAM_ROLE, substitua <aws-account-id> e <role-name> conforme exibido na sintaxe a seguir.

IAM_ROLE 'arn:aws:iam::<aws-account-id>:role/<role-name>'

O seguinte exemplo mostra a autenticação usando uma função do IAM.

COPY customer 
FROM 's3://amzn-s3-demo-bucket/mydata' 
IAM_ROLE 'arn:aws:iam::0123456789012:role/MyRedshiftRole';

Para obter mais informações sobre outras opções de autorização, consulte Parâmetros de autorização

Se você quiser validar seus dados sem realmente carregar a tabela, use a opção NOLOAD com o comando COPY.

O seguinte exemplo mostra as primeiras linhas de dados delimitados por pipe em um arquivo chamado venue.txt.

1|Toyota Park|Bridgeview|IL|0
2|Columbus Crew Stadium|Columbus|OH|0
3|RFK Stadium|Washington|DC|0

Antes de enviar o arquivo para o Amazon S3, divida o arquivo em vários arquivos para que o comando COPY possa carregá-lo usando o processamento paralelo. O número de arquivos deve ser um múltiplo do número de fatias em seu cluster. Divida seus arquivos de dados de carregamento para que os arquivos tenham o mesmo tamanho aproximado, entre 1 MB e 1 GB após a compactação. Para ter mais informações, consulte Carregar dados de arquivos compactados e não compactados.

Por exemplo, o arquivo venue.txt pode ser dividido em quatro arquivos, da seguinte forma:

venue.txt.1
venue.txt.2
venue.txt.3
venue.txt.4

O seguinte comando COPY carrega a tabela VENUE usando os dados delimitados por pipe nos arquivos de dados com o prefixo “local” no bucket amzn-s3-demo-bucket do Amazon S3.

COPY venue FROM 's3://amzn-s3-demo-bucket/venue'
IAM_ROLE 'arn:aws:iam::0123456789012:role/MyRedshiftRole'
DELIMITER '|';

Se nenhum objeto Amazon S3 com o prefixo “local” existir, o carregamento falhará.