Importação de dados do Amazon S3 para o DynamoDB: como funciona

Para importar dados para o DynamoDB, eles devem estar em um bucket do Amazon S3 no formato CSV, DynamoDB JSON ou Amazon Ion. Os dados podem ser compactados no formato ZSTD ou GZIP, ou podem ser importados diretamente em formato não compactado. Os dados de origem podem ser um único ou vários objetos do Amazon S3 que usam o mesmo prefixo.

Os dados serão importados para uma nova tabela do DynamoDB, que será criada quando você iniciar a solicitação de importação. Você pode criar essa tabela com índices secundários e, em seguida, consultar e atualizar os dados em todos os índices primários e secundários assim que a importação for concluída. Você também pode adicionar uma réplica de tabela global após a conclusão da importação.

Como a importação do Amazon S3 não consome capacidade de gravação na nova tabela, você não precisa provisionar nenhuma capacidade extra para importar dados para o DynamoDB. O preço da importação de dados baseia-se no tamanho não compactado dos dados de origem no Amazon S3, que são processados como resultado da importação. Os itens que são processados, mas não são carregados na tabela devido à formatação ou a outras inconsistências nos dados de origem, também são cobrados como parte do processo de importação. Para obter detalhes de preço, consulte Preço do Amazon DynamoDB.

Você poderá importar dados de um bucket do Amazon S3 pertencente a uma conta diferente caso tenha as permissões corretas para ler desse bucket específico. A nova tabela também pode estar em uma região diferente do bucket do Amazon S3 de origem. Para obter mais informações, consulte Amazon Simple Storage Service setup and permissions (Configuração e permissões do Amazon Simple Storage Service).

Os tempos de importação estão diretamente relacionados às características de seus dados no Amazon S3. Isso inclui tamanho dos dados, formato de dados, esquema de compactação, uniformidade de distribuição de dados, número de objetos do Amazon S3 e outras variáveis relacionadas. Mais especificamente, conjuntos de dados com chaves uniformemente distribuídas serão mais rápidos de importar do que conjuntos de dados distorcidos. Por exemplo, se a chave do índice secundário estiver usando o mês do ano para particionamento e todos os dados forem do mês de dezembro, a importação desses dados poderá demorar muito mais.

Espera-se que os atributos associados às chaves sejam exclusivos na tabela-base. Se alguma chave não for exclusiva, a importação substituirá os itens associados até o momento em que restar apenas a última substituição. Por exemplo, se a chave primária for o mês e vários itens forem definidos para o mês de setembro, cada novo item substituirá os itens escritos anteriormente e apenas um item com o mês da (chave primária) definido como setembro permanecerá. Nesses casos, o número de itens processados na descrição da tabela de importação não corresponderá ao número de itens na tabela de destino.

O AWS CloudTrail registra todas as ações de console e API para importação de tabela. Para ter mais informações, consulte Registrar em log as operações do DynamoDB usando o AWS CloudTrail.

O vídeo a seguir é uma introdução à importação direta do Amazon S3 para o DynamoDB.