Utilizar o Amazon S3 como destino de dados do AWS Database Migration Service

É possível migrar dados para o Amazon S3 utilizando o AWS DMS em qualquer uma das origens de bancos de dados compatíveis. Ao utilizar o Amazon S3 como destino em uma tarefa do AWS DMS, os dados da carga máxima e da captura de dados de alteração (CDC) são gravados no formato de valores separados por vírgulas (.csv) por padrão. Para obter mais opções de armazenamento compacto e de consultas mais rápidas, você também tem a opção de ter os dados gravados no formato do Apache Parquet (.parquet).

O AWS DMS nomeia os arquivos criados durante um carga máxima utilizando um contador hexadecimal incremental, por exemplo, LOAD00001.csv, LOAD00002..., LOAD00009, LOAD0000A e assim por diante para arquivos .csv. O AWS DMS nomeia arquivos da CDC utilizando timestamps, por exemplo, 20141029-1134010000.csv. Para cada tabela de origem que contém registros, o AWS DMS cria uma pasta na pasta de destino especificada (se a tabela de destino não estiver vazia). O AWS DMS grava todos os arquivos da carga máxima e da CDC no bucket do Amazon S3 especificado. É possível controlar o tamanho dos arquivos criados pelo AWS DMS utilizando a configuração de endpoint MaxFileSize.

O parâmetro bucketFolder contém o local em que arquivos .csv ou .parquet são armazenados antes de serem carregados no bucket do S3. Com arquivos .csv, os dados de tabela são armazenados no seguinte formato no bucket do S3, mostrado com arquivos da carga máxima.

database_schema_name/table_name/LOAD00000001.csv
database_schema_name/table_name/LOAD00000002.csv
...
database_schema_name/table_name/LOAD00000009.csv
database_schema_name/table_name/LOAD0000000A.csv
database_schema_name/table_name/LOAD0000000B.csv
...database_schema_name/table_name/LOAD0000000F.csv
database_schema_name/table_name/LOAD00000010.csv
...

É possível especificar o delimitador de coluna, o delimitador de linha e outros parâmetros utilizando os atributos de conexão adicionais. Para obter mais informações sobre os atributos de conexão extra, consulte Configurações de endpoint ao utilizar o Amazon S3 como destino para o AWS DMS, no final desta seção.

É possível especificar o proprietário do bucket e evitar o corte utilizando a configuração ExpectedBucketOwner do endpoint do Amazon S3, conforme mostrado a seguir. Ao fazer uma solicitação para testar uma conexão ou executar uma migração, o S3 verifica o ID da conta do proprietário do bucket em relação ao parâmetro especificado.

--s3-settings='{"ExpectedBucketOwner": "AWS_Account_ID"}'

Ao utilizar o AWS DMS para replicar alterações de dados utilizando uma tarefa de CDC, a primeira coluna do arquivo de saída .csv ou .parquet indica como os dados da linha foram alterados para o seguinte arquivo .csv.

I,101,Smith,Bob,4-Jun-14,New York
U,101,Smith,Bob,8-Oct-15,Los Angeles
U,101,Smith,Bob,13-Mar-17,Dallas
D,101,Smith,Bob,13-Mar-17,Dallas
        

Para este exemplo, suponha que haja uma tabela EMPLOYEE no banco de dados de origem. O AWS DMS grava dados no arquivo .csv ou .parquet, em resposta aos seguintes eventos:

Observe que, por padrão, para a CDC, o AWS DMS armazena as alterações de linha para cada tabela do banco de dados, independentemente da ordem da transação. Para armazenar as alterações de linha nos arquivos de CDC de acordo com a ordem da transação, utilize as configurações do endpoint do S3 para especificar isso e o caminho da pasta em que deseja que os arquivos de transações da CDC sejam armazenados no destino do S3. Para obter mais informações, consulte Captura de dados de alteração (CDC), incluindo a ordem de transações no destino do S3..

Para controlar a frequência de gravações em um destino do Amazon S3 durante uma tarefa de replicação de dados, é possível configurar os atributos de conexão adicionais cdcMaxBatchInterval e cdcMinFileSize. Isso pode resultar em melhor desempenho ao analisar os dados sem operações adicionais de sobrecarga. Para obter mais informações, consulte Configurações de endpoint ao utilizar o Amazon S3 como destino para o AWS DMS.

Pré-requisitos da utilização do Amazon S3 como destino

Antes de utilizar o Amazon S3 como destino, verifique se o seguinte é verdadeiro:

Para configurar esse acesso à conta, verifique se o perfil atribuído à conta de usuário utilizada para criar a tarefa de migração tem o seguinte conjunto de permissões.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:DeleteObject",
                "s3:PutObjectTagging"
            ],
            "Resource": [
                "arn:aws:s3:::buckettest2/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::buckettest2"
            ]
        }
    ]
}

Para obter os pré-requisitos para utilizar a validação com o S3 como destino, consulte Pré-requisitos da validação do S3 de destino.

Limitações da utilização do Amazon S3 como destino

Aplicam-se as seguintes limitações ao utilizar o Amazon S3 como destino:

Para obter as limitações da utilização da validação com o S3 como destino, consulte Limitações da utilização da validação de destino do S3..

Segurança

Para utilizar o Amazon S3 como destino, a conta utilizada para a migração deve ter acesso de gravação e exclusão ao bucket do Amazon S3 utilizado como o destino. Especifique o nome de recurso da Amazon (ARN) de um perfil do IAM que tem as permissões necessárias para acessar o Amazon S3.

O AWS DMS é compatível com um conjunto de concessões predefinidas do Amazon S3, conhecidas como listas de controle de acesso (ACLs) pré-configuradas padrão. Cada ACL pré-configurada tem um conjunto de concessões e permissões que podem ser utilizadas para definir permissões para o bucket do Amazon S3. É possível especificar uma ACL pré-configurada utilizando cannedAclForObjects no atributo da string de conexão para o endpoint de destino do S3. Para obter mais informações sobre como utilizar o atributo de conexão adicional cannedAclForObjects, consulte Configurações de endpoint ao utilizar o Amazon S3 como destino para o AWS DMS. Para obter mais informações sobre ACLs pré-configuradas do Amazon S3, consulte ACL pré-configurada.

O perfil do IAM que você utiliza para a migração deve ser capaz de executar a operação da API s3:PutObjectAcl.

Utilizar o Apache Parquet para armazenar objetos do Amazon S3

O formato de valores separados por vírgulas (.csv) é o formato do armazenamento padrão para objetos de destino do Amazon S3. Para obter armazenamento compacto e consultas mais rápidas, é possível utilizar o Apache Parquet (.parquet) como o formato de armazenamento.

O Apache Parquet é um formato de armazenamento de arquivos de código aberto originalmente projetado para o Hadoop. Para obter mais informações sobre o Apache Parquet, consulte https://parquet.apache.org/.

Para definir o .parquet como o formato de armazenamento para os objetos de destino do S3, é possível utilizar os seguintes mecanismos:

Marcação de objetos do Amazon S3

É possível marcar objetos do Amazon S3 criados por uma instância de replicação especificando objetos JSON adequados como parte das regras de mapeamento de tarefa-tabela. Para obter mais informações sobre os requisitos e as opções de marcação de objetos do S3, incluindo nomes de tag válidos, consulte Marcação de objetos no Guia do usuário do Amazon Simple Storage Service. Para obter mais informações sobre o mapeamento de tabelas utilizando JSON, consulte Especificar a seleção de tabelas e as regras de transformação utilizando JSON.

Você marca objetos do S3 criados para tabelas e esquemas especificados utilizando um ou mais objetos JSON do tipo de regra selection. Então, você segue esse objeto (ou objetos) selection por um ou mais objetos JSON do tipo de regra post-processing com a ação add-tag. Essas regras de pós-processamento identificam os objetos do S3 que você deseja marcar e especificar os nomes e valores das tags que você deseja adicionar a esses objetos do S3.

É possível encontrar os parâmetros para especificar em objetos JSON do tipo de regra post-processing na tabela a seguir.

Ao especificar vários tipos de regra post-processing para marcar uma seleção de objetos do S3, cada objeto do S3 é marcado utilizando apenas um objeto tag-set de uma regra de pós-processamento. O conjunto de tags específico utilizado para marcar um determinado objeto do S3 é aquele da regra de pós-processamento cujo localizador de objeto associado corresponde melhor ao objeto do S3.

Por exemplo, suponha que duas regras de pós-processamento identificam o mesmo objeto do S3. Suponha também que o localizador de objetos de uma regra use curingas, e que o localizador de objetos de outra regra use uma correspondência exata para identificar o objeto do S3 (sem curingas). Nesse caso, o conjunto de tags associado à regra pós-processamento com a correspondência exata é utilizado para marcar o objeto do S3. Se várias regras de pós-processamento corresponderem a um determinado objeto do S3 igualmente bem, o conjunto de tags associado à primeira regra de pós-processamento será utilizado para marcar o objeto.

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "5",
            "rule-name": "5",
            "object-locator": {
                "schema-name": "aat2",
                "table-name": "STOCK"
            },
            "rule-action": "include"
        },
        {
            "rule-type": "post-processing",
            "rule-id": "41",
            "rule-name": "41",
            "rule-action": "add-tag",
            "object-locator": {
                "schema-name": "aat2",
                "table-name": "STOCK"
            },
            "tag-set": [
              {
                "key": "tag_1",
                "value": "value_1"
              },
              {
                "key": "tag_2",
                "value": "value_2"
              },
              {
                "key": "tag_3",
                "value": "value_3"
              }                                     
           ]
        }
    ]
}

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "%",
                "table-name": "%"
            },
            "rule-action": "include"
        },
        {
            "rule-type": "post-processing",
            "rule-id": "21",
            "rule-name": "21",
            "rule-action": "add-tag",
            "object-locator": {
                "schema-name": "%",
                "table-name": "%",
            },
            "tag-set": [
              { 
                "key": "dw-schema-name",
                "value":"${schema-name}"
              },
              {
                "key": "dw-schema-table",
                "value": "my_prefix_${table-name}"
              }
            ]
        },
        {
            "rule-type": "post-processing",
            "rule-id": "41",
            "rule-name": "41",
            "rule-action": "add-tag",
            "object-locator": {
                "schema-name": "aat",
                "table-name": "ITEM",
            },
            "tag-set": [
              {
                "key": "tag_1",
                "value": "value_1"
              },
              {
                "key": "tag_2",
                "value": "value_2"
              }           ]
        }
    ]
}

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "retail",
                "table-name": "ITEM"
            },
            "rule-action": "include"
        },
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "wholesale",
                "table-name": "ITEM"
            },
            "rule-action": "include"
        },
        {
            "rule-type": "post-processing",
            "rule-id": "21",
            "rule-name": "21",
            "rule-action": "add-tag",
            "object-locator": {
                "schema-name": "%",
                "table-name": "ITEM",
            },
            "tag-set": [
              { 
                "key": "dw-schema-name",
                "value":"${schema-name}"
              },
              {
                "key": "dw-schema-table",
                "value": "my_prefix_ITEM"
              },
              {
                "key": "${schema-name}_ITEM_tag_1",
                "value": "value_1"
              },
              {
                "key": "${schema-name}_ITEM_tag_2",
                "value": "value_2"
              }
            ]
    ]
}

Criar chaves do AWS KMS para criptografar objetos de destino do Amazon S3

É possível criar e utilizar chaves personalizadas do AWS KMS para criptografar os objetos de destino do Amazon S3. Depois de criar uma chave do KMS, é possível utilizá-la para criptografar objetos utilizando uma das seguintes abordagens ao criar o endpoint de destino do S3:

Para criptografar os objetos de destino do Amazon S3 utilizando uma chave do KMS, você precisa de um perfil do IAM que tenha permissões para acessar o bucket do Amazon S3. Esse perfil do IAM é acessado em uma política (uma política de chaves) anexada à chave de criptografia criada. É possível fazer isso no console do IAM criando o seguinte:

Os procedimentos a seguir descrevem como fazer isso.

Agora, você criou a política para acessar os recursos do Amazon S3 para a criptografia com um nome específico, por exemplo DMS-S3-endpoint-access.

Agora, você criou o perfil para acessar os recursos do Amazon S3 para criptografia com um nome especificado, por exemplo, DMS-S3-endpoint-access-role.

Agora, você criou uma nova chave do KMS com um alias especificado (por exemplo, DMS-S3-endpoint-encryption-key). Essa chave permite que o AWS DMS criptografe os objetos de destino do Amazon S3.

Utilizar o particionamento de pastas com base em data

O AWS DMS é compatível com partições de pastas do S3 com base na data de confirmação da transação ao utilizar o Amazon S3 como o endpoint de destino. Utilizando o particionamento de pastas com base em data, é possível gravar dados de uma única tabela de origem em uma estrutura de pastas com hierarquia temporal em um bucket do S3. Ao particionar pastas ao criar um endpoint de destino do S3, é possível fazer o seguinte:

É possível ativar o particionamento de pastas com base em data ao criar um endpoint de destino do S3. É possível ativá-lo ao migrar dados existentes e ao replicar alterações em andamento (carga máxima + CDC) ou replicar somente alterações de dados (somente CDC). Utilize as seguintes configurações de endpoint de destino:

O exemplo a seguir mostra como ativar o particionamento de pastas com base em data, com valores padrão para a sequência e o delimitador da partição de dados. Ele utiliza a opção --s3-settings '{json-settings}' AWS CLI. Comando da create-endpoint.

   --s3-settings '{"DatePartitionEnabled": true,"DatePartitionSequence": "YYYYMMDD","DatePartitionDelimiter": "SLASH"}'
            

Carga paralela de origens particionadas ao utilizar o Amazon S3 como destino do AWS DMS

É possível configurar uma carga máxima paralela de fontes de dados particionadas para destinos do Amazon S3. Essa abordagem melhora os tempos de carga da migração de dados particionados nos mecanismos de banco de dados de origem compatíveis para o destino do S3. Para melhorar os tempos de carga dos dados de origem particionados, crie subpastas de destino do S3 mapeadas para as partições de cada tabela no banco de dados de origem. Essas subpastas vinculadas à partição permitem que o AWS DMS execute processos paralelos para preencher cada subpasta no destino.

Para configurar uma carga máxima paralela de um destino do S3, o S3 é compatível com os três tipos de regra parallel-load para a regra table-settings de mapeamento de tabela:

Para obter mais informações sobre esses tipos de regra de carga paralela, consulte Regras e operações de configurações de tabelas e coleções.

Para os tipos de regra partitions-auto e partitions-list, o AWS DMS utiliza o nome de cada partição do endpoint de origem para identificar a estrutura da subpasta de destino, da seguinte forma.

bucket_name/bucket_folder/database_schema_name/table_name/partition_name/LOADseq_num.csv

Aqui, o caminho da subpasta em que os dados são migrados e armazenados no destino do S3 inclui uma subpasta partition_name adicional que corresponde a uma partição de origem com o mesmo nome. Essa subpasta partition_name armazena um ou mais arquivos LOADseq_num.csv contendo os dados migrados da partição de origem especificada. Aqui, seq_num é o sufixo do número de sequência no nome do arquivo .csv, como 00000001 no arquivo .csv com o nome LOAD00000001.csv.

No entanto, alguns mecanismos de banco de dados, como MongoDB e o DocumentDB, não têm o conceito de partições. Para esses mecanismos de banco de dados, o AWS DMS adiciona o índice do segmento de origem em execução como um prefixo para o nome do arquivo .csv de destino, da seguinte maneira.

.../database_schema_name/table_name/SEGMENT1_LOAD00000001.csv
.../database_schema_name/table_name/SEGMENT1_LOAD00000002.csv
...
.../database_schema_name/table_name/SEGMENT2_LOAD00000009.csv
.../database_schema_name/table_name/SEGMENT3_LOAD0000000A.csv

Aqui, os arquivos SEGMENT1_LOAD00000001.csv e SEGMENT1_LOAD00000002.csv são nomeados com o mesmo prefixo de índice do segmento de origem em execução, SEGMENT1. Eles são nomeados assim porque os dados de origem migrados para esses dois arquivos .csv estão associados ao mesmo índice de segmento de origem em execução. Por outro lado, os dados migrados armazenados em cada um dos arquivos SEGMENT2_LOAD00000009.csv e SEGMENT3_LOAD0000000A.csv de destino estão associados a diferentes índices de segmentos de origem em execução. Cada arquivo tem seu nome prefixado com o nome de seu índice de segmento em execução, SEGMENT2 e SEGMENT3.

Para o tipo de carga paralela ranges, defina os nomes e valores das colunas utilizando as configurações columns e boundaries das regras table-settings. Com essas regras, é possível especificar partições correspondentes aos nomes dos segmentos, da seguinte maneira.

"parallel-load": {
    "type": "ranges",
    "columns": [
         "region",
         "sale"
    ],
    "boundaries": [
          [
               "NORTH",
               "1000"
          ],
          [
               "WEST",
               "3000"
          ]
    ],
    "segment-names": [
          "custom_segment1",
          "custom_segment2",
          "custom_segment3"
    ]
}

Aqui, a configuração de segment-names define nomes de três partições para migrar dados em paralelo no destino do S3. Os dados migrados são carregados paralelamente e armazenados em arquivos .csv nas subpastas da partição em ordem, da seguinte maneira.

.../database_schema_name/table_name/custom_segment1/LOAD[00000001...].csv
.../database_schema_name/table_name/custom_segment2/LOAD[00000001...].csv
.../database_schema_name/table_name/custom_segment3/LOAD[00000001...].csv

Aqui, o AWS DMS armazena uma série de arquivos .csv em cada uma das três subpastas de partição. A série de arquivos .csv em cada subpasta de partição é nomeada de forma incremental, começando com LOAD00000001.csv até que todos os dados sejam migrados.

Em alguns casos, é possível não nomear explicitamente as subpastas de partição para um tipo de carga paralela ranges utilizando a configuração segment-names. Nesse caso, o AWS DMS aplica o padrão de criação de cada série de arquivos .csv em sua subpasta table_name. Aqui, o AWS DMS prefixa os nomes dos arquivos de cada série de arquivos .csv com o nome do índice do segmento de origem em execução, da seguinte forma.

.../database_schema_name/table_name/SEGMENT1_LOAD[00000001...].csv
.../database_schema_name/table_name/SEGMENT2_LOAD[00000001...].csv
.../database_schema_name/table_name/SEGMENT3_LOAD[00000001...].csv
...
.../database_schema_name/table_name/SEGMENTZ_LOAD[00000001...].csv

Configurações de endpoint ao utilizar o Amazon S3 como destino para o AWS DMS

É possível utilizar as configurações de endpoint para configurar o banco de dados de destino do Amazon S3 de forma semelhante à utilização de atributos de conexão adicional. Você especifica as configurações ao criar o endpoint de destino utilizando o console do AWS DMS ou o comando create-endpoint na AWS CLI, com a sintaxe --s3-settings '{"EndpointSetting": "value", ...}' do JSON.

A tabela a seguir mostra as configurações de endpoint que é possível utilizar com o Amazon S3 como destino.

Utilizar o AWS Glue Data Catalog com um destino do Amazon S3 do AWS DMS

O AWS Glue é um serviço que fornece maneiras simples de categorizar dados e consiste em um repositório de metadados conhecido como AWS Glue Data Catalog. É possível integrar o AWS Glue Data Catalog ao endpoint de destino do Amazon S3 e consultar os dados do Amazon S3 por meio de outros serviços da AWS, como o Amazon Athena. O Amazon Redshift funciona com o AWS Glue, mas o AWS DMS não é compatível com isso como uma opção pré-criada.

Para gerar o catálogo de dados, defina a configuração GlueCatalogGeneration do endpoint como true, conforme mostrado no exemplo da AWS CLI a seguir.

aws dms create-endpoint --endpoint-identifier s3-target-endpoint 
            --engine-name s3 --endpoint-type target--s3-settings '{"ServiceAccessRoleArn": 
            "your-service-access-ARN", "BucketFolder": "your-bucket-folder", "BucketName": 
            "your-bucket-name", "DataFormat": "parquet", "GlueCatalogGeneration": true}'

Para uma tarefa de replicação de carga máxima que inclua o tipo de dados csv, defina IncludeOpForFullLoad como true.

Não utilize GlueCatalogGeneration com PreserveTransactions e CdcPath. O crawler do AWS Glue não pode reconciliar os diferentes esquemas de arquivos armazenados sob o CdcPath especificado.

Para que o Amazon Athena indexe os dados do Amazon S3, e para você consultar os dados utilizando consultas SQL padrão por meio do Amazon Athena, o perfil do IAM anexado ao endpoint deve ter a seguinte política:

{
    "Version": "2012-10-17", 
    "Statement": [ 
        {
            "Effect": "Allow", 
            "Action": [
                "s3:GetBucketLocation", 
                "s3:GetObject",
                "s3:ListBucket", 
                "s3:ListBucketMultipartUploads", 
                "s3:ListMultipartUploadParts", 
                "s3:AbortMultipartUpload" 
            ], 
            "Resource": [
                "arn:aws:s3:::bucket123", 
                "arn:aws:s3:::bucket123/*" 
            ]
        },
        {
            "Effect": "Allow", 
            "Action": [ 
                "glue:CreateDatabase", 
                "glue:GetDatabase", 
                "glue:CreateTable", 
                "glue:DeleteTable", 
                "glue:UpdateTable", 
                "glue:GetTable", 
                "glue:BatchCreatePartition", 
                "glue:CreatePartition", 
                "glue:UpdatePartition", 
                "glue:GetPartition", 
                "glue:GetPartitions", 
                "glue:BatchGetPartition"
            ], 
            "Resource": [
                "arn:aws:glue:*:111122223333:catalog", 
                "arn:aws:glue:*:111122223333:database/*", 
                "arn:aws:glue:*:111122223333:table/*" 
            ]
        }, 
        {
            "Effect": "Allow",
            "Action": [
                "athena:StartQueryExecution",
                "athena:GetQueryExecution", 
                "athena:CreateWorkGroup"
            ],
            "Resource": "arn:aws:athena:*:111122223333:workgroup/glue_catalog_generation_for_task_*"
        }
    ]
}

Utilizar criptografia de dados, arquivos de parquet e de CDC no destino do Amazon S3

É possível utilizar as configurações do endpoint de destino do S3 para configurar o seguinte:

Configurações de chaves do AWS KMS para a criptografia de dados

Os exemplos a seguir mostram como configurar uma chave do KMS personalizada para criptografar os objetos de destino do S3. Para iniciar, execute o seguinte comando create-endpoint na CLI,

aws dms create-endpoint --endpoint-identifier s3-target-endpoint --engine-name s3 --endpoint-type target 
--s3-settings '{"ServiceAccessRoleArn": "your-service-access-ARN", "CsvRowDelimiter": "\n", 
"CsvDelimiter": ",", "BucketFolder": "your-bucket-folder", 
"BucketName": "your-bucket-name", 
"EncryptionMode": "SSE_KMS", 
"ServerSideEncryptionKmsKeyId": "arn:aws:kms:us-east-1:111122223333:key/72abb6fb-1e49-4ac1-9aed-c803dfcc0480"}'

Aqui, o objeto JSON especificado pela opção --s3-settings define dois parâmetros. Um é um parâmetro EncryptionMode com o valor SSE_KMS. O outro é um parâmetro ServerSideEncryptionKmsKeyId com o valor de arn:aws:kms:us-east-1:111122223333:key/72abb6fb-1e49-4ac1-9aed-c803dfcc0480. Esse valor é um Nome de recurso da Amazon (ARN) para a chave personalizada do KMS. Para um destino do S3, você também pode especificar configurações adicionais. Esses identificam o perfil de acesso ao servidor, fornecem delimitadores para o formato de armazenamento de objetos CSV padrão e fornecem o local e o nome do bucket para armazenar objetos de destino do S3.

Por padrão, a criptografia dos dados do S3 ocorre usando a criptografia do lado do servidor do S3. Para o destino do S3 do exemplo anterior, isso também é equivalente a especificar suas configurações de endpoint, como no exemplo a seguir.

aws dms create-endpoint --endpoint-identifier s3-target-endpoint --engine-name s3 --endpoint-type target
--s3-settings '{"ServiceAccessRoleArn": "your-service-access-ARN", "CsvRowDelimiter": "\n", 
"CsvDelimiter": ",", "BucketFolder": "your-bucket-folder", 
"BucketName": "your-bucket-name", 
"EncryptionMode": "SSE_S3"}'

Para obter mais informações sobre como trabalhar com a criptografia do lado do servidor do S3, consulte Proteger dados utilizando a criptografia do lado do servidor.

Configurações para utilizar arquivos .parquet para armazenar objetos de destino do S3

O formato padrão para criar objetos de destino do S3 é arquivos .csv. Os exemplos a seguir mostram algumas configurações de endpoint para especificar arquivos .parquet como o formato para criar objetos de destino do S3. É possível especificar o formato .parquet de arquivos com todos os padrões, como no exemplo a seguir.

aws dms create-endpoint --endpoint-identifier s3-target-endpoint --engine-name s3 --endpoint-type target 
--s3-settings '{"ServiceAccessRoleArn": "your-service-access-ARN", "DataFormat": "parquet"}'

Aqui, o parâmetro DataFormat é definido como parquet para ativar o formato com todos os padrões do S3. Esses padrões incluem a codificação de um dicionário ("EncodingType: "rle-dictionary") que utiliza uma combinação de empacotamento de bits e de codificação de run-length para armazenar valores repetidos.

É possível adicionar outras configurações para opções diferentes do padrão, como no exemplo a seguir.

aws dms create-endpoint --endpoint-identifier s3-target-endpoint --engine-name s3 --endpoint-type target
--s3-settings '{"ServiceAccessRoleArn": "your-service-access-ARN", "BucketFolder": "your-bucket-folder",
"BucketName": "your-bucket-name", "CompressionType": "GZIP", "DataFormat": "parquet", "EncodingType: "plain-dictionary", "DictPageSizeLimit": 3,072,000,
"EnableStatistics": false }'

Aqui, além dos parâmetros para várias opções padrão de bucket do S3 e do parâmetro DataFormat, os seguintes parâmetros adicionais de arquivo .parquet são definidos:

Captura de dados de alteração (CDC), incluindo a ordem de transações no destino do S3.

Por padrão, quando o AWS DMS executa uma tarefa de CDC, ele armazena todas as alterações de linha registradas em log no banco de dados de origem (ou bancos de dados) em um ou mais arquivos para cada tabela. Cada conjunto de arquivos que contêm alterações para a mesma tabela reside em um único diretório de destino associado a essa tabela. O AWS DMS cria tantos diretórios de destino quanto as tabelas de banco de dados migradas para o endpoint de destino do Amazon S3. Os arquivos são armazenados no destino do S3 nesses diretórios, independentemente da ordem da transação. Para obter mais informações sobre as convenções de nomenclatura, o conteúdo e o formato dos dados, consulte Utilizar o Amazon S3 como destino de dados do AWS Database Migration Service.

Para capturar as alterações do banco de dados de origem de uma maneira que também capture a ordem da transação, é possível especificar as configurações do endpoint do S3 que direcionam o AWS DMS a armazenar as alterações de linhas de todas as tabelas do banco de dados em um ou mais arquivos .csv criados, dependendo do tamanho da transação. Esses arquivos de transação .csv contêm todas as alterações de linhas listadas sequencialmente na ordem da transação de todas as tabelas envolvidas em cada transação. Esses arquivos de transação residem juntos em um único diretório de transações que você também especifica no destino do S3. Em cada arquivo de transação, a operação da transação e a identidade do banco de dados e a tabela de origem de cada alteração de linha são armazenadas como parte dos dados da linha, da seguinte maneira.

operation,table_name,database_schema_name,field_value,...

Aqui, operation é a operação da transação na linha alterada, table_name é o nome da tabela do banco de dados em que a linha foi alterada, database_schema_name é o nome do esquema do banco de dados em que a tabela reside e field_value é o primeiro de um ou mais valores de campo que especificam os dados da linha.

O exemplo a seguir de um arquivo de transação mostra as linhas alteradas de uma ou mais transações que envolvem duas tabelas.

I,Names_03cdcad11a,rdsTempsdb,13,Daniel
U,Names_03cdcad11a,rdsTempsdb,23,Kathy
D,Names_03cdcad11a,rdsTempsdb,13,Cathy
I,Names_6d152ce62d,rdsTempsdb,15,Jane
I,Names_6d152ce62d,rdsTempsdb,24,Chris
I,Names_03cdcad11a,rdsTempsdb,16,Mike

Aqui, a operação da transação em cada linha é indicada por I (inserir), U (atualizar) ou D (excluir) na primeira coluna. O nome da tabela é o valor da segunda coluna (por exemplo, Names_03cdcad11a). O nome do esquema do banco de dados é o valor da terceira coluna (por exemplo, rdsTempsdb). E as colunas restantes são preenchidas com seus próprios dados da linha (por exemplo, 13,Daniel).

Além disso, o AWS DMS nomeia os arquivos de transação que cria no destino do Amazon S3 utilizando um timestamp de acordo com a seguinte convenção de nomenclatura.

CDC_TXN-timestamp.csv

Aqui, timestamp é a hora em que o arquivo de transação foi criado, como no exemplo a seguir.

CDC_TXN-20201117153046033.csv

Esse timestamp no nome do arquivo garante que os arquivos de transação sejam criados e listados na ordem da transação quando você os lista no diretório de transações.

Para controlar a frequência de gravações em um destino do Amazon S3 durante uma tarefa de replicação de dados, é possível definir as configurações CdcMaxBatchInterval e CdcMinFileSize. Isso pode resultar em melhor desempenho ao analisar os dados sem operações adicionais de sobrecarga. Para obter mais informações, consulte Configurações de endpoint ao utilizar o Amazon S3 como destino para o AWS DMS.

Indicar operações de banco de dados de origem em dados migrados do S3

Quando o AWS DMS migra os registros para um destino do S3, ele pode criar um campo adicional em cada registro migrado. Esse campo adicional indica a operação aplicada ao registro no banco de dados de origem. A forma como o AWS DMS cria e define esse primeiro campo depende do tipo da tarefa de migração e das configurações de includeOpForFullLoad, cdcInsertsOnly e cdcInsertsAndUpdates.

Em uma carga máxima, quando includeOpForFullLoad é true, o AWS DMS sempre cria um primeiro campo adicional em cada registro .csv. Esse campo contém a letra I (INSERT) para indicar que a linha foi inserida no banco de dados de origem. Em uma carga de CDC, quando cdcInsertsOnly é false (o padrão), o AWS DMS também sempre cria um primeiro campo adicional em cada registro .csv ou .parquet. Esse campo contém a letra I (INSERT), U (UPDATE) ou D (DELETE) para indicar se a linha foi inserida, atualizada ou excluída no banco de dados de origem.

Na tabela a seguir, é possível ver como as configurações dos atributos includeOpForFullLoad e cdcInsertsOnly funcionam em conjunto e afetam a configuração dos registros migrados.

Quando includeOpForFullLoad e cdcInsertsOnly forem definidos com o mesmo valor, os registros de destino serão definidos de acordo com o atributo que controla as configurações de registro para o tipo de migração atual. Esse atributo é includeOpForFullLoad para a carga máxima e cdcInsertsOnly para a carga da CDC.

Quando includeOpForFullLoad e cdcInsertsOnly estão definidos com valores diferentes, o AWS DMS torna as configurações dos registros de destino consistentes para a CDC e para a carga máxima. Isso é feito fazendo com que as configurações de registro de uma carga de CDC com as configurações de qualquer carga máxima anterior especificada por includeOpForFullLoad estejam em conformidade.

Ou seja, suponha que uma carga máxima está configurada para adicionar um primeiro campo para indicar um registro inserido. Nesse caso, um carregamento de CDC seguinte será configurado para adicionar um primeiro campo que indica um registro inserido, atualizado ou excluído de acordo com a origem. Por outro lado, suponha que um carga máxima está configurada para não adicionar um primeiro campo indicando um registro inserido. Nesse caso, uma carga de CDC também será definida para não adicionar um primeiro campo para cada registro, independentemente das operações de registro correspondentes na origem.

Da mesma forma, a maneira como o DMS cria e define um primeiro campo adicional depende das configurações de includeOpForFullLoad e de cdcInsertsAndUpdates. Na tabela a seguir, é possível ver como as configurações dos atributos includeOpForFullLoad e cdcInsertsAndUpdates funcionam em conjunto e afetam a configuração dos registros migrados neste formato.

Tipos de dados de destino do S3 Parquet

A tabela a seguir mostra os tipos de dados de destino do Parquet compatíveis ao utilizar o AWS DMS e o mapeamento padrão de tipos de dados do AWS DMS.

Para obter mais informações sobre os tipos de dados do AWS DMS, consulte Tipos de dados do AWS Database Migration Service.