As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Usando o Amazon S3 como fonte para AWS DMS

Você pode migrar dados de um bucket do Amazon S3 usando. AWS DMS Para fazer isso, conceda acesso a um bucket do Amazon S3 que contenha um ou mais arquivos de dados. Neste bucket do S3, inclua um arquivo JSON que descreve o mapeamento entre os dados e as tabelas de banco de dados referentes aos dados nesses arquivos.

Os arquivos de dados de origem devem estar presentes no bucket do Amazon S3 para que a carga máxima seja iniciada. Especifique o nome do bucket utilizando o parâmetro bucketName.

Os arquivos de dados de origem podem estar nos seguintes formatos:

Para arquivos de dados de origem no formato de valores separados por vírgula (.csv), nomeie-os usando a seguinte convenção de nomenclatura. Nessa convenção, schemaName é o esquema de origem, e tableName é o nome de uma tabela dentro desse esquema.

/schemaName/tableName/LOAD001.csv
/schemaName/tableName/LOAD002.csv
/schemaName/tableName/LOAD003.csv
...

Por exemplo, suponha que os arquivos de dados estejam no mybucket, no seguinte caminho do Amazon S3.

s3://mybucket/hr/employee

No momento do carregamento, AWS DMS presume que o nome do esquema de origem é hr e que o nome da tabela de origem é. employee

Além disso bucketName (o que é obrigatório), você pode, opcionalmente, fornecer um bucketFolder parâmetro para especificar onde AWS DMS procurar arquivos de dados no bucket do Amazon S3. Continuando com o exemplo anterior, se você bucketFolder definir comosourcedata, AWS DMS lê os arquivos de dados no caminho a seguir.

s3://mybucket/sourcedata/hr/employee

É possível especificar o delimitador de coluna, o delimitador de linha, o indicador de valor nulo e outros parâmetros utilizando os atributos de conexão adicionais. Para ter mais informações, consulte Configurações de endpoint para o Amazon S3 como fonte para AWS DMS.

É possível especificar o proprietário do bucket e evitar o corte utilizando a configuração ExpectedBucketOwner do endpoint do Amazon S3, conforme mostrado a seguir. Ao fazer uma solicitação para testar uma conexão ou executar uma migração, o S3 verifica o ID da conta do proprietário do bucket em relação ao parâmetro especificado.

--s3-settings='{"ExpectedBucketOwner": "AWS_Account_ID"}'

Definindo tabelas externas para o Amazon S3 como fonte para AWS DMS

Além dos arquivos de dados, você também deve fornecer uma definição de tabela externa. Uma definição de tabela externa é um documento JSON que descreve como AWS DMS interpretar os dados do Amazon S3. O tamanho máximo deste documento é 2 MB. Se você criar um endpoint de origem usando o AWS DMS Management Console, poderá inserir o JSON diretamente na caixa de mapeamento de tabelas. Se você usar o AWS Command Line Interface (AWS CLI) ou a AWS DMS API para realizar migrações, poderá criar um arquivo JSON para especificar a definição da tabela externa.

Suponha que você tem um arquivo de dados que inclui o seguinte.

101,Smith,Bob,2014-06-04,New York
102,Smith,Bob,2015-10-08,Los Angeles
103,Smith,Bob,2017-03-13,Dallas
104,Smith,Bob,2017-03-13,Dallas

Veja a seguir um exemplo de definição de tabela externa para esses dados.

{
    "TableCount": "1",
    "Tables": [
        {
            "TableName": "employee",
            "TablePath": "hr/employee/",
            "TableOwner": "hr",
            "TableColumns": [
                {
                    "ColumnName": "Id",
                    "ColumnType": "INT8",
                    "ColumnNullable": "false",
                    "ColumnIsPk": "true"
                },
                {
                    "ColumnName": "LastName",
                    "ColumnType": "STRING",
                    "ColumnLength": "20"
                },
                {
                    "ColumnName": "FirstName",
                    "ColumnType": "STRING",
                    "ColumnLength": "30"
                },
                {
                    "ColumnName": "HireDate",
                    "ColumnType": "DATETIME"
                },
                {
                    "ColumnName": "OfficeLocation",
                    "ColumnType": "STRING",
                    "ColumnLength": "20"
                }
            ],
            "TableColumnsTotal": "5"
        }
    ]
}

Os elementos neste documento JSON são os seguintes:

TableCount: o número de tabelas de origem. Neste exemplo, há somente uma tabela.

Tables: uma matriz que consiste em um mapa JSON por tabela de origem. Neste exemplo, há somente um mapa. Cada mapa consiste nos seguintes elementos:

Se você não especificar o contrário, AWS DMS presume que ColumnLength seja zero.

Para obter uma coluna do tipo NUMERIC, especifique a precisão e a escala. Precision é o número total de dígitos em um número, e scale é o número de dígitos à direita do ponto decimal. Você utiliza os elementos ColumnPrecision e ColumnScale para isso, como mostrado a seguir.

...
    {
        "ColumnName": "HourlyRate",
        "ColumnType": "NUMERIC",
        "ColumnPrecision": "5"
        "ColumnScale": "2"
    }
...

Para uma coluna do tipo DATETIME com dados que contêm segundos fracionários, especifique a escala. A Escala é o número de dígitos dos segundos fracionários e pode variar de 0 a 9. Você utiliza o elemento ColumnScale para isso, conforme mostrado a seguir.

...
{
      "ColumnName": "HireDate",
      "ColumnType": "DATETIME",
      "ColumnScale": "3"
}
...

Se você não especificar o contrário, AWS DMS assume que ColumnScale é zero e trunca os segundos fracionários.

Utilizar a CDC com o Amazon S3 como origem do AWS DMS

Depois de AWS DMS realizar um carregamento completo de dados, ele pode, opcionalmente, replicar as alterações de dados no endpoint de destino. Para fazer isso, você carrega arquivos de captura de dados alterados (arquivos CDC) no seu bucket do Amazon S3. AWS DMS lê esses arquivos CDC quando você os carrega e, em seguida, aplica as alterações no endpoint de destino.

Os arquivos de CDC são nomeados como segue:

CDC00001.csv
CDC00002.csv
CDC00003.csv
...

Para indicar onde AWS DMS encontrar os arquivos, especifique o cdcPath parâmetro. Continuando o exemplo anterior, se você definir cdcPath como changedata, o AWS DMS lerá os arquivos de CDC no seguinte caminho.

s3://mybucket/changedata

Se você definir cdcPath como changedata e bucketFolder como myFolder, o AWS DMS lerá os arquivos de CDC no caminho a seguir.

s3://mybucket/myFolder/changedata

Os registros em um arquivo de CDC são formatados da seguinte forma:

Veja a seguir um exemplo de arquivo de CDC para uma tabela chamada employee.

INSERT,employee,hr,101,Smith,Bob,2014-06-04,New York
UPDATE,employee,hr,101,Smith,Bob,2015-10-08,Los Angeles
UPDATE,employee,hr,101,Smith,Bob,2017-03-13,Dallas
DELETE,employee,hr,101,Smith,Bob,2017-03-13,Dallas

Pré-requisitos ao usar o Amazon S3 como fonte para AWS DMS

Para usar o Amazon S3 como fonte AWS DMS, seu bucket S3 de origem deve estar na mesma AWS região da instância de replicação do DMS que migra seus dados. Além disso, a conta da AWS que você utiliza para a migração deve ter acesso de leitura ao bucket de origem. Para a AWS DMS versão 3.4.7 e superior, o DMS deve acessar o bucket de origem por meio de um VPC endpoint ou de uma rota pública. Para obter informações sobre VPC endpoints, consulte. Configurar endpoints da VPC como endpoints de origem e de destino do AWS

A função AWS Identity and Access Management (IAM) atribuída à conta de usuário usada para criar a tarefa de migração deve ter o seguinte conjunto de permissões.

{
    "Version": "2012-10-17",
    "Statement": [
       {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*"
            ]
        }
    ]
}

A função AWS Identity and Access Management (IAM) atribuída à conta de usuário usada para criar a tarefa de migração deve ter o seguinte conjunto de permissões se o controle de versão estiver habilitado no bucket do Amazon S3.

{
    "Version": "2012-10-17",
    "Statement": [
       {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "S3:GetObjectVersion"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::mybucket*"
            ]
        }
    ]
}

Limitações ao usar o Amazon S3 como fonte para AWS DMS

As limitações a seguir se aplicam ao utilizar o Amazon S3 como origem:

As seguintes limitações se aplicam ao usar arquivos no formato Parquet no Amazon S3 como fonte:

Configurações de endpoint para o Amazon S3 como fonte para AWS DMS

É possível utilizar as configurações do endpoint para configurar o banco de dados de origem do Amazon S3 de forma semelhante à utilização de atributos de conexão adicional. Você especifica as configurações ao criar o endpoint de origem usando o AWS DMS console ou usando o create-endpoint comando no AWS CLI, com a sintaxe --s3-settings '{"EndpointSetting": "value", ...}' JSON.

A tabela a seguir mostra as configurações de endpoint que é possível utilizar com o Amazon S3 como origem.

Tipos de dados de origem do Amazon S3

Migração de dados que usa o Amazon S3 como fonte para AWS DMS necessidades de mapear dados do Amazon S3 AWS DMS para tipos de dados. Para ter mais informações, consulte Definindo tabelas externas para o Amazon S3 como fonte para AWS DMS.

Para obter informações sobre como visualizar o tipo de dados mapeado no destino, consulte a seção relativa ao endpoint de destino que você está usando.

Para obter informações adicionais sobre AWS DMS os tipos de dados, consulteTipos de dados do AWS Database Migration Service.

Os seguintes tipos de AWS DMS dados são usados com o Amazon S3 como fonte:

Usando arquivos no formato Parquet no Amazon S3 como fonte para AWS DMS

Na AWS DMS versão 3.5.3 e posterior, você pode usar arquivos no formato Parquet em um bucket do S3 como fonte para replicação de carga completa ou CDC.

O DMS só oferece suporte a arquivos no formato Parquet como fonte que o DMS gera ao migrar dados para um endpoint de destino do S3. Os nomes dos arquivos devem estar no formato compatível, ou o DMS não os incluirá na migração.

Para arquivos de dados de origem no formato Parquet, eles devem estar na seguinte pasta e convenção de nomenclatura.

schema/table1/LOAD00001.parquet
schema/table2/LOAD00002.parquet
schema/table2/LOAD00003.parquet

Para arquivos de dados de origem para dados CDC no formato Parquet, nomeie-os e armazene-os usando a seguinte pasta e convenção de nomenclatura.

schema/table/20230405-094615814.parquet
schema/table/20230405-094615853.parquet
schema/table/20230405-094615922.parquet

Para acessar arquivos no formato Parquet, defina as seguintes configurações de endpoint:

Para obter mais informações sobre as configurações dos endpoints do S3, consulte S3Settings na Referência da API.AWS Database Migration Service

Tipos de dados compatíveis com arquivos no formato Parquet

AWS DMS suporta os seguintes tipos de dados de origem e destino ao migrar dados de arquivos no formato Parquet. Certifique-se de que sua tabela de destino tenha colunas dos tipos de dados corretos antes de migrar.