Convertendo SSIS pacotes em com AWS Glue StudioAWS Schema Conversion Tool - AWS Schema Conversion Tool
Pré-requisitosAdicionando SSIS pacotes ao seu AWS SCT projetoConversão de pacotes SSISCriação de AWS Glue Studio empregosCriação de um relatório SSIS de avaliação de conversãoSSISComponentes compatíveis

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Convertendo SSIS pacotes em com AWS Glue StudioAWS Schema Conversion Tool

Você pode usar AWS SCT para converter pacotes SQL do Microsoft Server Integration Services (SSIS) em AWS Glue Studio.

Um SSISpacote inclui os componentes necessários, como gerenciador de conexões, tarefas, fluxo de controle, fluxo de dados, parâmetros, manipuladores de eventos e variáveis, para executar uma tarefa específica de extração, transformação e carregamento (ETL). AWS SCT converte SSIS pacotes em um formato compatível com o. AWS Glue Studio Depois de migrar seu banco de dados de origem para o Nuvem AWS, você pode executar esses AWS Glue Studio trabalhos convertidos para realizar ETL tarefas.

Para converter SSIS pacotes da Microsoft em AWS Glue Studio, certifique-se de usar a AWS SCT versão 1.0.661 ou superior.

Pré-requisitos

Nesta seção, aprenda sobre as tarefas de pré-requisito para a conversão de SSIS pacotes em. AWS Glue Essas tarefas incluem a criação AWS dos recursos necessários em sua conta.

Você pode usar AWS Identity and Access Management (IAM) para definir políticas e funções necessárias para acessar os recursos que AWS Glue Studio usa. Para obter mais informações, consulte IAMpermissões para o AWS Glue Studio usuário.

Depois de AWS SCT converter seus scripts de origem em AWS Glue Studio, faça o upload dos scripts convertidos em um bucket do Amazon S3. Certifique-se de criar esse bucket do Amazon S3 e selecioná-lo nas configurações do perfil de serviço da AWS . Para obter mais informações sobre como criar um bucket do Amazon S3, consulte Crie seu primeiro bucket do S3 no Guia do usuário do Amazon Simple Storage Service.

Para garantir que ele AWS Glue Studio possa se conectar ao seu armazenamento de dados, crie um conector personalizado e uma conexão. Além disso, armazene as credenciais do banco de dados em AWS Secrets Manager.

Para criar um conector personalizado

  1. Baixe o JDBC driver para seu armazenamento de dados. Para obter mais informações sobre JDBC drivers que AWS SCT usa, consulteInstalando JDBC drivers para AWS Schema Conversion Tool.

  2. Faça o upload desse arquivo com drivers no seu bucket do Amazon S3. Para obter mais informações, consulte Adicionar um objeto a um bucket no Guia do Usuário do Amazon Simple Storage Service.

  3. Faça login no AWS Management Console e abra o AWS Glue Studio console em https://console.aws.amazon.com/gluestudio/.

  4. Escolha Conectores e, em seguida, escolha Criar conector personalizado.

  5. Para o Connector S3 URL, escolha Browse S3 e escolha o arquivo de JDBC driver que você carregou no seu bucket do Amazon S3.

  6. Insira um nome que descreva seu conector. Por exemplo, digite SQLServer.

  7. Em Tipo de conector, escolha JDBC.

  8. Em Nome da classe, insira o nome da classe principal do seu JDBC motorista. Em SQL Servidor, insiracom.microsoft.sqlserver.jdbc.SQLServerDriver.

  9. Para JDBCURLbase, insira a JDBC baseURL. A sintaxe da JDBC base URL depende do mecanismo de banco de dados de origem. Para SQL servidor, use o seguinte formato:jdbc:sqlserver://$<host>:$<port>;databaseName=$<dbname>;user=$<username>;password=$<password>.

    Certifique-se de substituir <host>, <port>, <dbname>, <username> e <password> com seus valores.

  10. Para delimitador de URL parâmetros, insira o ponto e vírgula (). ;

  11. Escolha Criar conector.

Para armazenar as credenciais do banco de dados em AWS Secrets Manager

  1. Faça login no AWS Management Console e abra o AWS Secrets Manager console em https://console.aws.amazon.com/secretsmanager/.

  2. Selecione Armazenar um novo segredo.

  3. Na página Selecionar tipo de segredo, faça o seguinte:

    1. Em Tipo de segredo, escolha Outro tipo de segredo.

    2. Para Pares de chave/valor, insira as seguintes chaves: host, port, dbname, username e password.

      Em seguida, insira seus valores para essas chaves.

  4. Na página Configurar segredo, insira um Nome de segredo descritivo. Por exemplo, digite SQL_Server_secret.

  5. Escolha Próximo. Depois, na página Configurar alternância escolha Próximo.

  6. Na página Revisar, revise os detalhes do segredo e escolha Armazenar.

Como criar uma conexão para um conector

  1. Faça login no AWS Management Console e abra o AWS Glue Studio console em https://console.aws.amazon.com/gluestudio/.

  2. Escolha o conector que receberá a conexão e selecione Criar conexão.

  3. Na página Criar conexão, insira um nome descritivo para ela. Por exemplo, digite SQL-Server-connection.

  4. Em AWS Secret, escolha o segredo que você criou em AWS Secrets Manager.

  5. Configure Opções de rede e escolha Criar conexão.

Agora, você pode criar uma AWS Glue Studio tarefa com um conector personalizado. Para obter mais informações, consulte Criação de AWS Glue Studio empregos.

Adicionando SSIS pacotes ao seu AWS SCT projeto

Você pode adicionar vários SSIS pacotes a um único AWS SCT projeto.

Para adicionar um SSIS pacote ao seu AWS SCT projeto

  1. Crie um novo projeto com AWS SCT ou abra um projeto existente. Para obter mais informações, consulte Iniciando e gerenciando projetos em AWS SCT.

  2. Escolha Adicionar fonte no menu e, em seguida, escolha SQLServer Integration Services.

  3. Em Nome da conexão, insira um nome para seus SSIS pacotes. AWS SCT exibe esse nome na árvore no painel esquerdo.

  4. Para a pasta de SSIS pacotes, insira o caminho para a pasta com SSIS os pacotes de origem.

  5. Escolha Adicionar destino no menu e, em seguida, escolha AWS Glue Studio.

    Para se conectar AWS Glue Studio, AWS SCT use seu AWS perfil. Para obter mais informações, consulte Gerenciando perfis no AWS Schema Conversion Tool.

  6. Crie uma regra de mapeamento, que inclua seu SSIS pacote de origem e seu AWS Glue Studio destino. Para obter mais informações, consulte Mapeando tipos de dados no AWS Schema Conversion Tool.

  7. Crie AWS Glue Studio conexões no AWS Glue Studio console. Para obter mais informações, consulte Como criar conexões para conectores.

  8. Escolha Gerenciadores de conexão na árvore à esquerda, abra o menu de contexto (clique com o botão direito do mouse) e depois selecione Configurar conexões.

    AWS SCT exibe a janela Configurar conexões.

  9. Para cada SSIS conexão de origem, escolha uma AWS Glue Studio conexão.

Convertendo SSIS pacotes em com AWS Glue StudioAWS SCT

A seguir, descubra como converter SSIS pacotes em AWS Glue Studio uso AWS SCT.

Para converter um SSIS pacote em AWS Glue Studio

  1. Adicione seu SSIS pacote ao seu AWS SCT projeto. Para obter mais informações, consulte Adicionando SSIS pacotes ao seu AWS SCT projeto.

  2. No painel esquerdo, expanda ETLos SSISnós e.

  3. Escolha Pacotes, abra o menu de contexto (clique com o botão direito do mouse) do pacote e escolha Converter pacote.

    AWS SCT converte seus SSIS pacotes selecionados em JSON arquivos. Esses JSON objetos representam um nó em um gráfico acíclico direcionado (). DAG Encontre seus arquivos convertidos no DAGs nó Package na árvore certa.

  4. Escolha Package DAGs, abra o menu de contexto (clique com o botão direito do mouse) e escolha Save to Amazon S3.

    Agora você pode usar esses scripts para criar tarefas no AWS Glue Studio.

Criação AWS Glue Studio de trabalhos usando o código convertido

Depois de converter seus SSIS pacotes de origem, você pode usar os JSON arquivos convertidos para criar AWS Glue Studio trabalhos.

Para criar um AWS Glue Studio trabalho

  1. Escolha Package DAGs na árvore à direita, abra o menu de contexto (clique com o botão direito do mouse) e escolha Configure AWS Glue Studio job.

  2. (Opcional) Aplique o pacote de extensão que emula SSIS as funções em AWS Glue Studio.

  3. A janela Configurar AWS Glue Studio tarefa é aberta.

    Preencha a seção Propriedades básicas da tarefa:

    • Nome: Insira o nome da tarefa do AWS Glue Studio .

    • Nome do arquivo de script: Insira o nome do script da tarefa.

    • Parâmetros da tarefa: Adicione parâmetros e insira seus valores.

    Escolha Próximo.

  4. Preencha a seção Propriedades avançadas da tarefa:

    • IAMFunção — Escolha a IAM função que é usada para autorização AWS Glue Studio e acesso aos armazenamentos de dados.

    • Caminho do arquivo de script do S3: Insira o caminho do Amazon S3 para seu script convertido.

    • Diretório temporário — Insira o caminho do Amazon S3 para um diretório temporário para obter resultados intermediários. AWS Glue Studio usa esse diretório para ler ou gravar no Amazon Redshift.

    • AWS SCT gera automaticamente o caminho para as bibliotecas Python. Você pode revisar esse caminho em Caminho gerado da biblioteca Python. Não é possível editar esse caminho gerado automaticamente. Para usar bibliotecas Python adicionais, insira o caminho em Caminho da biblioteca Python do usuário.

    • Caminho da biblioteca Python: Insira os caminho de outras bibliotecas Python do usuário. Separe os caminhos do Amazon S3 com vírgulas.

    • Caminho de .jars dependentes: Insira os caminhos dos arquivos *.jar dependentes. Separe os caminhos do Amazon S3 com vírgulas.

    • Caminho dos arquivos referenciados: Insira os caminhos para arquivos adicionais que são exigidos pelo seu script (por exemplo, arquivos de configuração). Separe os caminhos do Amazon S3 com vírgulas.

    • Tipo de operador: Escolha G.1X ou G.2X.

      Quando você escolhe, G.1X cada trabalhador mapeia para 1 DPU (4 vCPU, 16 GB de memória e 64 GB de disco).

      Quando você escolhe, G.2X cada trabalhador mapeia para 2 DPU (8 vCPU, 32 GB de memória e disco de 128 GB).

    • Número de operadores solicitado: Insira o número de operadores alocados quando a tarefa é executada.

    • Simultaneidade máxima: Insira o número máximo de execuções simultâneas permitidas para a tarefa. O padrão é 1. AWS Glue retorna um erro quando esse limite é atingido.

    • Tempo limite do trabalho (minutos) — Insira o valor do tempo limite do seu ETL trabalho como uma proteção contra trabalhos descontrolados. O padrão é 2.880 minutos (48 horas) para tarefas em lotes. Se a tarefa exceder esse limite, seu estado da execução é alterado para TIMEOUT.

    • Limite de notificação de atraso (minutos) — Insira o limite em minutos antes de AWS SCT enviar uma notificação de atraso.

    • Número de novas tentativas — insira o número de vezes (0 a 10) que AWS Glue devem reiniciar automaticamente a tarefa se ela falhar. As tarefas que atingem o limite de tempo não são reiniciadas. O padrão é 0.

    Escolha Terminar.

    AWS SCT configura seus AWS Glue Studio trabalhos selecionados.

  5. Encontre seus trabalhos configurados em ETLTrabalhos na árvore certa. Escolha seu trabalho configurado, abra o menu de contexto (clique com o botão direito do mouse) e escolha Criar AWS Glue Studio trabalho.

  6. Escolha Aplicar status e certifique-se de que o valor do Status da tarefa seja Êxito.

  7. Abra o AWS Glue Studio console, escolha Atualizar e escolha seu trabalho. Em seguida, escolha Executar.

Criando um relatório de avaliação para um SSIS pacote com AWS SCT

O relatório de avaliação da ETL migração fornece informações sobre como converter seus SSIS pacotes em um formato compatível com o. AWS Glue Studio O relatório de avaliação inclui itens de ação para os componentes de seus SSIS pacotes. Esses itens de ação mostram quais componentes não AWS SCT podem ser convertidos automaticamente.

Para criar um relatório de avaliação de ETL migração

  1. Expanda o SSISnó abaixo ETLno painel esquerdo.

  2. Escolha Pacotes, abra o menu de contexto (clique com o botão direito do mouse) e escolha Criar relatório.

  3. Visualize a guia Resumo. Aqui, são AWS SCT exibidas as informações do resumo executivo do relatório de avaliação da ETL migração. Ele inclui resultados de conversão para todos os componentes de seus SSIS pacotes.

  4. (Opcional) Salve uma cópia local do relatório de avaliação da ETL migração como um PDF arquivo ou um arquivo de valores separados por vírgula (CSV):

    • Para salvar o relatório de avaliação da ETL migração como um PDF arquivo, escolha Salvar PDF em no canto superior direito.

      O PDF arquivo contém o resumo executivo, os itens de ação e as recomendações para conversão de scripts.

    • Para salvar o relatório de avaliação da ETL migração como um CSV arquivo, escolha Salvar CSV em no canto superior direito.

      AWS SCT cria três CSV arquivos. Eles contêm itens de ação, ações recomendadas e uma complexidade estimada do esforço manual necessário para converter os scripts.

  5. Selecione a guia Itens de ação. Essa guia contém uma lista de itens que exigem conversão manual para AWS Glue Studio. Quando você escolhe um item de ação na lista, AWS SCT destaca o item do SSIS pacote de origem ao qual o item de ação se aplica.

SSIScomponentes que AWS SCT podem ser convertidos em AWS Glue Studio

Você pode usar AWS SCT para converter componentes e parâmetros do fluxo de SSIS dados em AWS Glue Studio.

Os componentes de fluxo de dados compatíveis incluem os seguintes:

  • ADONETDestino

  • ADONETFonte

  • Agregar

  • Mapa de caracteres

  • Divisão condicional

  • Coluna Copiar

  • Conversão de dados

  • Coluna derivada

  • Busca

  • Mesclar

  • Junção de mesclagem

  • Multicast

  • ODBCDestination

  • ODBCSource

  • OLEDBDestination

  • OLEDBSource

  • Número de linhas

  • Classificar

  • SQLDestino do servidor

  • Union All

AWS SCT pode converter mais SSIS componentes em AWS Glue. Para obter mais informações, consulte SSIScomponentes que AWS SCT podem ser convertidos em AWS Glue.