Convertendo SSIS para com AWS GlueAWS SCT

Para converter um SSIS pacote em AWS Glue uso AWS SCT

1. Crie um novo projeto AWS SCT ou abra um projeto existente. Para obter mais informações, consulte Iniciando e gerenciando projetos em AWS SCT.

2. Escolha Adicionar fonte no menu para adicionar um novo SSIS pacote de código-fonte ao seu projeto.

3. Escolha Serviços de integração de SQL servidores e conclua o seguinte:

   • Nome da conexão: Insira o nome da conexão. AWS SCT exibe esse nome na árvore de metadados.

   • SSISpasta de pacotes — Escolha o caminho para a pasta SSIS do seu projeto com pacotes.

   AWS SCT lê os arquivos do projeto (arquivos com .dtsx as extensões .conmgr ou.params) da pasta local e os analisa. Em seguida, ele os organiza em uma AWS SCT árvore de categorias.

4. Escolha Adicionar destino no menu para adicionar uma nova plataforma de destino para converter seus SSIS pacotes de origem.

5. Escolha AWS Glue e preencha o seguinte:

   • Nome da conexão: Insira o nome da conexão. AWS SCT exibe esse nome na árvore de metadados.

   • Copiar do AWS perfil — Escolha o perfil a ser usado.

   • AWS chave de acesso — Insira sua chave de AWS acesso.

   • AWS chave secreta — Insira sua chave AWS secreta.

   • Região — Escolha a Região da AWS que você deseja usar na lista.

   • Pasta de bucket do Amazon S3: Insira o caminho da pasta para o bucket do Amazon S3 que você planeja usar.

   Você pode usar um AWS Glue alvo virtual. Nesse caso, você não precisa especificar as credenciais de conexão. Para obter mais informações, consulte Mapeamento para alvos virtuais no AWS Schema Conversion Tool.

6. Crie uma nova regra de mapeamento que inclua seu SSIS pacote de origem e seu AWS Glue destino. Para obter mais informações, consulte Mapeando novos tipos de dados no AWS Schema Conversion Tool.

7. No menu Visualizar, escolha Visualização principal.

8. Na exibição em SSIS árvore, abra o menu de contexto (clique com o botão direito do mouse) dos gerenciadores de conexões e escolha Configurar conexões.

9. Configure o gerenciador de conexões do projeto.

   Para configurar um mapeamento de SSIS conexão para gerenciadores de conexão, especifique a AWS Glue conexão para o gerenciador de SSIS conexões correspondente. Certifique-se de que suas AWS Glue conexões já tenham sido criadas.

   1. Em Conexões, escolha Conexões do projeto.

   2. Para conexão com o catálogo Glue, escolha a AWS Glue conexão apropriada.

10. Configure o gerenciador de conexões de pacotes:

    1. Em Conexões, escolha seu pacote.

    2. Para conexão com o catálogo Glue, escolha a AWS Glue conexão apropriada.

    3. Repita essas ações em todas as conexões disponíveis para seu pacote.

11. Escolha Aplicar.

12. Converta seu pacote. Na visualização da árvore de origem, encontre Pacotes. Abra o menu de contexto (clique com o botão direito do mouse) do pacote e escolha Converter pacote.

13. Salve o script convertido no Amazon S3. Na visualização da árvore de destino, encontre os Scripts de pacote. Abra o menu de contexto (clique com o botão direito do mouse) do script convertido e escolha Salvar no S3.

14. Configure seu AWS Glue trabalho. Na visualização da árvore de destino, encontre os Scripts de pacote. Abra o menu de contexto (clique com o botão direito do mouse) do script convertido e escolha Configurar AWS Glue tarefa.

15. Preencha as três seções de configuração a seguir.

    1. Seção Fluxo de dados do projeto:

       • Estratégia de execução — Escolha como seu trabalho executará ETL os scripts. Escolha SEQUENTIALexecutar os scripts na ordem especificada no assistente. Escolha PARALLELexecutar os scripts em paralelo, desconsiderando a ordem especificada no assistente.

       • Scripts: Escolha o nome do script convertido.

       • Selecione Próximo.

    2. Seção Propriedades da tarefa:

       • Nome — Insira o nome do seu AWS Glue trabalho.

       • IAMFunção — Escolha a IAM função usada para autorização dos recursos usados para executar o trabalho e acessar os armazenamentos de dados.

       • Nome do arquivo de script: Insira o nome do script convertido.

       • Caminho do arquivo de script do S3: Insira o caminho do Amazon S3 para seu script convertido.

       • Criptografar script usando SSE -S3 — Escolha essa opção para proteger os dados usando criptografia do lado do servidor com chaves de criptografia gerenciadas pelo Amazon S3 (-S3). SSE

       • Diretório temporário — Insira o caminho do Amazon S3 para um diretório temporário para obter resultados intermediários. AWS Glue e as transformações AWS Glue integradas usam esse diretório para ler ou gravar no Amazon Redshift.

       • AWS SCT gera automaticamente o caminho para as bibliotecas Python. Você pode revisar esse caminho em Caminho gerado da biblioteca Python. Não é possível editar esse caminho gerado automaticamente. Para usar bibliotecas Python adicionais, insira o caminho em Caminho da biblioteca Python do usuário.

       • Caminho da biblioteca Python: Insira os caminho de outras bibliotecas Python do usuário. Separe os caminhos do Amazon S3 com vírgulas.

       • Caminho de .jars dependentes: Insira os caminhos dos arquivos. jar dependentes. Separe os caminhos do Amazon S3 com vírgulas.

       • Caminho dos arquivos referenciados: Insira os caminhos para arquivos adicionais que são exigidos pelo seu script (por exemplo, arquivos de configuração). Separe os caminhos do Amazon S3 com vírgulas.

       • Capacidade máxima — insira o número máximo de unidades de processamento de AWS Glue dados (DPUs) que podem ser alocadas quando esse trabalho é executado. Você pode inserir qualquer número inteiro de 2 a 100. O padrão é 2.

       • Simultaneidade máxima: Insira o número máximo de execuções simultâneas permitidas para a tarefa. O padrão é 1. AWS Glue retorna um erro quando esse limite é atingido.

       • Tempo limite do trabalho (minutos) — Insira o valor do tempo limite do seu ETL trabalho como uma proteção contra trabalhos descontrolados. O padrão é 2.880 minutos (48 horas) para tarefas em lotes. Se a tarefa exceder esse limite, seu estado da execução é alterado para TIMEOUT.

       • Limite de notificação de atraso (minutos) — Insira o limite em minutos antes de AWS SCT enviar uma notificação de atraso.

       • Número de novas tentativas — insira o número de vezes (0 a 10) que AWS Glue devem reiniciar automaticamente a tarefa se ela falhar. As tarefas que atingem o limite de tempo não são reiniciadas. O padrão é 0.

       • Escolha Próximo.

    3. Configure as conexões necessárias:

       1. Em Todas as conexões, escolha as AWS Glue conexões necessárias e adicione-as à lista de conexões selecionadas.

       2. Escolha Terminar.

16. Crie um AWS Glue trabalho configurado. Na visualização da árvore de destino, encontre e expanda ETLTrabalhos. Abra o menu de contexto (clique com o botão direito do mouse) do ETL trabalho que você configurou e escolha Create AWS Glue Job.

17. Execute o AWS Glue trabalho:

    1. Abra o AWS Glue console em https://console.aws.amazon.com/glue/.

    2. No painel de navegação, escolha Tarefas.

    3. Escolha Adicionar tarefa e, em seguida, escolha a tarefa que você deseja executar.

    4. Na guia Ações, selecione Executar.