Tutorial: Usar o AWS Glue Connector for Elasticsearch

Faça login no console do AWS Secrets Manager.

Na página de introdução do serviço ou na página da lista de Secrets (Segredos), escolha Store a new secret (Armazenar um novo segredo).

Na página Store a new secret (Armazenar um novo segredo), selecione Other type of secret (Outro tipo de segredo). Essa opção significa que você precisa fornecer a estrutura e os detalhes do seu segredo.

Adicione um par de Key (Chave) e Value (Valor) para o nome de usuário do cluster do OpenSearch. Por exemplo:

es.net.http.auth.user: nome de usuário

Escolha + Add row (Adicionar linha) e insira outro par de chave-valor para a senha. Por exemplo:

es.net.http.auth.pass: senha

Escolha Próximo.

Insira um nome para o segredo. Por exemplo: meu-segredo-es. Se preferir, você também pode inserir uma descrição.

Registre o nome secreto, que é usado posteriormente neste tutorial, e escolha Next (Próximo).

Escolha Next (Próximo) novamente e, depois, escolha Store (Armazenar) para criar o segredo.

Se você ainda não configurou a conta da AWS para usar o License Manager, faça o seguinte:

1. Abra o console do AWS License Manager em https://console.aws.amazon.com/license-manager.

2. Escolha Create customer managed license (Criar licença gerenciada pelo cliente).

3. Na janela Permissões do IAM (configuração única), escolha Concedo as permissões necessárias ao AWS License Manager e depois escolha Conceder permissões.

   Se você não vir essa janela, você já configurou as permissões necessárias.

Abra o console do AWS Glue Studio em https://console.aws.amazon.com/gluestudio/.

No console do AWS Glue Studio, expanda o ícone de menu ( ) e escolha Connectors (Conectores) no painel de navegação.

Na página Conectores, escolha Ir para o AWS Marketplace.

No AWS Marketplace, na seção Pesquisar produtos da AWS Glue Studio, insira Conector do AWS Glue para Elasticsearch no campo de pesquisa e pressione Enter.

Escolha o nome do conector, AWS Glue Connector for Elasticsearch.

Na página de produto do conector, use as guias para visualizar informações sobre o conector. Quando estiver tudo pronto para continuar, escolha Continue to Subscribe (Avançar para assinar).

Revise e aceite os termos de uso do software. Clique em Accept Terms (Aceitar os termos).

Quando o processo de assinatura for concluído, você verá uma notificação: "Thank you for subscribing to this product! You can now configure your software" (Obrigado por assinar este produto! Agora você pode configurar o software). Acima do banner, encontra-se o botão Continue to Configuration(Continuar em Configuração). Escolha Continue to Configuration (Continuar para configuração).

Escolha a opção Fulfillment (Atendimento) na página Configure this software (Configurar este software). Você também pode escolher o AWS Glue 1.0/2.0 ou o AWS Glue 3.0. Em seguida, escolha Continue to Launch (Continuar em Iniciar).

Na página Launch this software (Iniciar este software) no console do AWS Marketplace, escolha Usage Instructions (Instruções de uso) e, em seguida, selecione o link na janela exibida.

Seu navegador é redirecionado para a página Create marketplace connection (Criar conexão com o marketplace) do console do AWS Glue Studio.

Insira um nome para a conexão. Por exemplo: minha-conexão-es.

Na seção Connection access (Acesso à conexão), em Connection credential type (Tipo de credencial de conexão), escolha User name and password (Nome de usuário e senha).

Em segredo da AWS, insira o nome do seu segredo. Por exemplo: meu-segredo-es.

Na seção Network options (Opções de rede), insira as informações da VPC para conectar ao cluster do OpenSearch.

Esoclha Create connection and activate connector (Criar conexão e ativar o conector).

Configure as permissões descritas em Revise IAM as permissões necessárias para ETL trabalhos.

Configure as permissões adicionais necessárias ao usar conectores com o AWS Glue Studio, conforme descrito em Permissões necessárias para usar conectores.

Em AWS Glue Studio, escolha Connectors (Conectores).

Na lista Your connections (Suas conexões), selecione a conexão que você acabou de criar e escolha Create job (Criar trabalho).

No editor de trabalhos visual, escolha o nó de origem dos dados. À direita, na guia Data source properties - Connector (Propriedades da origem dos dados: conector), configure informações adicionais para o conector.

1. Escolha Add schema (Adicionar esquema) e insira o esquema do conjunto de dados na origem dos dados. As conexões não usam tabelas armazenadas no Data Catalog, o que significa que AWS Glue Studio não conhece o esquema dos dados. Você deve fornecer manualmente essas informações de esquema. Para obter instruções sobre como usar o editor de esquemas, consulte Editar o esquema de um nó de transformação personalizada.

2. Expanda Connection options (Opções de conexão).

3. Escolha Add new option (Adicionar nova opção) e insira as informações necessárias para o conector que não foram inseridas no segredo da AWS:

   • es.nodes: https://<endpoint do domínio do OpenSearch>

   • es.port: 443

   • path: test

   • es.nodes.wan.only: true

   Para obter uma explicação sobre essas opções de conexão, consulte: https://www.elastic.co/guide/en/elasticsearch/hadoop/current/configuration.html.

Adicione um nó de destino ao gráfico.

Seu destino de dados pode ser o Amazon S3 ou pode usar informações de um AWS Glue Data Catalog ou um conector para gravar dados em um local diferente. Por exemplo, você pode usar uma tabela do Data Catalog para gravar em um banco de dados no Amazon RDS ou pode usar um conector como destino de dados para gravar em armazenamentos de dados que não são suportados nativamente no AWS Glue.

Se você escolher um conector para o destino dos dados, deverá escolher uma conexão criada para esse conector. Além disso, se exigido pelo provedor do conector, você deve adicionar opções para fornecer mais informações ao conector. Se você usar uma conexão que contenha informações para um segredo da AWS, então não será preciso fornecer a autenticação com o nome do usuário e senha nas opções de conexão.

Opcionalmente, adicione mais fontes de dados, e um ou mais nós de transformação, conforme descrito em Transformar dados com transformações gerenciadas do AWS Glue.

Configure as propriedades do trabalho conforme descrito em Modificar as propriedades do trabalho, começando com a etapa 3, e salve o trabalho.

Usando o console do AWS Glue Studio, na página do editor visual, escolha Run (Executar).

No banner de sucesso, escolha Run Details (Detalhes da execução), ou você pode escolher a opção Runs (Execuções) do editor visual para visualizar informações sobre a execução do trabalho.