Tutorial: uso de AWS Glue Connector for Elasticsearch

Inicie sesión en la consola de AWS Secrets Manager.

En la página de introducción del servicio o en la página con la lista Secretos, elija Store a new secret (Almacenar un nuevo secreto).

En la página Store a new secret (Almacenar un nuevo secreto), elija Other type of secret (Otro tipo de secreto). Esta opción indica que debe proporcionar la estructura y los detalles de su secreto.

Agregue una Clave y un Valor para el nombre de usuario del clúster de OpenSearch. Por ejemplo:

es.net.http.auth.user: usuario

Seleccione + Add row (+ Agregar fila) e ingrese otro par clave-valor para la contraseña. Por ejemplo:

es.net.http.auth.pass: contraseña

Elija Siguiente.

Escriba un nombre secreto. Por ejemplo: my-es-secret. Si lo desea, también puede escribir una descripción.

Registre el nombre secreto, que se utilizará más adelante en este tutorial y, a continuación, elija Next (Siguiente).

Elija Next (Siguiente) una vez más, y luego elija Store (Almacenar) para crear el secreto.

Si aún no ha configurado su cuenta de AWS para utilizar License Manager, realice lo siguiente:

1. Abra la consola de AWS License Manager en https://console.aws.amazon.com/license-manager.

2. Elija Create customer managed license (Crear licencia administrada por el cliente).

3. En la ventana IAM permissions (one-time setup) [Permisos de IAM (configuración única)], elija I grant AWS License Manager the required permissions (Concedo a Amazon License Manager los permisos necesarios), y, a continuación, elija Grant premissions (Conceder permisos).

   Si no ve esta ventana, ya ha configurado los permisos necesarios.

Abra la consola de AWS Glue Studio en https://console.aws.amazon.com/gluestudio/.

En la consola de AWS Glue Studio, expanda el ícono del menú ( ) y luego elija Connectors (Conectores) en el panel de navegación.

En la página Connectors (Conectores), elija Go to AWS Marketplace (Ir a MKT).

En AWS Marketplace, en la sección Buscar productos de AWS Glue Studio, ingrese AWS Glue Connector for Elasticsearch en el campo de búsqueda y, luego, presione Intro.

Elija el nombre del conector, AWS Glue Connector for Elasticsearch.

En la página de producto del conector, utilice las pestañas para ver información sobre el conector. Cuando esté listo para continuar, elija Continue to Subscribe (Continuar con la suscripción).

Revise los términos de uso del software. Haga clic en Accept Terms (Aceptar términos).

Cuando finalice el proceso de suscripción, verá una notificación: “Thank you for subscribing to this product! You can now configure your software.” (Gracias por suscribirse a este producto. Ahora puede configurar su software). Arriba del banner encontrará el botón Continue to Configuration (Continuar con la configuración). Elija Continuar con la configuración.

Elija la opción Fulfillment (Ejecución) en la página Configure this software (Configurar este software). Puede elegir entre AWS Glue 1.0/2.0 o AWS Glue 3.0. A continuación, elija Continue to Launch (Continuar con el lanzamiento).

En la página Launch this software (Lanzar este software) en la consola de AWS Marketplace, elija Usage Instructions (Instrucciones de uso), y luego elija el enlace en la ventana que aparece.

Su navegador se redirige a la página Create marketplace connection (Crear conexión de marketplace) en la consola de AWS Glue Studio.

Escriba un nombre para la conexión. Por ejemplo: my-es-connection.

En la sección Connection access (Acceso a la conexión), para Connection credential type (Tipo de credenciales de conexión), elija User name and password (Nombre de usuario y contraseña).

En AWS secret (Secreto de AWS), especifique el nombre de su secreto. Por ejemplo: my-es-secret.

En la sección Network options (Opciones de red), ingrese la información de VPC para conectarse al clúster de OpenSearch.

Seleccione Create connection and activate connector (Crear conexión y habilitar conector).

Configure los permisos descritos en Revise IAM los permisos necesarios para los ETL trabajos.

Configure los permisos adicionales necesarios al utilizar conectores con AWS Glue Studio, como se describe en Permisos necesarios para utilizar conectores.

En AWS Glue Studio, elija Connectors (Conectores).

En la lista Your connections (Sus conexiones) seleccione la conexión que acaba de crear y elija Create job (Crear el trabajo).

En el editor visual de trabajos, elija el nodo Data source (Origen de datos). A la derecha, en la pestaña Data source properties - Connector (Propiedades del origen de datos: conector), configure información adicional para el conector.

1. Seleccione Add schema (Agregar esquema) e ingrese el esquema del conjunto de datos en el origen de datos. Las conexiones no utilizan tablas almacenadas en Data Catalog, lo que significa que AWS Glue Studio no conoce el esquema de los datos. Debe proporcionar esta información del esquema en forma manual. Para obtener instrucciones sobre cómo utilizar el editor de esquemas, consulte Edición de esquema para un nodo de transformación personalizado.

2. Expanda Connection options (Opciones de conexión).

3. Seleccione Add new option (Agregar nueva opción) e ingrese la información necesaria para el conector que no se ingresó en el secreto de AWS:

   • es.nodes: https://<OpenSearch domain endpoint>

   • es.port: 443

   • path: test

   • es.nodes.wan.only: true

   Para obtener una explicación de estas opciones de conexión, consulte: https://www.elastic.co/guide/en/elasticsearch/hadoop/current/configuration.html.

Agregue un nodo de destino al gráfico.

Su destino de datos puede ser Amazon S3 o puede usar información de AWS Glue Data Catalog o un conector para escribir datos en una ubicación diferente. Por ejemplo, puede utilizar una tabla del Data Catalog para escribir en una base de datos en Amazon RDS, o puede utilizar un conector como destino de datos para escribir en almacenes de datos que no son soportados de forma nativa en AWS Glue.

Si elige un conector para el destino de datos, debe elegir una conexión creada para ese conector. Además, si el proveedor del conector lo requiere, debe agregar opciones para proporcionar información adicional al conector. Si utiliza una conexión que contiene información para un secreto de AWS, entonces no necesita proporcionar el nombre de usuario y la autenticación de contraseña en las opciones de conexión.

Si lo desea, agregue orígenes de datos adicionales y uno o más nodos de transformación como se describe en Transformación de datos con transformaciones administradas de AWS Glue.

Configure las propiedades del trabajo como se describe en Modificar las propiedades del trabajo, comenzando con el paso 3, y guarde el trabajo.

Con la consola de AWS Glue Studio, en la página del editor visual, elija Run (Ejecutar).

En el banner de éxito, elija Run details (Detalles de la ejecución), o puede elegir la pestaña Runs (Ejecuciones) del editor visual para ver información sobre la ejecución del trabajo.