Una conexión de AWS Glue es un objeto del Catálogo de datos que almacena credenciales de inicio de sesión, cadenas de URI, información de nube privada virtual (VPC) y otros datos de un determinado almacén de datos. Los rastreadores, trabajos y puntos de conexión de desarrollo de AWS Glue utilizan conexiones para acceder a ciertos tipos de almacenes de datos. Puede utilizar conexiones para orígenes y destinos, así como reutilizar la misma conexión en varios trabajos de rastreador o de extracción, transformación y carga (ETL).
La última versión del esquema de conexiones de AWS Glue proporciona una forma unificada de administrar las conexiones de datos entre servicios y aplicaciones de AWS, como AWS Glue, Amazon Athena y Amazon SageMaker AI Unified Studio.
Información general del uso de conectores y conexiones
Una conexión contiene las propiedades necesarias para conectarse a un almacén de datos determinado. Cuando se crea una conexión, se almacena en el AWS Glue Data Catalog. Elija un conector y, a continuación, cree una conexión basada en ese conector.
Puede suscribirse a conectores para almacenes de datos soportados de forma no nativa en AWS Marketplace y luego utilizar esos conectores para crear conexiones. Los desarrolladores también pueden crear sus propios conectores, que el usuario puede utilizar para crear conexiones.
nota
Las conexiones creadas con conectores personalizados o de AWS Marketplace en AWS Glue Studio aparecen en la consola de AWS Glue con el tipo configurado en UNKNOWN (Desconocido).
Los siguientes pasos describen el proceso general para utilizar conectores en AWS Glue Studio:
-
Suscríbase a un conector en AWS Marketplace o desarrolle su propio conector y cárguelo a AWS Glue Studio. Para obtener más información, consulte Agregar conectores a AWS Glue Studio.
-
Revise la información de uso del conector. Puede encontrar esta información en la pestaña Usage (Uso) en la página de producto del conector. Por ejemplo, si hace clic en la pestaña Usage (Uso) en esta página de producto, Conector para Google BigQuery de AWS Glue
, puede ver en la sección Additional Resources (Recursos adicionales) un enlace a un blog sobre el uso de este conector. -
Cree una conexión. Puede elegir qué conector usar y proporcionar información adicional para la conexión, como credenciales de inicio de sesión, cadenas de URI e información de nube privada virtual (VPC). Para obtener más información, consulte Creación de conexiones para conectores.
-
Crear un rol de IAM para su trabajo. El flujo de trabajo asume los permisos de la IAM role (función de IAM) que especifica al crearla. Este rol de IAM debe tener permisos para autenticarse con sus almacenes de datos, extraer datos de sus almacén de datos y escribir datos a los mismos.
-
Cree un trabajo de ETL y configure las propiedades de origen de datos para su trabajo de ETL. Proporcione las opciones de conexión y la información de autenticación según las instrucciones del proveedor del conector personalizado. Para obtener más información, consulte Creación de trabajos con conectores personalizados.
-
Personalice su trabajo de ETL mediante al agregado de transformaciones o almacenes de datos adicionales, como se describe en Inicio de trabajos de ETL visuales en AWS Glue Studio.
-
Si utiliza un conector para el destino de datos, configure las propiedades de destino de datos para su trabajo de ETL. Proporcione las opciones de conexión y la información de autenticación según las instrucciones del proveedor del conector personalizado. Para obtener más información, consulte Creación de trabajos con conectores personalizados.
-
Personalice el entorno de ejecución de trabajos mediante la configuración de las propiedades del trabajo, como se describe en Modificar las propiedades del trabajo.
-
Ejecute el trabajo.
Conexiones unificadas
Con las conexiones unificadas, puede configurar una conexión de datos una vez y varios servicios podrán reutilizarla en los casos de uso de la integración de datos, análisis de datos y ciencia de datos. Puede crear conexiones de datos a través de la consola de AWS Glue o crear aplicaciones personalizadas mediante API de conectividad de datos unificada. Puede utilizar las conexiones unificadas para configurar una conexión a un origen de datos mediante una plantilla de configuración de conexiones estandarizada para varios servicios. Estos servicios (AWS Glue, Amazon SageMaker AI Unified Studio y Amazon Athena) pueden compartir y reutilizar la misma conexión con la configuración de permisos adecuada.
AWS Glue Studio ahora crea conexiones unificadas de forma predeterminada. En la consola de AWS Glue, puede ver la versión de la conexión en la tabla de conexiones de la página de conexiones, en la página de detalles de las conexiones y en la tabla de conexiones de la página de detalles del trabajo.
Puede ver la versión de la conexión en Detalles de la conexión:
También puede ver la versión de la conexión cuando consulte todas sus conexiones.
Por último, la versión de conexión está visible en la pestaña Detalles del trabajo de un trabajo.
Con las conexiones de la versión 2, dispone de las siguientes capacidades ampliadas de conectividad de datos:
-
Detección del tipo de conexión: compatibilidad para crear conexiones mediante plantillas estándar. AWS Glue detecta automáticamente los tipos de conexión a los que puede acceder y las entradas necesarias y opcionales de un tipo de conexión determinado.
-
Reusabilidad: son definiciones de conexión que se pueden reutilizar en motores y herramientas de procesamiento de datos de AWS, como AWS Glue, Amazon Athena, y Amazon SageMaker AI. Las conexiones ahora contienen AthenaProperties, SparkProperties y PythonProperties, que permiten indicar propiedades de conexión específicas del entorno o servicio de computación, además de las propiedades comunes almacenadas en ConnectionProperties. Athena ahora crea conexiones en AWS Glue; para ello, debe indicar propiedades específicas de Athena en el mapa de propiedades AthenaProperties.
-
Vista previa de datos: tiene la posibilidad de navegar por los metadatos y obtener una vista previa de los datos de los orígenes conectados.
-
Metadatos del conector: se pueden utilizar conexiones reutilizables para descubrir los metadatos de las tablas.
-
Secretos vinculados al servicio: los usuarios pueden proporcionar las credenciales de autenticación OAuth (básicas o personalizadas) necesarias en la solicitud
CreateConnection. La API CreateConnection crea un secreto vinculado al servicio en su cuenta y almacena las credenciales en su nombre.
Tipos de autenticación compatibles
Las conexiones unificadas admiten los siguientes tipos de autenticación:
-
BÁSICA: la mayoría de los tipos de conexión a bases de datos y los tipos de conexión a AWS Glue existentes admiten la autenticación básica, que consiste en un nombre de usuario y una contraseña. Anteriormente, la asignación de nombres a las claves en SecretsManager era específica del conector y, por ejemplo, podía ser user, username, userName, opensearch.net.http.auth.user, etc. Aquí es donde las conexiones unificadas estandarizan los tipos de conexión de autenticación básica en claves USERNAME y PASSWORD.
-
OAUTH2: la mayoría de los tipos de conexión SaaS lanzados recientemente admiten el protocolo OAuth2.
-
PERSONALIZADA: algunos tipos de conexión cuentan con algún otro mecanismo de autenticación, como Google BigQuery, en el que se espera que los usuarios proporcionen el JSON que obtienen de Google BigQuery.
Consideraciones
Al crear una conexión unificada para orígenes de datos, tenga en cuenta las siguientes diferencias:
-
Al crear una conexión unificada a través de AWS Glue Studio, en lugar de la propia conexión, las credenciales de usuario se almacenan en AWS Secrets Manager. Esto significa que ahora los trabajos necesitan acceso a Secrets Manager.
-
Si los trabajos se ejecutan en una VPC, necesitan un punto de conexión de VPC o una puerta de enlace NAT para acceder a AWS Secrets Manager y Secure Token Service (STS), lo que conlleva costos adicionales.
-
Para determinados orígenes de datos (Redshift, SQL Server, MySQL, Oracle, PostgreSQL), la creación de una conexión unificada a través de AWS Glue Studio requiere acceso a AWS STS y AWS Secrets Manager. Esto es necesario para establecer una conexión segura y recuperar las credenciales requeridas para acceder a estos orígenes de datos dentro de la nube privada virtual (VPC).
-
La creación de una conexión unificada a través de AWS Glue Studio requiere un rol de IAM con permisos para acceder a AWS Secrets Manager y administrar recursos de la VPC (si se utiliza una):
secretsmanager:GetSecretValue
secretsmanager:PutSecretValue
secretsmanager:DescribeSecret
ec2:CreateNetworkInterface
ec2:DeleteNetworkInterface
ec2:DescribeNetworkInterfaces
