Paso 2: elegir orígenes de datos y clasificadores

Seleccione la opción adecuada para ¿Sus datos ya están mapeados a AWS Glue tablas? elija «Aún no» o «Sí». De manera predeterminada, está seleccionado 'Aún no'.

El rastreador puede acceder a los almacenes de datos directamente como origen de rastreo o puede utilizar tablas existentes del Catálogo de datos como origen. Si el rastreador utiliza tablas de catálogos existentes, este rastrea los almacenes de datos especificados por dichas tablas de catálogos.

Para usar tablas Delta, primero cree una tabla Delta con Athena DDL o el. AWS Glue API

Con Athena, establezca la ubicación en su carpeta Amazon S3 y el tipo de tabla en ''. DELTA

CREATE EXTERNAL TABLE database_name.table_name
LOCATION 's3://bucket/folder/'
TBLPROPERTIES ('table_type' = 'DELTA')

Con el AWS Glue API, especifique el tipo de tabla en el mapa de parámetros de la tabla. Los parámetros de la tabla deben incluir el siguiente par clave/valor. Para obtener más información sobre cómo crear una tabla, consulte la documentación de Boto3 sobre create_table.

{
    "table_type":"delta"
}

Seleccione o agregue la lista de orígenes de datos que el rastreador va a analizar.

(Opcional) Si elige JDBC como fuente de datos, puede usar sus propios JDBC controladores al especificar el acceso a la conexión en el que se almacena la información del conductor.

Al evaluar lo que se va a incluir o excluir en un rastreo, un rastreador comienza por evaluar la ruta de inclusión necesaria. Para almacenes de datos relacionales, Amazon S3, MongoDB, MongoDB Atlas y Amazon DocumentDB (con compatibilidad con MongoDB), debe especificar una ruta de inclusión.

En el caso de JDBC los almacenes de datos, la sintaxis es database-name/schema-name/table-name odatabase-name/table-name. La sintaxis depende de si el motor de base de datos admite esquemas en una base de datos. Por ejemplo, para motores de bases de datos como My SQL u Oracle, no especifique una schema-name en la ruta de inclusión. Puede sustituir el signo de porcentaje (%) de un esquema o una tabla en la ruta de inclusión para representar todos los esquemas o todas las tablas de una base de datos. No se puede sustituir el signo de porcentaje (%) de base de datos en la ruta de inclusión.

Define la profundidad máxima de la ruta de Amazon S3 que el rastreador puede recorrer para descubrir la carpeta de metadatos de Iceberg o Hudi en la ruta de Amazon S3. El objetivo de este parámetro es limitar el tiempo de ejecución del rastreador. El valor predeterminado es 10 y el valor máximo es 20.

Estos le permiten excluir determinados archivos o tablas desde del rastreo. Una ruta de exclusión es relativa a la ruta de inclusión. Por ejemplo, para excluir una tabla del banco de JDBC datos, escriba el nombre de la tabla en la ruta de exclusión.

Un rastreador se conecta a un banco JDBC de datos mediante un AWS Glue conexión que contiene una cadena de JDBC URI conexión. El rastreador solo tiene acceso a los objetos del motor de base de datos mediante el nombre JDBC de usuario y la contraseña del AWS Glue conexión. El rastreador solo puede crear tablas a las que pueda acceder a través de la JDBC conexión. Una vez que el rastreador accede al motor de base de datos con el JDBCURI, la ruta de inclusión se utiliza para determinar qué tablas del motor de base de datos se crean en el catálogo de datos. Por ejemplo, con MySQL, si especifica una ruta de inclusión deMyDatabase/%, todas las tablas que contiene MyDatabase se crean en el catálogo de datos. Al obtener acceso a Amazon Redshift, si especifica una ruta de inclusión de MyDatabase/%, todas las tablas en todos los esquemas de la base de datos MyDatabase se crean en el Catálogo de datos. Si especifica una ruta de inclusión de todas MyDatabase/MySchema/%, se crean todas las tablas de la base de datos MyDatabase y el esquema MySchema.

Después de especificar una ruta de inclusión, puede excluir objetos del rastreo que, de otro modo, su ruta de inclusión incluiría especificando uno o varios patrones de exclusión glob tipo Unix. Estos patrones se aplican a la ruta de inclusión para determinar qué objetos están excluidos. Estos patrones también se almacenan como una propiedad de las tablas creadas por el rastreador. AWS Glue PySpark extensionescreate_dynamic_frame.from_catalog, como leer las propiedades de la tabla y excluir los objetos definidos por el patrón de exclusión.

AWS Glue admite los siguientes glob patrones en el patrón de exclusión.

AWS Glue interpreta los patrones de glob exclusión de la siguiente manera:

/mybucket/myfolder/
   departments/
      finance.json
      market-us.json
      market-emea.json
      market-ap.json
   employees/
      hr.json
      john.csv
      jane.csv
      juan.txt

 2015/01/{[!0],0[8-9]}**, 2015/0[2-9]/**, 2015/1[0-2]/**    
 

MyDatabase/MySchema/
   HR_us
   HR_fr
   Employees_Table
   Finance
   Market_US_Table
   Market_EMEA_Table
   Market_AP_Table

Cada tipo de origen requiere un conjunto diferente de parámetros adicionales.

Seleccione o añada un AWS Glue conexión. Para obtener más información acerca de las conexiones, consulte Conexión a datos.

Seleccione propiedades de metadatos adicionales para que el rastreador las rastree.

Escriba un nombre de clase de JDBC controlador personalizado para que el rastreador se conecte a la fuente de datos:

Elija una ruta de Amazon S3 existente para un archivo .jar. Aquí es donde se almacenará el .jar archivo cuando se utilice un JDBC controlador personalizado para que el rastreador se conecte a la fuente de datos.

Seleccione si desea rastrear solo una muestra de datos. Si no lo selecciona, se rastreará toda la tabla. Escanear todos los registros puede tardar mucho tiempo cuando la tabla no es una tabla de alto rendimiento.

Seleccione cómo desea crear las tablas de Delta Lake:

Especifique el porcentaje de las unidades de capacidad de lectura de tablas de DynamoDB que utilizará el rastreador. Unidades de capacidad de lectura es un término definido por DynamoDB y es un valor numérico que actúa como limitador de velocidad del número de lecturas que se pueden realizar en esa tabla por segundo. Introduzca un valor comprendido entre 0,1 y 1,5. Si no se especifica, el valor predeterminado es de 0,5 para las tablas aprovisionadas y 1/4 de la capacidad máxima configurada para las tablas bajo demanda. Tenga en cuenta que solo se debe usar el modo de capacidad aprovisionada con AWS Glue los rastreadores.

Si lo desea, incluya una conexión de red para utilizarla con este destino de Amazon S3. Tenga en cuenta que cada rastreador se limita a una conexión de red, por lo que cualquier otro destino de Amazon S3 también utilizará la misma conexión (o ninguna, si se deja en blanco).

Para obtener más información acerca de las conexiones, consulte Conexión a datos.

Establece el número de archivos de cada carpeta que se van a rastrear al rastrear archivos de ejemplo en un conjunto de datos. Cuando esta característica está activada, en lugar de rastrear todos los archivos de este conjunto de datos, el rastreador selecciona aleatoriamente algunos archivos en cada carpeta para rastrear.

El rastreador de muestreo es el más adecuado para clientes que tienen conocimientos previos sobre sus formatos de datos y saben que los esquemas de sus carpetas no cambian. Activar esta característica reducirá significativamente el tiempo de ejecución del rastreador.

Un valor válido es un entero entre 1 y 249. Si no se especifica, se rastrean todos los archivos.

Este campo es un campo global que afecta a todos los orígenes de datos de Amazon S3.

Defina los clasificadores personalizados antes de definir los rastreadores. Un clasificador comprueba si un determinado archivo está en un formato que puede el rastreador administrar. En caso afirmativo, el clasificador crea un esquema en forma de un objeto StructType que coincida con formato de datos.

Para obtener más información, consulte Definición y administración de clasificadores.