Trabajos ETL de streaming en AWS Glue

• Notas y restricciones para orígenes de streaming de Avro

• Aplicación de patrones Grok a orígenes de streaming

Para configurar las propiedades de ETL de streaming para Amazon Kinesis Data Streams (API de AWS Glue o AWS CLI)

• Para configurar las propiedades de ETL de streaming para un origen de Kinesis en la misma cuenta, especifique los parámetros streamName y endpointUrl en la estructura StorageDescriptor de la operación de la API CreateTable o el comando de la CLI create_table.

  "StorageDescriptor": {
  	"Parameters": {
  		"typeOfData": "kinesis",
  		"streamName": "sample-stream",
  		"endpointUrl": "https://kinesis.us-east-1.amazonaws.com"
  	}
  	...
  }
  					

  O bien, especifique streamARN.

  "StorageDescriptor": {
  	"Parameters": {
  		"typeOfData": "kinesis",
  		"streamARN": "arn:aws:kinesis:us-east-1:123456789:stream/sample-stream"
  	}
  	...
  }

• Para configurar las propiedades de ETL de streaming para un origen de Kinesis en otra cuenta, especifique los parámetros streamARN, awsSTSRoleARN y awsSTSSessionName (opcional) en la estructura StorageDescriptor en la operación de la  API CreateTable o el comando de la CLI create_table.

  "StorageDescriptor": {
  	"Parameters": {
  		"typeOfData": "kinesis",
  		"streamARN": "arn:aws:kinesis:us-east-1:123456789:stream/sample-stream",
  		"awsSTSRoleARN": "arn:aws:iam::123456789:role/sample-assume-role-arn",
  		"awsSTSSessionName": "optional-session"
  	}
  	...
  }

• Cuando se activa la detección de esquemas, el esquema de Avro debe incluirse en la carga. Cuando se desactiva, la carga debe contener solo datos.

• Algunos tipos de datos de Avro no se admiten en marcos dinámicos. No se pueden especificar estos tipos de datos al definir el esquema con la página Define a schema (Definir un esquema) en el asistente de creación de tabla en la consola de AWS Glue. Durante la detección de esquemas, los tipos no soportados en el esquema Avro se convierten en tipos soportados de la siguiente manera:

  • EnumType => StringType

  • FixedType => BinaryType

  • UnionType => StructType

• Si define el esquema de tabla mediante la página Define a schema (Definir un esquema) en la consola, el tipo de elemento raíz implícito para el esquema es record. Si desea un tipo de elemento raíz distinto de record, por ejemplo, array or map, no puede especificar el esquema mediante la página Define a schema (Definir un esquema). En su lugar, debe omitir esa página y especificar el esquema como propiedad de tabla o dentro del script de ETL.

  • Para especificar el esquema en las propiedades de la tabla, complete el asistente de creación de tabla, edite los detalles de la tabla y agregue un nuevo par clave-valor en Table properties (Propiedades de la tabla). Utilice la clave avroSchema, e ingrese un objeto JSON de esquema para el valor, tal y como se muestra en la siguiente captura de pantalla.

    

  • Para especificar el esquema en el script de ETL, modifique la instrucción de asignación datasource0 y agregue la clave avroSchema a la instrucción additional_options, tal y como se muestra en los siguientes ejemplos de Python y Scala.

    Python

    SCHEMA_STRING = ‘{"type":"array","items":"string"}’
    datasource0 = glueContext.create_data_frame.from_catalog(database = "database", table_name = "table_name", transformation_ctx = "datasource0", additional_options = {"startingPosition": "TRIM_HORIZON", "inferSchema": "false", "avroSchema": SCHEMA_STRING})
    

    Scala

    val SCHEMA_STRING = """{"type":"array","items":"string"}"""
    val datasource0 = glueContext.getCatalogSource(database = "database", tableName = "table_name", redshiftTmpDir = "", transformationContext = "datasource0", additionalOptions = JsonOptions(s"""{"startingPosition": "TRIM_HORIZON", "inferSchema": "false", "avroSchema":"$SCHEMA_STRING"}""")).getDataFrame()
    

• La descompresión automática para los trabajos de ETL de streaming en AWS Glue solo está disponible para los tipos de compresión admitidos. Tenga también en cuenta lo siguiente:

  • Con encuadre de Snappy se refiere al formato de encuadre oficial para Snappy.

  • Deflate es compatible con la versión 3.0 de Glue, no con la versión 2.0.

• Cuando se utiliza la detección de esquemas, no se pueden realizar combinaciones de datos de streaming.

• Los trabajos ETL de streaming de AWS Glue no admiten el tipo de datos de la Unión para el Registro de esquemas de AWS Glue con formato Avro.

• Su script de ETL puede usar las transformaciones incorporadas de AWS Glue y las transformaciones nativas de Apache Spark Structured Streaming. Para obtener más información, consulte Operaciones de transmisión de DataFrames /Datasets en el sitio web de Apache Spark o. AWS Glue PySpark transforma la referencia

• Los trabajos de ETL de streaming de AWS Glue utilizan puntos de comprobación para realizar un seguimiento de los datos que se han leído. Por lo tanto, un trabajo detenido y reiniciado comienza donde lo dejó en la transmisión. Si desea volver a procesar los datos, puede eliminar la carpeta de puntos de control a la que se hace referencia en el script.

• No se admiten los marcadores de trabajo.

• Para la función de distribución mejorada de Kinesis Data Streams en un trabajo, consulte Uso de una distribución mejorada en los trabajos de streaming de Kinesis.

• Si utiliza una tabla del Catálogo de datos creada a partir de AWS Glue Schema Registry, cuando se encuentre disponible una versión de esquema nueva, para reflejar el esquema nuevo, debe realizar lo siguiente:

  1. Detenga los trabajos asociados a la tabla.

  2. Actualice el esquema de la tabla del Catálogo de datos.

  3. Reinicie los trabajos asociados a la tabla.