Tâches ETL en streaming dans AWS Glue

• Notes et restrictions pour les sources en streaming Avro

• Application de modèles Grok à des sources de streaming

Pour définir les propriétés ETL de streaming pour Amazon Kinesis Data Streams (API AWS Glue ou AWS CLI)

• Pour configurer les propriétés ETL de streaming pour une source Kinesis dans le même compte, spécifiez les paramètres streamName et endpointUrl dans la structure StorageDescriptor de l'opération d'API CreateTable ou de la commande create_table de la CLI.

  "StorageDescriptor": {
  	"Parameters": {
  		"typeOfData": "kinesis",
  		"streamName": "sample-stream",
  		"endpointUrl": "https://kinesis.us-east-1.amazonaws.com"
  	}
  	...
  }
  					

  Ou, spécifiez le streamARN.

  "StorageDescriptor": {
  	"Parameters": {
  		"typeOfData": "kinesis",
  		"streamARN": "arn:aws:kinesis:us-east-1:123456789:stream/sample-stream"
  	}
  	...
  }

• Pour configurer les propriétés ETL de streaming pour une source Kinesis dans un autre compte, spécifiez les paramètres streamARN, awsSTSRoleARN et awsSTSSessionName (facultatif) dans la structureStorageDescriptor de l'opération d'API CreateTable ou de la commande create_table de la CLI.

  "StorageDescriptor": {
  	"Parameters": {
  		"typeOfData": "kinesis",
  		"streamARN": "arn:aws:kinesis:us-east-1:123456789:stream/sample-stream",
  		"awsSTSRoleARN": "arn:aws:iam::123456789:role/sample-assume-role-arn",
  		"awsSTSSessionName": "optional-session"
  	}
  	...
  }

• Lorsque la détection du schéma est activée, le schéma Avro doit être inclus dans la charge utile. Lorsqu'elle est désactivée, la charge utile ne doit contenir que des données.

• Certains types de données Avro ne sont pas pris en charge dans les trames dynamiques. Vous ne pouvez pas spécifier ces types de données lors de la définition du schéma avec la page Define a schema (Définir un schéma) de l'assistant création de table dans la console AWS Glue. Lors de la détection de schéma, les types non pris en charge dans le schéma Avro sont convertis en types pris en charge comme suit :

  • EnumType => StringType

  • FixedType => BinaryType

  • UnionType => StructType

• Si vous définissez le schéma de table à l'aide de la page Define a schema (Définir un schéma) dans la console, le type de l'élément racine implicite pour le schéma est record. Si vous voulez un type d'élément racine autre que record, par exemple, array ou map, vous ne pouvez pas spécifier le schéma à l'aide de la page Define a schema (Définir un schéma). Au lieu de cela, vous devez ignorer cette page et spécifier le schéma en tant que propriété de table ou dans le script ETL.

  • Pour spécifier le schéma dans les propriétés de la table, complétez l'assistant de création de table, modifiez les détails de la table et ajoutez une nouvelle paire clé-valeur sous Table properties (Propriétés de la table). Utilisez la clé avroSchema et saisissez un objet de schéma JSON pour la valeur, comme illustré dans la capture d'écran suivante.

    

  • Pour spécifier le schéma dans le script ETL, modifiez l'instruction d'affectation datasource0 et ajoutez la clé avroSchema à l'argument additional_options, comme indiqué dans les exemples Python et Scala suivants.

    Python

    SCHEMA_STRING = ‘{"type":"array","items":"string"}’
    datasource0 = glueContext.create_data_frame.from_catalog(database = "database", table_name = "table_name", transformation_ctx = "datasource0", additional_options = {"startingPosition": "TRIM_HORIZON", "inferSchema": "false", "avroSchema": SCHEMA_STRING})
    

    Scala

    val SCHEMA_STRING = """{"type":"array","items":"string"}"""
    val datasource0 = glueContext.getCatalogSource(database = "database", tableName = "table_name", redshiftTmpDir = "", transformationContext = "datasource0", additionalOptions = JsonOptions(s"""{"startingPosition": "TRIM_HORIZON", "inferSchema": "false", "avroSchema":"$SCHEMA_STRING"}""")).getDataFrame()
    

• La décompression automatique pour les tâches ETL de streaming AWS Glue est uniquement disponible pour les types de compression pris en charge. Veuillez prendre en compte les points suivants :

  • Le format Framed Snappy fait référence au format de trame officiel pour Snappy.

  • L'algorithme Deflate est pris en charge dans la version 3.0 de Glue et non dans la version 2.0.

• Lorsque vous utilisez la détection de schéma, vous ne pouvez pas effectuer de jointures de données en streaming.

• Les tâches ETL AWS Glue en streaming ne prennent pas en charge le type de données Union pour le Registre de schéma AWS Glue avec le format Avro.

• Votre script ETL peut utiliser les transformations intégrées d'AWS Glue et les transformations natives d'Apache Spark Structured Streaming. Pour plus d'informations, voir Opérations sur le DataFrames streaming/Datasets sur le site Web d'Apache Spark ou. AWS Glue PySpark transforme la référence

• Les tâches ETL AWS Glue en streaming utilisent des points de contrôle pour garder la trace des données qui ont été lues. Par conséquent, une tâche arrêtée et redémarrée reprend là où elle s'est arrêtée dans le flux. Si vous souhaitez retraiter les données, vous pouvez supprimer le dossier du point de contrôle référencé dans le script.

• Les signets de tâche ne sont pas pris en charge.

• Pour utiliser la fonctionnalité de diffusion améliorée de Kinesis Data Streams dans tâche, consultez Utilisation de la diffusion améliorée dans les tâches de streaming Kinesis.

• Si vous utilisez une table de catalogue de données créée à partir d'AWS Glue Schema Registry, lorsqu'une nouvelle version de schéma devient disponible, pour refléter le nouveau schéma, vous devez effectuer les opérations suivantes :

  1. Arrêtez les tâches associées à la table.

  2. Mettez à jour le schéma de la table Catalogue de données.

  3. Redémarrez les tâches associées à la table.