Diffusion de jobs ETL dans AWS Glue

• Notes et restrictions pour les sources en streaming Avro

• Application de modèles Grok à des sources de streaming

Pour définir les propriétés ETL de streaming pour Amazon Kinesis Data Streams (AWS Glue API AWS CLI(ou)

• Pour configurer les propriétés ETL de streaming pour une source Kinesis dans le même compte, spécifiez les paramètres streamName et endpointUrl dans la structure StorageDescriptor de l'opération d'API CreateTable ou de la commande create_table de la CLI.

  "StorageDescriptor": {
  	"Parameters": {
  		"typeOfData": "kinesis",
  		"streamName": "sample-stream",
  		"endpointUrl": "https://kinesis.us-east-1.amazonaws.com"
  	}
  	...
  }
  					

  Ou, spécifiez le streamARN.

  "StorageDescriptor": {
  	"Parameters": {
  		"typeOfData": "kinesis",
  		"streamARN": "arn:aws:kinesis:us-east-1:123456789:stream/sample-stream"
  	}
  	...
  }

• Pour configurer les propriétés ETL de streaming pour une source Kinesis dans un autre compte, spécifiez les paramètres streamARN, awsSTSRoleARN et awsSTSSessionName (facultatif) dans la structureStorageDescriptor de l'opération d'API CreateTable ou de la commande create_table de la CLI.

  "StorageDescriptor": {
  	"Parameters": {
  		"typeOfData": "kinesis",
  		"streamARN": "arn:aws:kinesis:us-east-1:123456789:stream/sample-stream",
  		"awsSTSRoleARN": "arn:aws:iam::123456789:role/sample-assume-role-arn",
  		"awsSTSSessionName": "optional-session"
  	}
  	...
  }

• Lorsque la détection du schéma est activée, le schéma Avro doit être inclus dans la charge utile. Lorsqu'elle est désactivée, la charge utile ne doit contenir que des données.

• Certains types de données Avro ne sont pas pris en charge dans les trames dynamiques. Vous ne pouvez pas spécifier ces types de données lorsque vous définissez le schéma à l'aide de la page Définir un schéma de l'assistant de création de table du AWS Glue console. Lors de la détection de schéma, les types non pris en charge dans le schéma Avro sont convertis en types pris en charge comme suit :

  • EnumType => StringType

  • FixedType => BinaryType

  • UnionType => StructType

• Si vous définissez le schéma de table à l'aide de la page Define a schema (Définir un schéma) dans la console, le type de l'élément racine implicite pour le schéma est record. Si vous voulez un type d'élément racine autre que record, par exemple, array ou map, vous ne pouvez pas spécifier le schéma à l'aide de la page Define a schema (Définir un schéma). Au lieu de cela, vous devez ignorer cette page et spécifier le schéma en tant que propriété de table ou dans le script ETL.

  • Pour spécifier le schéma dans les propriétés de la table, complétez l'assistant de création de table, modifiez les détails de la table et ajoutez une nouvelle paire clé-valeur sous Table properties (Propriétés de la table). Utilisez la clé avroSchema et saisissez un objet de schéma JSON pour la valeur, comme illustré dans la capture d'écran suivante.

    

  • Pour spécifier le schéma dans le script ETL, modifiez l'instruction d'affectation datasource0 et ajoutez la clé avroSchema à l'argument additional_options, comme indiqué dans les exemples Python et Scala suivants.

    Python

    SCHEMA_STRING = ‘{"type":"array","items":"string"}’
    datasource0 = glueContext.create_data_frame.from_catalog(database = "database", table_name = "table_name", transformation_ctx = "datasource0", additional_options = {"startingPosition": "TRIM_HORIZON", "inferSchema": "false", "avroSchema": SCHEMA_STRING})
    

    Scala

    val SCHEMA_STRING = """{"type":"array","items":"string"}"""
    val datasource0 = glueContext.getCatalogSource(database = "database", tableName = "table_name", redshiftTmpDir = "", transformationContext = "datasource0", additionalOptions = JsonOptions(s"""{"startingPosition": "TRIM_HORIZON", "inferSchema": "false", "avroSchema":"$SCHEMA_STRING"}""")).getDataFrame()
    

    anchoranchor
    • Python
    • Scala

    SCHEMA_STRING = ‘{"type":"array","items":"string"}’
    datasource0 = glueContext.create_data_frame.from_catalog(database = "database", table_name = "table_name", transformation_ctx = "datasource0", additional_options = {"startingPosition": "TRIM_HORIZON", "inferSchema": "false", "avroSchema": SCHEMA_STRING})
    

• Décompression automatique pour AWS Glue les tâches ETL en streaming ne sont disponibles que pour les types de compression pris en charge. Veuillez prendre en compte les points suivants :

  • Le format Framed Snappy fait référence au format de trame officiel pour Snappy.

  • L'algorithme Deflate est pris en charge dans la version 3.0 de Glue et non dans la version 2.0.

• Lorsque vous utilisez la détection de schéma, vous ne pouvez pas effectuer de jointures de données en streaming.

• AWS Glue les tâches ETL en streaming ne prennent pas en charge le type de données Union pour AWS Glue Registre de schémas au format Avro.

• Votre script ETL peut utiliser AWS Glueet les transformations intégrées à Apache Spark Structured Streaming. Pour plus d'informations, voir Opérations sur le DataFrames streaming/Datasets sur le site Web d'Apache Spark ou. AWS Glue PySpark transforme la référence

• AWS Glue les tâches ETL en streaming utilisent des points de contrôle pour suivre les données lues. Par conséquent, une tâche arrêtée et redémarrée reprend là où elle s'est arrêtée dans le flux. Si vous souhaitez retraiter les données, vous pouvez supprimer le dossier du point de contrôle référencé dans le script.

• Les signets de tâche ne sont pas pris en charge.

• Pour utiliser la fonctionnalité de diffusion améliorée de Kinesis Data Streams dans tâche, consultez Utilisation de la diffusion améliorée dans les tâches de streaming Kinesis.

• Si vous utilisez une table de catalogue de données créée à partir de AWS Glue Registre des schémas, lorsqu'une nouvelle version de schéma est disponible, pour refléter le nouveau schéma, vous devez effectuer les opérations suivantes :

  1. Arrêtez les tâches associées à la table.

  2. Mettez à jour le schéma de la table Catalogue de données.

  3. Redémarrez les tâches associées à la table.