ETLJobs streamen in AWS Glue

• Hinweise und Einschränkungen für Avro-Streaming-Quellen

• Anwenden von Grok-Mustern auf Streaming-Quellen

So legen Sie ETL Streaming-Eigenschaften für Amazon Kinesis Data Streams fest (AWS Glue APIoder AWS CLI)

• Um ETL Streaming-Eigenschaften für eine Kinesis-Quelle in demselben Konto einzurichten, geben Sie die endpointUrl Parameter streamName und in der StorageDescriptor Struktur der CreateTable API Operation oder des create_table CLI Befehls an.

  "StorageDescriptor": {
  	"Parameters": {
  		"typeOfData": "kinesis",
  		"streamName": "sample-stream",
  		"endpointUrl": "https://kinesis.us-east-1.amazonaws.com"
  	}
  	...
  }
  					

  Oder geben Sie den streamARN an.

  "StorageDescriptor": {
  	"Parameters": {
  		"typeOfData": "kinesis",
  		"streamARN": "arn:aws:kinesis:us-east-1:123456789:stream/sample-stream"
  	}
  	...
  }

• Um ETL Streaming-Eigenschaften für eine Kinesis-Quelle in einem anderen Konto einzurichten, geben Sie die ParameterstreamARN, awsSTSRoleARN und awsSTSSessionName (optional) in der StorageDescriptor Struktur in der CreateTable API Operation oder im create_table CLI Befehl an.

  "StorageDescriptor": {
  	"Parameters": {
  		"typeOfData": "kinesis",
  		"streamARN": "arn:aws:kinesis:us-east-1:123456789:stream/sample-stream",
  		"awsSTSRoleARN": "arn:aws:iam::123456789:role/sample-assume-role-arn",
  		"awsSTSSessionName": "optional-session"
  	}
  	...
  }

• Wenn die Schemaerkennung aktiviert ist, muss das Avro-Schema in die Nutzlast einbezogen werden. Wenn diese Option deaktiviert ist, sollte die Nutzlast nur Daten enthalten.

• Einige Avro-Datentypen werden in Dynamic Frames nicht unterstützt. Sie können diese Datentypen nicht angeben, wenn Sie das Schema auf der Seite Schema definieren im Assistenten zur Tabellenerstellung im AWS Glue console. Während der Schemaerkennung werden nicht unterstützte Typen im Avro-Schema wie folgt in unterstützte Typen konvertiert:

  • EnumType => StringType

  • FixedType => BinaryType

  • UnionType => StructType

• Wenn Sie das Tabellenschema auf der Seite Definieren eines Schemas in der Konsole definieren, ist der implizierte Stammelementtyp für das Schema record. Wenn Sie einen anderen Stammelementtyp als record möchten, zum Beispiel array oder map, können Sie das Schema nicht mithilfe der Seite Definieren eines Schemas angeben. Stattdessen müssen Sie diese Seite überspringen und das Schema entweder als Tabelleneigenschaft oder innerhalb des ETL Skripts angeben.

  • Um das Schema in den Tabelleneigenschaften anzugeben, füllen Sie den Assistenten zum Erstellen von Tabellen aus, bearbeiten Sie die Tabellendetails und fügen Sie unter Tabelleneigenschaften ein neues Schlüssel-Wert-Paar hinzu. Verwenden Sie den Schlüssel avroSchema und geben Sie ein JSON Schemaobjekt für den Wert ein, wie im folgenden Screenshot gezeigt.

    

  • Um das Schema im ETL Skript anzugeben, ändern Sie die datasource0 Zuweisungsanweisung und fügen Sie den avroSchema Schlüssel zum additional_options Argument hinzu, wie in den folgenden Python- und Scala-Beispielen gezeigt.

    Python

    SCHEMA_STRING = ‘{"type":"array","items":"string"}’
    datasource0 = glueContext.create_data_frame.from_catalog(database = "database", table_name = "table_name", transformation_ctx = "datasource0", additional_options = {"startingPosition": "TRIM_HORIZON", "inferSchema": "false", "avroSchema": SCHEMA_STRING})
    

    Scala

    val SCHEMA_STRING = """{"type":"array","items":"string"}"""
    val datasource0 = glueContext.getCatalogSource(database = "database", tableName = "table_name", redshiftTmpDir = "", transformationContext = "datasource0", additionalOptions = JsonOptions(s"""{"startingPosition": "TRIM_HORIZON", "inferSchema": "false", "avroSchema":"$SCHEMA_STRING"}""")).getDataFrame()
    

• Automatische Dekomprimierung für AWS Glue ETLStreaming-Jobs sind nur für die unterstützten Komprimierungstypen verfügbar. Beachten Sie auch das Folgende:

  • Das gerahmte Snappy bezieht sich auf das offizielle Rahmen-Format für Snappy.

  • Deflate wird in der Glue-Version 3.0 unterstützt, nicht in der Glue-Version 2.0.

• Wenn Sie die Schemaerkennung verwenden, können Sie keine Joins von Streamingdaten ausführen.

• AWS Glue ETLStreaming-Jobs unterstützen nicht den Union-Datentyp für AWS Glue Schemaregistrierung im Avro-Format.

• Ihr ETL Skript kann verwenden AWS GlueDie integrierten Transformationen und die systemeigenen Transformationen von Apache Spark Structured Streaming. Weitere Informationen finden Sie unter Operations on streaming DataFrames /Datasets auf der Apache Spark-Website oder. AWS Glue PySpark transformiert Referenz

• AWS Glue ETLStreaming-Jobs verwenden Checkpoints, um den Überblick über die gelesenen Daten zu behalten. Daher wird ein Auftrag, der angehalten und neu gestartet wurde, an dem Punkt fortgesetzt, an dem er im Stream beendet wurde. Wenn Sie Daten neu verarbeiten möchten, können Sie den Checkpoint-Ordner löschen, auf den im Skript verwiesen wird.

• Auftragslesezeichen werden nicht unterstützt.

• Zur Verwendung des erweiterten Fan-Out-Features von Kinesis Data Streams in Ihrem Auftrag lesen Sie Verwendung von erweitertem Fan-Out in Kinesis-Streaming-Aufträgen.

• Wenn Sie eine Datenkatalogtabelle verwenden, die aus erstellt wurde AWS Glue Wenn in der Schemaregistrierung eine neue Schemaversion verfügbar ist, müssen Sie wie folgt vorgehen, um das neue Schema widerzuspiegeln:

  1. Stoppen Sie die mit der Tabelle verknüpften Aufträge.

  2. Aktualisieren Sie das Schema für die Data Catalog-Tabelle.

  3. Starten Sie die mit der Tabelle verknüpften Aufträge neu.