ETLLowongan kerja streaming di AWS Glue

• Catatan dan batasan untuk sumber streaming Avro

• Menerapkan pola grok ke sumber streaming

Untuk mengatur ETL properti streaming untuk Amazon Kinesis Data Streams (AWS Glue APIatau AWS CLI)

• Untuk mengatur ETL properti streaming untuk sumber Kinesis di akun yang sama, tentukan streamName dan endpointUrl parameter dalam StorageDescriptor struktur CreateTable API operasi atau perintah. create_table CLI

  "StorageDescriptor": {
  	"Parameters": {
  		"typeOfData": "kinesis",
  		"streamName": "sample-stream",
  		"endpointUrl": "https://kinesis.us-east-1.amazonaws.com"
  	}
  	...
  }
  					

  Atau, tentukan streamARN.

  "StorageDescriptor": {
  	"Parameters": {
  		"typeOfData": "kinesis",
  		"streamARN": "arn:aws:kinesis:us-east-1:123456789:stream/sample-stream"
  	}
  	...
  }

• Untuk mengatur ETL properti streaming untuk sumber Kinesis di akun lain, tentukan parameterstreamARN, awsSTSRoleARN dan awsSTSSessionName (opsional) dalam StorageDescriptor struktur dalam CreateTable API operasi atau perintah. create_table CLI

  "StorageDescriptor": {
  	"Parameters": {
  		"typeOfData": "kinesis",
  		"streamARN": "arn:aws:kinesis:us-east-1:123456789:stream/sample-stream",
  		"awsSTSRoleARN": "arn:aws:iam::123456789:role/sample-assume-role-arn",
  		"awsSTSSessionName": "optional-session"
  	}
  	...
  }

• Ketika skema deteksi diaktifkan, skema Avro tersebut harus disertakan dalam muatan. Saat dimatikan, muatan hanya berisi data saja.

• Beberapa tipe data Avro tidak didukung dalam bingkai dinamis. Anda tidak dapat menentukan tipe data ini saat mendefinisikan skema dengan halaman Tentukan skema dalam panduan buat tabel di AWS Glue konsol. Selama deteksi skema, jenis yang tidak didukung dalam skema Avro dikonversi ke jenis yang didukung sebagai berikut:

  • EnumType => StringType

  • FixedType => BinaryType

  • UnionType => StructType

• Jika Anda menentukan skema tabel menggunakan halaman Menentukan skema di konsol, maka jenis elemen akar tersirat untuk skema adalah record. Jika Anda ingin jenis elemen akar selain record, misalnya array atau map, Anda tidak dapat menentukan skema menggunakan halaman Menentukan skema. Sebagai gantinya, Anda harus melewati halaman itu dan menentukan skema baik sebagai properti tabel atau di dalam ETL skrip.

  • Untuk menentukan skema di properti tabel, selesaikan penuntun membuat tabel, edit detail tabel, dan tambahkan pasangan nilai-kunci baru pada Properti tabel. Gunakan kunciavroSchema, dan masukkan JSON objek skema untuk nilai, seperti yang ditunjukkan pada gambar berikut.

    

  • Untuk menentukan skema dalam ETL skrip, memodifikasi pernyataan datasource0 penugasan dan menambahkan avroSchema kunci untuk additional_options argumen, seperti yang ditunjukkan dalam contoh Python dan Scala berikut.

    Python

    SCHEMA_STRING = ‘{"type":"array","items":"string"}’
    datasource0 = glueContext.create_data_frame.from_catalog(database = "database", table_name = "table_name", transformation_ctx = "datasource0", additional_options = {"startingPosition": "TRIM_HORIZON", "inferSchema": "false", "avroSchema": SCHEMA_STRING})
    

    Scala

    val SCHEMA_STRING = """{"type":"array","items":"string"}"""
    val datasource0 = glueContext.getCatalogSource(database = "database", tableName = "table_name", redshiftTmpDir = "", transformationContext = "datasource0", additionalOptions = JsonOptions(s"""{"startingPosition": "TRIM_HORIZON", "inferSchema": "false", "avroSchema":"$SCHEMA_STRING"}""")).getDataFrame()
    

• Dekompresi otomatis untuk AWS Glue ETLpekerjaan streaming hanya tersedia untuk jenis kompresi yang didukung. Perhatikan juga hal berikut:

  • Framed Snappy mengacu pada format pembingkaian resmi untuk Snappy.

  • Deflate didukung di Glue versi 3.0, bukan Glue versi 2.0.

• Bila menggunakan deteksi skema, Anda tidak dapat melakukan penggabungan data streaming.

• AWS Glue ETLpekerjaan streaming tidak mendukung tipe data Union untuk AWS Glue Registri Skema dengan format Avro.

• ETLSkrip Anda dapat menggunakan AWS Gluetransformasi bawaan dan transformasi asli ke Apache Spark Structured Streaming. Untuk informasi selengkapnya, lihat Operasi pada streaming DataFrames /Datasets di situs web Apache Spark atau. AWS Glue PySpark mengubah referensi

• AWS Glue ETLpekerjaan streaming menggunakan pos pemeriksaan untuk melacak data yang telah dibaca. Oleh karena itu, tugas yang dihentikan dan dimulai-ulang memilih tempat ia pergi di pengaliran. Jika Anda ingin memproses ulang data, maka Anda dapat menghapus folder pos pemeriksaan yang direferensikan dalam skrip.

• Bookmark Tugas tidak didukung.

• Untuk menggunakan fitur fan-out yang disempurnakan dari Kinesis Data Streams dalam pekerjaan Anda, konsultasikan. Menggunakan fan-out yang disempurnakan dalam pekerjaan streaming Kinesis

• Jika Anda menggunakan tabel Katalog Data yang dibuat dari AWS Glue Schema Registry, ketika versi skema baru tersedia, untuk mencerminkan skema baru, Anda perlu melakukan hal berikut:

  1. Hentikan pekerjaan yang terkait dengan tabel.

  2. Perbarui skema untuk tabel Katalog Data.

  3. Mulai ulang pekerjaan yang terkait dengan tabel.