Pembuatan otomatis API Skrip ETL - AWS Glue
 —  tipe data  —CodeGenNodeCodeGenNodeArgCodeGenEdgeLokasiCatalogEntryMappingEntry —  operasi  —CreateScript (create_script)GetDataflowGraph (get_dataflow_graph)GetMapping (get_mapping)GetPlan (get_plan)

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pembuatan otomatis API Skrip ETL

API pembuatan skrip ETL menjelaskan tipe data dan API untuk menghasilkan skrip ETL di. AWS Glue

Jenis Data

CodeGenNode struktur

Merepresentasikan simpul dalam grafik asiklik terarah (DAG)

Bidang

  • Id — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Identifier string pattern.

    Sebuah simpul pengenal yang unik dalam grafik simpul.

  • NodeType – Wajib: String UTF-8.

    Jenis simpul yang ini.

  • Args — Wajib: Susunan objek CodeGenNodeArg, tidak lebih dari 50 struktur.

    Properti simpul, dalam bentuk pasangan nama-nilai.

  • LineNumber — Nomor (bilangan bulat).

    Nomor baris dari simpul.

CodeGenNodeArg struktur

Argumen atau properti dari sebuah simpul.

Bidang

  • Name – Wajib: String UTF-8.

    Nama argumen atau properti.

  • Value – Wajib: String UTF-8.

    Nilai argumen atau properti.

  • Param – Boolean.

    BETUL jika nilai yang digunakan sebagai parameter.

CodeGenEdge struktur

Merepresentasikan edge direksional dalam sebuah grafik asiklik terarah (DAG).

Bidang

  • Source — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Identifier string pattern.

    ID dari simpul di mana edge dimulai.

  • Target — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Identifier string pattern.

    ID dari simpul di mana edge berakhir.

  • TargetParameter – String UTF-8.

    Target dari edge.

Struktur lokasi

Lokasi sumber daya.

Bidang

  • Jdbc — Susunan objek CodeGenNodeArg, tidak lebih dari 50 struktur.

    Lokasi JDBC.

  • S3 — Susunan objek CodeGenNodeArg, tidak lebih dari 50 struktur.

    Lokasi Amazon Simple Storage Service (Amazon S3).

  • DynamoDB — Susunan objek CodeGenNodeArg, tidak lebih dari 50 struktur.

    Lokasi tabel Amazon DynamoDB.

CatalogEntry struktur

Menentukan definisi tabel dalam AWS Glue Data Catalog.

Bidang

  • DatabaseName — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Basis data di mana metadata tabel berada.

  • TableName — Wajib: String UTF-8, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

    Nama tabel yang dimaksud.

MappingEntry struktur

Mendefinisikan pemetaan.

Bidang

  • SourceTable – String UTF-8.

    Nama tabel sumber.

  • SourcePath – String UTF-8.

    Path sumber.

  • SourceType – String UTF-8.

    Jenis sumber.

  • TargetTable – String UTF-8.

    Tabel target.

  • TargetPath – String UTF-8.

    Path target.

  • TargetType – String UTF-8.

    Jenis target.

Operasi

CreateScript tindakan (Python: create_script)

Mengubah grafik asiklik terarah (DAG) menjadi kode.

Permintaan

  • DagNodes – Susunan objek CodeGenNode.

    Daftar simpul dalam DAG.

  • DagEdges – Susunan objek CodeGenEdge.

    Daftar edge dalam DAG.

  • Language – String UTF-8 (nilai yang valid: PYTHON | SCALA).

    Bahasa pemrograman dari kode yang dihasilkan dari DAG.

Response

  • PythonScript – String UTF-8.

    Skrip Python yang dihasilkan dari DAG.

  • ScalaCode – String UTF-8.

    Kode Scala yang dihasilkan dari DAG.

Kesalahan

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

GetDataflowGraph tindakan (Python: get_dataflow_graph)

Mengubah skrip Python menjadi sebuah grafik asiklik terarah (DAG).

Permintaan

  • PythonScript – String UTF-8.

    Skrip Python yang akan diubah.

Response

  • DagNodes – Susunan objek CodeGenNode.

    Daftar simpul dalam DAG yang dihasilkan.

  • DagEdges – Susunan objek CodeGenEdge.

    Daftar edge dalam DAG yang dihasilkan.

Kesalahan

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

GetMapping tindakan (Python: get_mapping)

Membuat pemetaan.

Permintaan

  • Source — Wajib: Sebuah objek CatalogEntry.

    Menentukan tabel sumber.

  • Sinks – Susunan objek CatalogEntry.

    Daftar tabel target.

  • Location — Sebuah objek Lokasi.

    Parameter untuk pemetaan.

Response

  • Mapping – Wajib: Susunan objek MappingEntry.

    Daftar pemetaan untuk target yang ditentukan.

Kesalahan

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

  • EntityNotFoundException

GetPlan tindakan (Python: get_plan)

Dapatkan kode untuk melakukan pemetaan tertentu.

Permintaan

  • Mapping – Wajib: Susunan objek MappingEntry.

    Daftar pemetaan dari tabel sumber untuk tabel target.

  • Source — Wajib: Sebuah objek CatalogEntry.

    Tabel sumber.

  • Sinks – Susunan objek CatalogEntry.

    Tabel target.

  • Location — Sebuah objek Lokasi.

    Parameter untuk pemetaan.

  • Language – String UTF-8 (nilai yang valid: PYTHON | SCALA).

    Bahasa pemrograman kode untuk melakukan pemetaan.

  • AdditionalPlanOptionsMap – Susunan peta pasangan nilai kunci.

    Setiap kunci adalah string UTF-8.

    Setiap nilai adalah string UTF-8.

    Sebuah peta untuk menahan tambahan parameter nilai kunci opsional.

    Saat ini, pasangan nilai kunci ini didukung:

    • inferSchema  —  Menentukan apakah akan mengatur inferSchema ke BETUL atau SALAH untuk skrip default yang dihasilkan oleh tugas AWS Glue. Misalnya, untuk mengatur inferSchema ke BETUL, berikan pasangan nilai kunci berikut:

      --additional-plan-options-map '{"inferSchema":"true"}'

Response

  • PythonScript – String UTF-8.

    Sebuah skrip Python untuk melakukan pemetaan.

  • ScalaCode – String UTF-8.

    Kode Scala untuk melakukan pemetaan.

Kesalahan

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException