Mengembangkan konektor kustom - AWS Glue
Mengembangkan konektor SparkMengembangkan konektor AthenaMengembangkan JDBC konektorContoh menggunakan konektor khusus dengan AWS Glue StudioMengembangkan AWS Glue konektor untuk AWS Marketplace

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengembangkan konektor kustom

Anda dapat menulis kode yang membaca data dari atau menulis data ke penyimpanan data Anda dan memformat data untuk digunakan dengan AWS Glue Studio pekerjaan. Anda dapat membuat konektor untuk Spark, Athena, JDBC dan penyimpanan data. Contoh kode yang diposting di GitHub memberikan gambaran umum tentang antarmuka dasar yang perlu Anda terapkan.

Anda memerlukan lingkungan pengembangan lokal untuk membuat kode konektor Anda. Anda dapat menggunakan salah satu IDE atau bahkan hanya editor baris perintah untuk menulis konektor Anda. Contoh lingkungan pengembangan meliputi:

Mengembangkan konektor Spark

Anda dapat membuat konektor Spark dengan Spark DataSource API V2 (Spark 2.4) untuk membaca data.

Untuk membuat konektor Spark khusus

Ikuti langkah-langkah di perpustakaan AWS Glue GitHub sampel untuk mengembangkan konektor Spark, yang terletak di https://github.com/aws-samples/aws-glue-samples/tree/master/ GlueCustomConnectors /development/spark/ .md. README

Mengembangkan konektor Athena

Anda dapat membuat konektor Athena untuk digunakan oleh AWS Glue dan AWS Glue Studio untuk menanyakan sumber data kustom.

Untuk membuat konektor Athena kustom

Ikuti langkah-langkah di perpustakaan AWS Glue GitHub sampel untuk mengembangkan konektor Athena, yang terletak di https://github.com/aws-samples/aws-glue-samplesGlueCustomConnectors/tree/master//development/Athena.

Mengembangkan JDBC konektor

Anda dapat membuat konektor yang digunakan JDBC untuk mengakses penyimpanan data Anda.

Untuk membuat JDBC konektor khusus

  1. Instal perpustakaan waktu aktif Spark AWS Glue di lingkungan pengembangan lokal Anda. Lihat instruksi di perpustakaan AWS Glue GitHub sampel di https://github.com/aws-samples/aws-glue-samples/tree/master/ /development//.md GlueCustomConnectors. GlueSparkRuntime README

  2. Menerapkan JDBC driver yang bertanggung jawab untuk mengambil data dari sumber data. Lihat dokumentasi Java untuk Java SE 8.

    Buat titik masuk dalam kode Anda yang AWS Glue Studio digunakan untuk menemukan konektor Anda. Bidang nama Kelas harus menjadi jalur lengkap JDBC pengemudi Anda.

  3. Gunakan GlueContext API untuk membaca data dengan konektor. Pengguna dapat menambahkan lebih banyak opsi input di AWS Glue Studio konsol untuk mengonfigurasi koneksi ke sumber data, jika perlu. Untuk contoh kode yang menunjukkan cara membaca dari dan menulis ke JDBC database dengan JDBC konektor kustom, lihat Kustom dan AWS Marketplace connectionType nilai.

Contoh menggunakan konektor khusus dengan AWS Glue Studio

Anda dapat merujuk ke blog berikut untuk contoh cara menggunakan konektor kustom:

Mengembangkan AWS Glue konektor untuk AWS Marketplace

Sebagai AWS mitra, Anda dapat membuat konektor khusus dan mengunggahnya AWS Marketplace untuk dijual kepada AWS Glue pelanggan.

Proses untuk mengembangkan kode konektor adalah sama dengan konektor kustom, tetapi proses mengunggah dan memverifikasi kode konektor lebih terperinci. Lihat instruksi dalam Membuat Konektor untuk AWS Marketplace di GitHub situs web.