AWS Glue properti koneksi - AWS Glue
Properti koneksi yang diperlukanJDBCproperti koneksiProperti koneksi MongoDB dan MongoDB AtlasProperti koneksi SalesforceKoneksi kepingan saljuKoneksi VerticaSAPHANAkoneksiKoneksi Azure SQLKoneksi Teradata VantageOpenSearch Koneksi layananKoneksi Azure CosmosSSLproperti koneksiProperti koneksi Kafka untuk otentikasi BigQuery Koneksi GoogleKoneksi Vertica

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

AWS Glue properti koneksi

Topik ini mencakup informasi tentang properti untuk AWS Glue koneksi.

Properti koneksi yang diperlukan

Saat Anda menentukan koneksi di AWS Glue konsol, Anda harus memberikan nilai untuk properti berikut:

Nama koneksi

Masukkan nama unik untuk koneksi Anda.

Tipe koneksi

Pilih JDBCatau salah satu jenis koneksi tertentu.

Untuk detail tentang jenis JDBC koneksi, lihat AWS Glue JDBCproperti koneksi

Pilih Jaringan untuk terhubung ke sumber data dalam lingkungan Amazon Virtual Private Cloud (AmazonVPC)).

Tergantung pada jenis yang Anda pilih, konsol AWS Glue menampilkan bidang lain yang diperlukan. Misalnya, jika Anda memilih Amazon RDS, Anda harus memilih mesin database.

Membutuhkan SSL koneksi

Ketika Anda memilih opsi ini, AWS Glue harus memverifikasi bahwa koneksi ke penyimpanan data terhubung melalui Secure Sockets Layer tepercaya (SSL).

Untuk informasi selengkapnya, termasuk opsi tambahan yang tersedia bila Anda memilih opsi ini, lihat AWS Glue SSLproperti koneksi.

Pilih MSK cluster (streaming terkelola Amazon untuk Apache Kafka (MSK) saja)

Menentukan MSK cluster dari AWS akun lain.

Kafka bootstrap server URLs (Kafka saja)

Menentukan daftar dipisahkan koma server bootstrap. URLs Termasuk nomor port. Sebagai contoh: b-1.vpc-test-2.o4q88o.c6.kafka.us-east-1.amazonaws.com:9094, b-2.vpc-test-2.o4q88o.c6.kafka.us-east-1.amazonaws.com:9094, b-3.vpc-test-2.o4q88o.c6.kafka.us-east-1.amazonaws.com:9094

AWS Glue JDBCproperti koneksi

AWS Glue dapat terhubung ke penyimpanan data berikut melalui JDBC koneksi:

  • Amazon Redshift

  • Amazon Aurora

  • SQLServer Microsoft

  • Saya SQL

  • Oracle

  • Postgre SQL

  • Snowflake, saat menggunakan AWS Glue crawler.

  • Aurora (didukung jika JDBC driver asli sedang digunakan. Tidak semua fitur driver dapat dimanfaatkan)

  • Amazon RDS for MariaDB

penting

Saat ini, ETL pekerjaan dapat menggunakan JDBC koneksi hanya dalam satu subnet. Jika Anda memiliki beberapa penyimpanan data dalam suatu pekerjaan, mereka harus berada di subnet yang sama, atau dapat diakses dari subnet.

Jika Anda memilih untuk membawa versi JDBC driver Anda sendiri untuk AWS Glue crawler, crawler Anda akan menggunakan sumber daya dalam AWS Glue pekerjaan dan Amazon S3 untuk memastikan driver yang Anda berikan dijalankan di lingkungan Anda. Penggunaan sumber daya tambahan akan tercermin di akun Anda. Selain itu, menyediakan JDBC driver Anda sendiri tidak berarti bahwa crawler dapat memanfaatkan semua fitur pengemudi. Driver terbatas pada properti yang dijelaskan dalam Mendefinisikan koneksi di Katalog Data.

Berikut ini adalah properti tambahan untuk jenis JDBC koneksi.

JDBC URL

Masukkan URL untuk penyimpanan JDBC data Anda. Untuk kebanyakan mesin basis data, bidang ini adalah dalam format berikut. Dalam format ini, ganti protocol, host, port, dan db_name dengan informasi Anda sendiri.

jdbc:protocol://host:port/db_name

Tergantung pada mesin database, JDBC URL format yang berbeda mungkin diperlukan. Format ini dapat memiliki penggunaan yang sedikit berbeda untuk penggunaan titik dua (:) dan garis miring (/) atau kata kunci yang berbeda untuk menentukan basis data.

JDBCUntuk terhubung ke penyimpanan data, diperlukan db_name di penyimpanan data. db_name digunakan untuk membuat koneksi jaringan dengan username dan password. Saat terhubung, AWS Glue dapat mengakses database lain di penyimpanan data untuk menjalankan crawler atau menjalankan pekerjaan. ETL

JDBCURLContoh berikut menunjukkan sintaks untuk beberapa mesin database.

  • Untuk connect ke penyimpanan data klaster Amazon Redshift dengan basis data dev:

    jdbc:redshift://xxx.us-east-1.redshift.amazonaws.com:8192/dev

  • Untuk terhubung ke Amazon RDS untuk penyimpanan SQL data Saya dengan employee database:

    jdbc:mysql://xxx-cluster.cluster-xxx.us-east-1.rds.amazonaws.com:3306/employee

  • Untuk terhubung ke Amazon RDS untuk penyimpanan SQL data Postgre dengan database: employee

    jdbc:postgresql://xxx-cluster.cluster-xxx.us-east-1.rds.amazonaws.com:5432/employee

  • Untuk terhubung ke Amazon RDS untuk penyimpanan data Oracle dengan nama employee layanan:

    jdbc:oracle:thin://@xxx-cluster.cluster-xxx.us-east-1.rds.amazonaws.com:1521/employee

    Sintaks untuk Amazon RDS untuk Oracle dapat mengikuti pola berikut. Dalam pola ini, ganti host, port, service_name, dan SID dengan informasi Anda sendiri.

    • jdbc:oracle:thin://@host:port/service_name

    • jdbc:oracle:thin://@host:port:SID

  • Untuk menyambung ke Amazon RDS untuk penyimpanan data Microsoft SQL Server dengan employee database:

    jdbc:sqlserver://xxx-cluster.cluster-xxx.us-east-1.rds.amazonaws.com:1433;databaseName=employee

    Sintaks untuk Amazon RDS untuk SQL Server dapat mengikuti pola berikut. Dalam pola ini, ganti server_name, port, dan db_name dengan informasi Anda sendiri.

    • jdbc:sqlserver://server_name:port;database=db_name

    • jdbc:sqlserver://server_name:port;databaseName=db_name

  • Untuk terhubung ke Amazon Aurora PostgreSQL instance employee database, tentukan titik akhir untuk instance database, port, dan nama database:

    jdbc:postgresql://employee_instance_1.xxxxxxxxxxxx.us-east-2.rds.amazonaws.com:5432/employee

  • Untuk terhubung ke penyimpanan Amazon RDS for MariaDB data dengan employee database, tentukan titik akhir untuk instance database, port, dan nama database:

    jdbc:mysql://xxx-cluster.cluster-xxx.aws-region.rds.amazonaws.com:3306/employee

  • Awas

    JDBCKoneksi kepingan salju hanya didukung oleh AWS Glue crawler. Saat menggunakan konektor Snowflake dalam AWS Glue pekerjaan, gunakan jenis koneksi Snowflake.

    Untuk terhubung ke instance Snowflake dari sample database, tentukan titik akhir untuk instance snowflake, pengguna, nama database, dan nama peran. Anda dapat menambahkan warehouse parameter secara opsional.

    jdbc:snowflake://account_name.snowflakecomputing.com/?user=user_name&db=sample&role=role_name&warehouse=warehouse_name

    penting

    Untuk koneksi Snowflake berakhirJDBC, urutan parameter dalam diberlakukan dan harus dipesan sebagaiuser,,db, role_name dan. URL warehouse

  • Untuk terhubung ke instance Snowflake dari sample database dengan tautan AWS pribadi, tentukan kepingan salju JDBC URL sebagai berikut:

    jdbc:snowflake://account_name.region.privatelink.snowflakecomputing.com/?user=user_name&db=sample&role=role_name&warehouse=warehouse_name

nama pengguna
catatan

Kami menyarankan Anda menggunakan AWS rahasia untuk menyimpan kredensi koneksi alih-alih memasok nama pengguna dan kata sandi Anda secara langsung. Untuk informasi selengkapnya, lihat Menyimpan kredensi koneksi di AWS Secrets Manager.

Berikan nama pengguna yang memiliki izin untuk mengakses penyimpanan JDBC data.

Kata sandi

Masukkan kata sandi untuk nama pengguna yang memiliki izin akses ke penyimpanan JDBC data.

Port

Masukkan port yang digunakan JDBC URL untuk terhubung ke instance Amazon RDS Oracle. Bidang ini hanya ditampilkan ketika Memerlukan SSL koneksi dipilih untuk instance Amazon RDS Oracle.

VPC

Pilih nama virtual private cloud (VPC) yang berisi penyimpanan data Anda. AWS Glue Konsol mencantumkan semua VPCs untuk Wilayah saat ini.

penting

Saat mengerjakan JDBC koneksi yang di-host AWS, seperti dengan data dari Snowflake, Anda VPC harus memiliki NAT gateway yang membagi lalu lintas menjadi subnet publik dan pribadi. Subnet publik digunakan untuk koneksi ke sumber eksternal, dan subnet internal digunakan untuk diproses oleh. AWS Glue Untuk informasi tentang mengonfigurasi Amazon Anda VPC untuk koneksi eksternal, baca Connect to the internet atau jaringan lain menggunakan NAT perangkat danMenyiapkan Amazon VPC untuk koneksi JDBC ke penyimpanan data Amazon RDS AWS Glue.

Subnet

Pilih subnet di dalam VPC yang berisi penyimpanan data Anda. AWS Glue Konsol mencantumkan semua subnet untuk penyimpanan data di AndaVPC.

Grup keamanan

Pilih grup keamanan yang terkait dengan penyimpanan data Anda. AWS Glue memerlukan satu atau lebih grup keamanan dengan aturan sumber masuk yang memungkinkan AWS Glue untuk terhubung. AWS Glue Konsol mencantumkan semua grup keamanan yang diberikan akses masuk ke AndaVPC. AWS Glue mengaitkan grup keamanan ini dengan elastic network interface yang terpasang pada VPC subnet Anda.

JDBCNama Kelas Pengemudi - opsional

Berikan nama kelas JDBC driver kustom:

  • Postgres - org.PostgreSQL.driver


  • 
 Saya SQL — com.mysql.jdbc.driver, com.mysql.cj.jdbc.driver


  • 
 Redshift — com.amazon.redshift.jdbc.driver, com.amazon.redshift.jdbc42.driver 


  • 
 Oracle — oracle.jdbc.driver. OracleDriver


  • 
 SQLServer — com.microsoft.sqlserver.jdbc. SQLServerDriver


JDBCDriver S3 Path - opsional

Berikan lokasi Amazon S3 ke driver khususJDBC. Ini adalah jalur absolut ke file.jar. Jika Anda ingin menyediakan JDBC driver Anda sendiri untuk terhubung ke souces data Anda untuk database yang didukung crawler Anda, Anda dapat menentukan nilai untuk parameter customJdbcDriverS3PathdancustomJdbcDriverClassName.
 Menggunakan JDBC driver yang disediakan oleh pelanggan terbatas pada yang diperlukanProperti koneksi yang diperlukan.

AWS Glue Properti koneksi MongoDB dan MongoDB Atlas

Berikut ini adalah properti tambahan untuk jenis koneksi MongoDB atau MongoDB Atlas.

MongoDB URL

Masukkan URL untuk penyimpanan data MongoDB atau MongoDB Atlas Anda:

  • Untuk MongoDB: mongodb: //host:port/database. Host dapat berupa nama host, alamat IP, atau soket UNIX domain. Jika string koneksi tidak menentukan port, ia menggunakan port MongoDB default, 27017.

  • Untuk MongoDB Atlas: mongodb+srv: //server.example.com/database. Host dapat berupa nama host yang mengikuti sesuai dengan DNS SRV catatan. SRVFormatnya tidak memerlukan port dan akan menggunakan port MongoDB default, 27017.

nama pengguna
catatan

Kami menyarankan Anda menggunakan AWS rahasia untuk menyimpan kredensi koneksi alih-alih memasok nama pengguna dan kata sandi Anda secara langsung. Untuk informasi selengkapnya, lihat Menyimpan kredensi koneksi di AWS Secrets Manager.

Berikan nama pengguna yang memiliki izin untuk mengakses penyimpanan JDBC data.

Kata sandi

Masukkan kata sandi untuk nama pengguna yang memiliki izin akses ke penyimpanan data MongoDB atau MongoDB Atlas.

Properti koneksi Salesforce

Berikut ini adalah properti tambahan untuk jenis koneksi Salesforce.

  • ENTITY_NAME(String) - (Diperlukan) Digunakan untuk Baca/Tulis. Nama Objek Anda di Salesforce.

  • API_VERSION(String) - (Diperlukan) Digunakan untuk Baca/Tulis. APIVersi Salesforce Rest yang ingin Anda gunakan.

  • SELECTED_FIELDS(Daftar<String>) - Default: kosong (SELECT*). Digunakan untuk Baca. Kolom yang ingin Anda pilih untuk objek.

  • FILTER_PREDICATE(String) - Default: kosong. Digunakan untuk Baca. Itu harus dalam SQL format Spark.

  • QUERY(String) - Default: kosong. Digunakan untuk Baca. SQLKueri Spark penuh.

  • PARTITION_FIELD(String) - Digunakan untuk Baca. Bidang yang akan digunakan untuk mempartisi kueri.

  • LOWER_BOUND(String) - Digunakan untuk Baca. Nilai batas bawah inklusif dari bidang partisi yang dipilih.

  • UPPER_BOUND(String) - Digunakan untuk Baca. Nilai batas atas eksklusif dari bidang partisi yang dipilih.

  • NUM_PARTITIONS(Integer) - Default: 1. Digunakan untuk Baca. Jumlah partisi untuk dibaca.

  • IMPORT_DELETED_RECORDS(String) - Default:FALSE. Digunakan untuk membaca. Untuk mendapatkan catatan hapus saat melakukan kueri.

  • WRITE_OPERATION(String) - Default:INSERT. Digunakan untuk menulis. Nilai harusINSERT,UPDATE,UPSERT,DELETE.

  • ID_FIELD_NAMES(String) - Default: null. Digunakan hanya untukUPSERT.

Koneksi kepingan salju

Properti berikut digunakan untuk mengatur koneksi Snowflake yang digunakan dalam AWS Glue ETL pekerjaan. Saat merangkak Snowflake, gunakan koneksi. JDBC

Kepingan salju URL

Titik URL akhir Snowflake Anda. Untuk informasi selengkapnya tentang titik akhir SnowflakeURLs, lihat Menghubungkan ke Akun Anda di dokumentasi Snowflake.

AWS Rahasia

Nama Rahasia dari sebuah rahasia di AWS Secrets Manager AWS Glue akan terhubung ke Snowflake menggunakan sfUser dan sfPassword kunci rahasia Anda.

Peran kepingan salju (opsional)

Peran keamanan kepingan salju AWS Glue akan digunakan saat menghubungkan.

Gunakan properti berikut saat mengonfigurasi sambungan ke titik akhir Snowflake yang dihosting di Amazon menggunakan. VPC AWS PrivateLink

VPC

Pilih nama virtual private cloud (VPC) yang berisi penyimpanan data Anda. AWS Glue Konsol mencantumkan semua VPCs untuk Wilayah saat ini.

Subnet

Pilih subnet di dalam VPC yang berisi penyimpanan data Anda. AWS Glue Konsol mencantumkan semua subnet untuk penyimpanan data di AndaVPC.

Grup keamanan

Pilih grup keamanan yang terkait dengan penyimpanan data Anda. AWS Glue memerlukan satu atau lebih grup keamanan dengan aturan sumber masuk yang memungkinkan AWS Glue untuk terhubung. AWS Glue Konsol mencantumkan semua grup keamanan yang diberikan akses masuk ke AndaVPC. AWS Glue mengaitkan grup keamanan ini dengan elastic network interface yang terpasang pada VPC subnet Anda.

Koneksi Vertica

Gunakan properti berikut untuk mengatur koneksi Vertica untuk AWS Glue ETL pekerjaan.

Tuan Rumah Vertica

Nama host instalasi Vertica Anda.

Pelabuhan Vertica

Port instalasi Vertica Anda tersedia melalui.

AWS Rahasia

Nama Rahasia dari sebuah rahasia di AWS Secrets Manager AWS Glue akan terhubung ke Vertica menggunakan kunci rahasia Anda.

Gunakan properti berikut saat mengonfigurasi sambungan ke titik akhir Vertica yang dihosting di Amazon. VPC

VPC

Pilih nama virtual private cloud (VPC) yang berisi penyimpanan data Anda. AWS Glue Konsol mencantumkan semua VPCs untuk Wilayah saat ini.

Subnet

Pilih subnet di dalam VPC yang berisi penyimpanan data Anda. AWS Glue Konsol mencantumkan semua subnet untuk penyimpanan data di AndaVPC.

Grup keamanan

Pilih grup keamanan yang terkait dengan penyimpanan data Anda. AWS Glue memerlukan satu atau lebih grup keamanan dengan aturan sumber masuk yang memungkinkan AWS Glue untuk terhubung. AWS Glue Konsol mencantumkan semua grup keamanan yang diberikan akses masuk ke AndaVPC. AWS Glue mengaitkan grup keamanan ini dengan elastic network interface yang terpasang pada VPC subnet Anda.

SAPHANAkoneksi

Gunakan properti berikut untuk mengatur SAP HANA koneksi untuk AWS Glue ETL pekerjaan.

SAP HANA URL

A SAP JDBCURL.

SAPHANAJDBCURLsberada dalam bentuk jdbc:sap://saphanaHostname:saphanaPort/?databaseName=saphanaDBname,ParameterName=ParameterValue

AWS Glue membutuhkan JDBC URL parameter berikut:

  • databaseName— Database default SAP HANA untuk terhubung ke.

AWS Rahasia

Nama Rahasia dari sebuah rahasia di AWS Secrets Manager AWS Glue akan terhubung SAP HANA menggunakan kunci rahasia Anda.

Gunakan properti berikut saat mengonfigurasi sambungan ke SAP HANA titik akhir yang dihosting di Amazon: VPC

VPC

Pilih nama virtual private cloud (VPC) yang berisi penyimpanan data Anda. AWS Glue Konsol mencantumkan semua VPCs untuk Wilayah saat ini.

Subnet

Pilih subnet di dalam VPC yang berisi penyimpanan data Anda. AWS Glue Konsol mencantumkan semua subnet untuk penyimpanan data di AndaVPC.

Grup keamanan

Pilih grup keamanan yang terkait dengan penyimpanan data Anda. AWS Glue memerlukan satu atau lebih grup keamanan dengan aturan sumber masuk yang memungkinkan AWS Glue untuk terhubung. AWS Glue Konsol mencantumkan semua grup keamanan yang diberikan akses masuk ke AndaVPC. AWS Glue mengaitkan grup keamanan ini dengan elastic network interface yang terpasang pada VPC subnet Anda.

Koneksi Azure SQL

Gunakan properti berikut untuk menyiapkan SQL koneksi Azure untuk AWS Glue ETL pekerjaan.

Azure SQL URL

Titik JDBC URL SQL akhir Azure.

URLHarus dalam format berikut:jdbc:sqlserver://databaseServerName:databasePort;databaseName=azuresqlDBname;.

AWS Glue membutuhkan URL properti berikut:

  • databaseName— Database default di Azure SQL untuk terhubung ke.

Untuk informasi selengkapnya tentang JDBC URLs Instans SQL Terkelola Azure, lihat dokumentasi Microsoft.

AWS Rahasia

Nama Rahasia dari sebuah rahasia di AWS Secrets Manager AWS Glue akan terhubung ke Azure SQL menggunakan kunci rahasia Anda.

Koneksi Teradata Vantage

Gunakan properti berikut untuk menyiapkan koneksi Teradata Vantage untuk pekerjaan. AWS Glue ETL

Teradata URL

Untuk menyambung ke instance Teradata, tentukan nama host untuk instance database dan parameter Teradata yang relevan:

jdbc:teradata://teradataHostname/ParameterName=ParameterValue,ParameterName=ParameterValue.

AWS Glue mendukung JDBC URL parameter berikut:

  • DATABASE_NAME— Database default di Teradata untuk terhubung ke.

  • DBS_PORT- Menentukan port Teradata, jika tidak standar.

AWS Rahasia

Nama Rahasia dari sebuah rahasia di AWS Secrets Manager AWS Glue akan terhubung ke Teradata Vantage menggunakan kunci rahasia Anda.

Gunakan properti berikut saat mengonfigurasi sambungan ke titik akhir Teradata Vantage yang dihosting di Amazon: VPC

VPC

Pilih nama virtual private cloud (VPC) yang berisi penyimpanan data Anda. AWS Glue Konsol mencantumkan semua VPCs untuk Wilayah saat ini.

Subnet

Pilih subnet di dalam VPC yang berisi penyimpanan data Anda. AWS Glue Konsol mencantumkan semua subnet untuk penyimpanan data di AndaVPC.

Grup keamanan

Pilih grup keamanan yang terkait dengan penyimpanan data Anda. AWS Glue memerlukan satu atau lebih grup keamanan dengan aturan sumber masuk yang memungkinkan AWS Glue untuk terhubung. AWS Glue Konsol mencantumkan semua grup keamanan yang diberikan akses masuk ke AndaVPC. AWS Glue mengaitkan grup keamanan ini dengan elastic network interface yang terpasang pada VPC subnet Anda.

OpenSearch Koneksi layanan

Gunakan properti berikut untuk menyiapkan sambungan OpenSearch Layanan untuk AWS Glue ETL pekerjaan.

Titik akhir domain

Titik akhir domain OpenSearch Layanan Amazon akan memiliki formulir default berikut, https://search -domainName-unstructuredIdContent.region.es.amazonaws.com. Untuk informasi selengkapnya tentang mengidentifikasi titik akhir domain Anda, lihat Membuat dan mengelola domain OpenSearch Layanan Amazon di dokumentasi OpenSearch Layanan Amazon.

Port

Port terbuka di titik akhir.

AWS Rahasia

Nama rahasia rahasia di AWS Secrets Manager. AWS Glue akan terhubung ke OpenSearch Layanan menggunakan kunci rahasia Anda.

Gunakan properti berikut saat mengonfigurasi sambungan ke titik akhir OpenSearch Layanan yang dihosting di Amazon: VPC

VPC

Pilih nama virtual private cloud (VPC) yang berisi penyimpanan data Anda. AWS Glue Konsol mencantumkan semua VPCs untuk Wilayah saat ini.

Subnet

Pilih subnet di dalam VPC yang berisi penyimpanan data Anda. AWS Glue Konsol mencantumkan semua subnet untuk penyimpanan data di AndaVPC.

Grup keamanan

Pilih grup keamanan yang terkait dengan penyimpanan data Anda. AWS Glue memerlukan satu atau lebih grup keamanan dengan aturan sumber masuk yang memungkinkan AWS Glue untuk terhubung. AWS Glue Konsol mencantumkan semua grup keamanan yang diberikan akses masuk ke AndaVPC. AWS Glue mengaitkan grup keamanan ini dengan elastic network interface yang terpasang pada VPC subnet Anda.

Koneksi Azure Cosmos

Gunakan properti berikut untuk menyiapkan koneksi Azure Cosmos untuk AWS Glue ETL pekerjaan.

Titik Akhir Akun Azure Cosmos DB URI

Titik akhir yang digunakan untuk terhubung ke Azure Cosmos. Untuk informasi selengkapnya, lihat dokumentasi Azure.

AWS Rahasia

Nama rahasia rahasia di AWS Secrets Manager. AWS Glue akan terhubung ke Azure Cosmos menggunakan kunci rahasia Anda.

AWS Glue SSLproperti koneksi

Berikut ini adalah rincian tentang properti Memerlukan SSL koneksi.

Jika Anda tidak memerlukan SSL koneksi, AWS Glue abaikan kegagalan saat digunakan SSL untuk mengenkripsi koneksi ke penyimpanan data. Lihat dokumentasi untuk penyimpanan data Anda untuk melihat petunjuk konfigurasi. Saat Anda memilih opsi ini, job run, crawler, atau ETL pernyataan di titik akhir pengembangan gagal saat AWS Glue tidak dapat terhubung.

catatan

Snowflake mendukung SSL koneksi secara default, jadi properti ini tidak berlaku untuk Snowflake.

Opsi ini divalidasi di sisi AWS Glue klien. Untuk JDBC koneksi, AWS Glue hanya menghubungkan SSL dengan sertifikat dan validasi nama host. SSLdukungan koneksi tersedia untuk:

  • Oracle Database

  • SQLServer Microsoft

  • Postgre SQL

  • Amazon Redshift

  • Saya SQL (hanya RDS contoh Amazon)

  • Amazon Aurora My (hanya RDS contoh SQL Amazon)

  • Amazon Aurora PostgreSQL (Hanya RDS contoh Amazon)

  • Kafka, yang meliputi Amazon Managed Streaming for Apache Kafka

  • MongoDB

catatan

Untuk mengaktifkan penyimpanan data Amazon RDS Oracle untuk menggunakan Memerlukan SSL koneksi, Anda harus membuat dan melampirkan grup opsi ke instance Oracle.

  1. Masuk ke AWS Management Console dan buka RDS konsol Amazon di https://console.aws.amazon.com/rds/.

  2. Tambahkan grup Opsi ke instance Amazon RDS Oracle. Untuk informasi selengkapnya tentang cara menambahkan grup opsi di RDS konsol Amazon, lihat Membuat Grup Opsi

  3. Tambahkan Opsi ke grup opsi untuk SSL. Port yang Anda tentukan nanti SSL digunakan saat Anda membuat AWS Glue JDBC koneksi URL untuk instans Amazon RDS Oracle. Untuk informasi selengkapnya tentang cara menambahkan opsi di RDS konsol Amazon, lihat Menambahkan Opsi ke Grup Opsi di Panduan RDS Pengguna Amazon. Untuk informasi selengkapnya tentang SSL opsi Oracle, lihat Oracle SSL di RDSPanduan Pengguna Amazon.

  4. Di AWS Glue konsol, buat koneksi ke instance Amazon RDS Oracle. Dalam definisi koneksi, pilih Memerlukan SSL koneksi. Saat diminta, masukkan Port yang Anda gunakan di SSL opsi Amazon RDS Oracle.

Properti opsional tambahan berikut tersedia saat Memerlukan SSL koneksi dipilih untuk koneksi:

JDBCSertifikat kustom di S3

Jika Anda memiliki sertifikat yang saat ini Anda gunakan untuk SSL komunikasi dengan database lokal atau cloud, Anda dapat menggunakan sertifikat tersebut untuk SSL koneksi ke sumber AWS Glue data atau target. Masukkan lokasi Amazon Simple Storage Service (Amazon S3) Simple Storage Service (Amazon S3) yang berisi sertifikat root khusus. AWS Glue menggunakan sertifikat ini untuk membuat SSL koneksi ke database. AWS Glue hanya menangani sertifikat X.509. Sertifikat harus DER dikodekan dan disediakan dalam format pengkodean base64. PEM

Jika bidang ini dibiarkan kosong, sertifikat default akan digunakan.

String JDBC sertifikat kustom

Masukkan informasi sertifikat khusus untuk JDBC database Anda. String ini digunakan untuk pencocokan domain atau pencocokan nama yang dibedakan (DN). Untuk Basis Data Oracle, string ini memetakan ke parameter SSL_SERVER_CERT_DN di bagian keamanan file tnsnames.ora. Untuk Microsoft SQL Server, string ini digunakan sebagaihostNameInCertificate.

Berikut ini adalah contoh untuk parameter SSL_SERVER_CERT_DN Basis Data Oracle.

cn=sales,cn=OracleContext,dc=us,dc=example,dc=com
Lokasi sertifikat CA pribadi Kafka

Jika Anda memiliki sertifikat yang saat ini Anda gunakan untuk SSL komunikasi dengan toko data Kafka Anda, Anda dapat menggunakan sertifikat itu dengan AWS Glue koneksi Anda. Opsi ini diperlukan untuk penyimpanan data Kafka, dan opsional untuk penyimpanan Amazon Managed Streaming for Apache Kafka data. Masukkan lokasi Amazon Simple Storage Service (Amazon S3) Simple Storage Service (Amazon S3) yang berisi sertifikat root khusus. AWS Glue menggunakan sertifikat ini untuk membuat SSL koneksi ke penyimpanan data Kafka. AWS Glue hanya menangani sertifikat X.509. Sertifikat harus DER dikodekan dan disediakan dalam format pengkodean base64. PEM

Lewati validasi sertifikat

Pilih kotak centang Lewati validasi sertifikat untuk melewati validasi sertifikat kustom oleh. AWS Glue Jika Anda memilih untuk memvalidasi, AWS Glue memvalidasi algoritma tanda tangan dan algoritma kunci publik subjek untuk sertifikat. Jika sertifikat gagal validasi, ETL pekerjaan atau crawler apa pun yang menggunakan koneksi gagal.

Satu-satunya algoritma tanda tangan yang diizinkan adalahSHA256withRSA,SHA384withRSA, atauSHA512withRSA. Untuk algoritme kunci publik subjek, panjang kunci minimal harus 2048.

Lokasi keystore klien Kafka

Lokasi Amazon S3 dari file keystore klien untuk autentikasi sisi klien Kafka. Path harus dalam bentuk s3://bucket/prefix/filename.jks. Ini harus diakhiri dengan nama file dan ekstensi.jks.

Kata sandi keystore klien Kafka (opsional)

Kata sandi untuk mengakses keystore yang disediakan.

Kata sandi kunci klien Kafka (opsional)

Sebuah keystore dapat terdiri dari beberapa kunci, jadi ini adalah kata sandi untuk mengakses kunci klien yang akan digunakan dengan kunci sisi server Kafka.

Properti koneksi Apache Kafka untuk otentikasi klien

AWS Glue mendukung kerangka kerja Simple Authentication and Security Layer (SASL) untuk otentikasi saat Anda membuat koneksi Apache Kafka. SASLKerangka kerja ini mendukung berbagai mekanisme otentikasi, dan AWS Glue menawarkan SCRAM (nama pengguna dan kata sandi), GSSAPI (protokol Kerberos), dan protokol. PLAIN

Gunakan AWS Glue Studio untuk mengkonfigurasi salah satu metode otentikasi klien berikut. Untuk informasi selengkapnya, lihat Membuat koneksi untuk konektor di panduan AWS Glue Studio pengguna.

  • Tidak ada - Tidak ada otentikasi. Ini berguna jika membuat koneksi untuk tujuan pengujian.

  • SASL/SCRAM- SHA -512 - Memilih metode otentikasi ini akan memungkinkan Anda untuk menentukan kredensi otentikasi. Ada dua opsi yang tersedia:

    • Gunakan AWS Secrets Manager (disarankan) - jika Anda memilih opsi ini, Anda dapat menyimpan nama pengguna dan kata sandi Anda di AWS Secrets Manager dan membiarkan AWS Glue mengaksesnya bila diperlukan. Tentukan rahasia yang menyimpan kredensyal SSL atau SASL otentikasi. Untuk informasi selengkapnya, lihat Menyimpan kredensi koneksi di AWS Secrets Manager.

    • Berikan nama pengguna dan kata sandi secara langsung.

  • SASL/GSSAPI (Kerberos) - if you select this option, you can select the location of the keytab file, krb5.conf file and enter the Kerberos principal name and Kerberos service name. The locations for the keytab file and krb5.conf file must be in an Amazon S3 location. Since MSK does not yet support SASL/GSSAPI, opsi ini hanya tersedia untuk cluster Apache Kafka yang dikelola pelanggan. Untuk informasi selengkapnya, lihat Dokumentasi MIT Kerberos: Keytab.

  • SASL/PLAIN- pilih metode otentikasi ini untuk menentukan kredensyal otentikasi. Ada dua opsi yang tersedia:

    • Gunakan AWS Secrets Manager (disarankan) - jika Anda memilih opsi ini, Anda dapat menyimpan kredensyal Anda di AWS Secrets Manager dan membiarkan AWS Glue mengakses informasi bila diperlukan. Tentukan rahasia yang menyimpan kredensyal SSL atau SASL otentikasi.

    • Berikan nama pengguna dan kata sandi secara langsung.

  • SSLOtentikasi Klien - jika Anda memilih opsi ini, Anda dapat memilih lokasi keystore klien Kafka dengan menjelajahi Amazon S3. Secara opsional, Anda dapat memasukkan kata sandi keystore klien Kafka dan kata sandi kunci klien Kafka.

BigQuery Koneksi Google

Properti berikut digunakan untuk mengatur BigQuery koneksi Google yang digunakan dalam AWS Glue ETL pekerjaan. Untuk informasi selengkapnya, lihat BigQuery koneksi.

AWS Rahasia

Nama rahasia rahasia di AWS Secrets Manager. AWS Glue ETLpekerjaan akan terhubung ke Google BigQuery menggunakan credentials kunci rahasia Anda.

Koneksi Vertica

Properti berikut digunakan untuk mengatur koneksi Vertica yang digunakan dalam AWS Glue ETL pekerjaan. Untuk informasi selengkapnya, lihat Koneksi Vertica.