Konektor Amazon Athena Azure Synapse

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Konektor Amazon Athena untuk analitik Azure Synapse memungkinkan Amazon Athena menjalankan SQL kueri pada database Azure Synapse Anda menggunakan. JDBC

Konektor ini tidak dapat didaftarkan dengan Glue Data Catalog sebagai katalog federasi. Konektor ini tidak mendukung kontrol akses data yang ditentukan dalam Lake Formation di tingkat katalog, database, tabel, kolom, baris, dan tag. Konektor ini menggunakan Glue Connections untuk memusatkan properti konfigurasi di Glue.

Prasyarat

Batasan

Ketentuan

Parameter

Gunakan parameter di bagian ini untuk mengkonfigurasi konektor Synapse.

String koneksi

Gunakan string JDBC koneksi dalam format berikut untuk terhubung ke instance database.

synapse://${jdbc_connection_string}

Menggunakan handler multiplexing

Anda dapat menggunakan multiplexer untuk terhubung ke beberapa instance database dengan satu fungsi Lambda. Permintaan dirutekan dengan nama katalog. Gunakan kelas berikut di Lambda.

Parameter handler multiplexing

Contoh properti berikut adalah untuk fungsi Synapse MUX Lambda yang mendukung dua instance database: synapse1 (default), dan. synapse2

Memberikan kredensi

Untuk memberikan nama pengguna dan kata sandi untuk database Anda dalam string JDBC koneksi Anda, Anda dapat menggunakan properti string koneksi atau AWS Secrets Manager.

Contoh string koneksi dengan nama rahasia

String berikut memiliki nama rahasia $ {secret_name}.

synapse://jdbc:synapse://hostname:port;databaseName=<database_name>;${secret_name}

Konektor menggunakan nama rahasia untuk mengambil rahasia dan memberikan nama pengguna dan kata sandi, seperti pada contoh berikut.

synapse://jdbc:synapse://hostname:port;databaseName=<database_name>;user=<user>;password=<password>

Menggunakan handler koneksi tunggal

Anda dapat menggunakan metadata koneksi tunggal berikut dan penangan rekaman untuk terhubung ke satu instance Synapse.

Parameter handler koneksi tunggal

Penangan koneksi tunggal mendukung satu instance database dan harus menyediakan parameter string default koneksi. Semua string koneksi lainnya diabaikan.

Properti contoh berikut adalah untuk instance Synapse tunggal yang didukung oleh fungsi Lambda.

Mengkonfigurasi otentikasi Direktori Aktif

Konektor Amazon Athena Azure Synapse mendukung Otentikasi Direktori Aktif Microsoft. Sebelum Anda mulai, Anda harus mengkonfigurasi pengguna administratif di portal Microsoft Azure dan kemudian gunakan AWS Secrets Manager untuk membuat rahasia.

Memodifikasi string koneksi

Untuk mengaktifkan Otentikasi Direktori Aktif untuk konektor, ubah string koneksi menggunakan sintaks berikut:

synapse://jdbc:synapse://hostname:port;databaseName=database_name;authentication=ActiveDirectoryPassword;{secret_name}

Menggunakan ActiveDirectoryServicePrincipal

Konektor Amazon Athena Azure Synapse juga mendukung. ActiveDirectoryServicePrincipal Untuk mengaktifkan ini, ubah string koneksi sebagai berikut.

synapse://jdbc:synapse://hostname:port;databaseName=database_name;authentication=ActiveDirectoryServicePrincipal;{secret_name}

Untuksecret_name, tentukan aplikasi atau ID klien sebagai nama pengguna dan rahasia identitas utama layanan dalam kata sandi.

Parameter tumpahan

Lambda SDK dapat menumpahkan data ke Amazon S3. Semua instance database yang diakses oleh fungsi Lambda yang sama tumpah ke lokasi yang sama.

Dukungan tipe data

Tabel berikut menunjukkan tipe data yang sesuai untuk Synapse dan Apache Arrow.

Partisi dan split

Partisi diwakili oleh kolom partisi tunggal tipevarchar. Synapse mendukung partisi rentang, sehingga partisi diimplementasikan dengan mengekstrak kolom partisi dan rentang partisi dari tabel metadata Synapse. Nilai rentang ini digunakan untuk membuat split.

Kinerja

Memilih subset kolom secara signifikan memperlambat runtime kueri. Konektor menunjukkan pelambatan yang signifikan karena konkurensi.

Konektor Athena Synapse melakukan pushdown predikat untuk mengurangi data yang dipindai oleh kueri. Predikat sederhana dan ekspresi kompleks didorong ke konektor untuk mengurangi jumlah data yang dipindai dan mengurangi waktu eksekusi kueri.

Predikat

Predikat adalah ekspresi dalam WHERE klausa SQL kueri yang mengevaluasi nilai Boolean dan memfilter baris berdasarkan beberapa kondisi. Konektor Athena Synapse dapat menggabungkan ekspresi ini dan mendorongnya langsung ke Synapse untuk meningkatkan fungsionalitas dan untuk mengurangi jumlah data yang dipindai.

Operator konektor Athena Synapse berikut mendukung pushdown predikat:

Contoh pushdown gabungan

Untuk kemampuan kueri yang ditingkatkan, gabungkan jenis pushdown, seperti pada contoh berikut:

SELECT * 
FROM my_table 
WHERE col_a > 10 
    AND ((col_a + col_b) > (col_c % col_d)) 
    AND (col_e IN ('val1', 'val2', 'val3') OR col_f LIKE '%pattern%');

Kueri passthrough

Konektor Synapse mendukung kueri passthrough. Kueri passthrough menggunakan fungsi tabel untuk mendorong kueri lengkap Anda ke sumber data untuk dieksekusi.

Untuk menggunakan kueri passthrough dengan Synapse, Anda dapat menggunakan sintaks berikut:

SELECT * FROM TABLE(
        system.query(
            query => 'query string'
        ))

Contoh query berikut mendorong ke bawah query ke sumber data di Synapse. Kueri memilih semua kolom dalam customer tabel, membatasi hasilnya menjadi 10.

SELECT * FROM TABLE(
        system.query(
            query => 'SELECT * FROM customer LIMIT 10'
        ))

Informasi lisensi

Dengan menggunakan konektor ini, Anda mengakui penyertaan komponen pihak ketiga, daftar yang dapat ditemukan dalam file pom.xml untuk konektor ini, dan menyetujui persyaratan dalam masing-masing lisensi pihak ketiga yang disediakan dalam LICENSEfile.txt di .com. GitHub

Sumber daya tambahan