Konektor Pergeseran Merah Amazon Athena - Amazon Athena
PrasyaratBatasanKetentuanParameterDukungan tipe dataPartisi dan splitKinerjaKueri passthroughSumber daya tambahan

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Konektor Pergeseran Merah Amazon Athena

Konektor Amazon Athena Redshift memungkinkan Amazon Athena mengakses database Amazon Redshift dan Amazon Redshift Serverless Anda, termasuk tampilan Redshift Tanpa Server. Anda dapat terhubung ke salah satu layanan menggunakan pengaturan konfigurasi string JDBC koneksi yang dijelaskan di halaman ini.

Prasyarat

Batasan

  • DDLOperasi tulis tidak didukung.

  • Dalam pengaturan multiplexer, bucket tumpahan dan awalan dibagikan di semua instance database.

  • Batas Lambda yang relevan. Untuk informasi selengkapnya, lihat Kuota Lambda dalam Panduan Pengembang AWS Lambda .

  • Karena Redshift tidak mendukung partisi eksternal, semua data yang ditentukan oleh kueri diambil setiap saat.

  • Seperti Redshift, Athena memperlakukan ruang belakang dalam tipe CHAR Redshift sebagai semantik tidak signifikan untuk panjang dan tujuan perbandingan. Perhatikan bahwa ini hanya berlaku untuk CHAR tetapi tidak untuk VARCHAR tipe. Athena mengabaikan spasi tambahan untuk CHAR tipe tersebut, tetapi memperlakukannya sebagai hal yang signifikan untuk jenisnya. VARCHAR

Ketentuan

Istilah-istilah berikut berhubungan dengan konektor Redshift.

  • Instans database — Instance apa pun dari database yang digunakan di tempat, di AmazonEC2, atau di AmazonRDS.

  • Handler - Handler Lambda yang mengakses instance database Anda. Handler bisa untuk metadata atau untuk catatan data.

  • Metadata handler — Penangan Lambda yang mengambil metadata dari instance database Anda.

  • Record handler - Handler Lambda yang mengambil catatan data dari instance database Anda.

  • Composite handler — Handler Lambda yang mengambil data metadata dan data dari instance database Anda.

  • Properti atau parameter - Properti database yang digunakan oleh penangan untuk mengekstrak informasi database. Anda mengonfigurasi properti ini sebagai variabel lingkungan Lambda.

  • Connection String — Sebuah string teks yang digunakan untuk membuat koneksi ke instance database.

  • Katalog —AWS Glue Non-katalog yang terdaftar di Athena yang merupakan awalan yang diperlukan untuk properti. connection_string

  • Multiplexing handler - Handler Lambda yang dapat menerima dan menggunakan beberapa koneksi database.

Parameter

Gunakan variabel lingkungan Lambda di bagian ini untuk mengonfigurasi konektor Redshift.

String koneksi

Gunakan string JDBC koneksi dalam format berikut untuk terhubung ke instance database.

redshift://${jdbc_connection_string}

Menggunakan handler multiplexing

Anda dapat menggunakan multiplexer untuk terhubung ke beberapa instance database dengan satu fungsi Lambda. Permintaan dirutekan dengan nama katalog. Gunakan kelas berikut di Lambda.

Handler Kelas
Handler komposit RedshiftMuxCompositeHandler
Penangan metadata RedshiftMuxMetadataHandler
Rekam handler RedshiftMuxRecordHandler

Parameter handler multiplexing

Parameter Deskripsi
$catalog_connection_string Wajib. Sebuah string koneksi instance database. Awalan variabel lingkungan dengan nama katalog yang digunakan di Athena. Misalnya, jika katalog terdaftar di Athena adalahmyredshiftcatalog, maka nama variabel lingkungan adalah. myredshiftcatalog_connection_string
default Wajib. String koneksi default. String ini digunakan saat katalog lambda:${AWS_LAMBDA_FUNCTION_NAME}.

Contoh properti berikut adalah untuk fungsi Redshift MUX Lambda yang mendukung dua instance database: redshift1 (default), dan. redshift2

Properti Nilai
default redshift://jdbc:redshift://redshift1.host:5439/dev?user=sample2&password=sample2
redshift_catalog1_connection_string redshift://jdbc:redshift://redshift1.host:3306/default?${Test/RDS/Redshift1}
redshift_catalog2_connection_string redshift://jdbc:redshift://redshift2.host:3333/default?user=sample2&password=sample2

Memberikan kredensi

Untuk memberikan nama pengguna dan kata sandi untuk database Anda dalam string JDBC koneksi Anda, Anda dapat menggunakan properti string koneksi atau AWS Secrets Manager.

  • Connection String - Nama pengguna dan kata sandi dapat ditentukan sebagai properti dalam string JDBC koneksi.

    penting

    Sebagai praktik keamanan terbaik, jangan gunakan kredensi hardcode dalam variabel lingkungan atau string koneksi Anda. Untuk informasi tentang memindahkan rahasia hardcode Anda AWS Secrets Manager, lihat Memindahkan rahasia hardcode ke AWS Secrets Manager dalam Panduan Pengguna.AWS Secrets Manager

  • AWS Secrets Manager— Untuk menggunakan fitur Kueri Federasi Athena dengan AWS Secrets Manager, fungsi yang VPC terhubung ke Lambda Anda harus memiliki akses internet atau titik VPCakhir untuk terhubung ke Secrets Manager.

    Anda dapat memasukkan nama rahasia ke AWS Secrets Manager dalam string JDBC koneksi Anda. Konektor menggantikan nama rahasia dengan password nilai username dan dari Secrets Manager.

    Untuk instance RDS database Amazon, dukungan ini terintegrasi erat. Jika Anda menggunakan AmazonRDS, kami sangat menyarankan penggunaan AWS Secrets Manager dan rotasi kredenal. Jika database Anda tidak menggunakan AmazonRDS, simpan kredensialnya seperti JSON dalam format berikut:

    {"username": "${username}", "password": "${password}"}
Contoh string koneksi dengan nama rahasia

String berikut memiliki nama rahasia $ {Test/RDS/Redshift1}.

redshift://jdbc:redshift://redshift1.host:3306/default?...&${Test/RDS/Redshift1}&...

Konektor menggunakan nama rahasia untuk mengambil rahasia dan memberikan nama pengguna dan kata sandi, seperti pada contoh berikut.

redshift://jdbc:redshift://redshift1.host:3306/default?...&user=sample2&password=sample2&...

Saat ini, konektor Redshift mengenali properti dan. user password JDBC

Parameter tumpahan

Lambda SDK dapat menumpahkan data ke Amazon S3. Semua instance database yang diakses oleh fungsi Lambda yang sama tumpah ke lokasi yang sama.

Parameter Deskripsi
spill_bucket Wajib. Nama ember tumpahan.
spill_prefix Wajib. Tumpahkan key prefix bucket.
spill_put_request_headers (Opsional) Peta header permintaan dan nilai yang JSON dikodekan untuk putObject permintaan Amazon S3 yang digunakan untuk menumpahkan (misalnya,). {"x-amz-server-side-encryption" : "AES256"} Untuk kemungkinan header lainnya, lihat PutObjectdi APIReferensi Layanan Penyimpanan Sederhana Amazon.

Dukungan tipe data

Tabel berikut menunjukkan tipe data yang sesuai untuk JDBC dan Apache Arrow.

JDBC Panah
Boolean Bit
Bilangan Bulat Mungil
Pendek orang kecil
Bilangan Bulat Int
Long Bigint
float Mengapung4
Ganda Mengapung8
Tanggal DateDay
Stempel Waktu DateMilli
String Varchar
Byte Varbiner
BigDecimal Decimal
ARRAY Daftar

Partisi dan split

Redshift tidak mendukung partisi eksternal. Untuk informasi tentang masalah terkait kinerja, lihatKinerja.

Kinerja

Konektor Athena Redshift melakukan pushdown predikat untuk mengurangi data yang dipindai oleh kueri. LIMITklausa, ORDER BY klausa, predikat sederhana, dan ekspresi kompleks didorong ke konektor untuk mengurangi jumlah data yang dipindai dan mengurangi waktu eksekusi kueri. Namun, memilih subset kolom terkadang menghasilkan runtime eksekusi kueri yang lebih lama. Amazon Redshift sangat rentan terhadap perlambatan eksekusi kueri saat Anda menjalankan beberapa kueri secara bersamaan.

LIMITklausa

LIMIT NPernyataan mengurangi data yang dipindai oleh kueri. Dengan LIMIT N pushdown, konektor hanya mengembalikan N baris ke Athena.

Kueri N teratas

NKueri teratas menentukan urutan set hasil dan batas jumlah baris yang dikembalikan. Anda dapat menggunakan jenis kueri ini untuk menentukan nilai N maks teratas atau nilai N min teratas untuk kumpulan data Anda. Dengan N pushdown atas, konektor hanya mengembalikan baris yang N dipesan ke Athena.

Predikat

Predikat adalah ekspresi dalam WHERE klausa SQL kueri yang mengevaluasi nilai Boolean dan memfilter baris berdasarkan beberapa kondisi. Konektor Athena Redshift dapat menggabungkan ekspresi ini dan mendorongnya langsung ke Redshift untuk meningkatkan fungsionalitas dan untuk mengurangi jumlah data yang dipindai.

Operator konektor Athena Redshift berikut mendukung pushdown predikat:

  • Boolean:AND, ATAU, NOT

  • Kesetaraan:EQUAL, NOT _, _EQUAL, LESS _ LESS THAN _OR_THAN, _EQUAL, _ GREATER _ATAU_THAN, GREATER IS_ _, THAN _JIKAEQUAL, DISTINCT IS_ FROM NULL NULL

  • Aritmatika:ADD,,,,SUBTRACT, MULTIPLY DIVIDE MODULUS NEGATE

  • Lainnya: LIKE _PATTERN, IN

Contoh pushdown gabungan

Untuk kemampuan kueri yang ditingkatkan, gabungkan jenis pushdown, seperti pada contoh berikut:

SELECT * 
FROM my_table 
WHERE col_a > 10 
    AND ((col_a + col_b) > (col_c % col_d)) 
    AND (col_e IN ('val1', 'val2', 'val3') OR col_f LIKE '%pattern%') 
ORDER BY col_a DESC 
LIMIT 10;

Untuk artikel tentang penggunaan pushdown predikat untuk meningkatkan kinerja dalam kueri federasi, termasuk Amazon Redshift, lihat Meningkatkan kueri federasi dengan pushdown predikat di Amazon Athena di Blog Big Data.AWS

Kueri passthrough

Konektor Redshift mendukung kueri passthrough. Kueri passthrough menggunakan fungsi tabel untuk mendorong kueri lengkap Anda ke sumber data untuk dieksekusi.

Untuk menggunakan kueri passthrough dengan Redshift, Anda dapat menggunakan sintaks berikut:

SELECT * FROM TABLE(
        system.query(
            query => 'query string'
        ))

Contoh kueri berikut mendorong kueri ke sumber data di Redshift. Kueri memilih semua kolom dalam customer tabel, membatasi hasilnya menjadi 10.

SELECT * FROM TABLE(
        system.query(
            query => 'SELECT * FROM customer LIMIT 10'
        ))

Sumber daya tambahan

Untuk informasi versi JDBC driver terbaru, lihat file pom.xml untuk konektor Redshift di.com. GitHub

Untuk informasi tambahan tentang konektor ini, kunjungi situs terkait GitHub di.com.