Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Koneksi kepingan salju

Anda dapat menggunakan AWS Glue for Spark untuk membaca dan menulis ke tabel di Snowflake di AWS Glue 4.0 dan versi yang lebih baru. Anda dapat membaca dari Snowflake dengan query SQL. Anda dapat terhubung ke Snowflake menggunakan pengguna dan kata sandi. Anda dapat merujuk ke kredensil Snowflake yang disimpan melalui AWS Secrets Manager Katalog Data GlueAWS. Katalog Data Kredensil Kepingan Salju untuk AWS Glue for Spark disimpan secara terpisah dari kredenal Kepingan Salju Katalog Data untuk perayap. Anda harus memilih SNOWFLAKE jenis koneksi dan bukan jenis koneksi yang JDBC dikonfigurasi untuk terhubung ke Snowflake.

Untuk informasi lebih lanjut tentang Snowflake, lihat situs web Snowflake. Untuk informasi selengkapnya tentang SnowflakeAWS, lihat Snowflake Data Warehouse di Amazon Web Services.

Mengkonfigurasi koneksi Snowflake

Tidak ada AWS prasyarat untuk menghubungkan ke database Snowflake yang tersedia melalui internet.

Secara opsional, Anda dapat melakukan konfigurasi berikut untuk mengelola kredensil koneksi Anda dengan Glue. AWS

Dalam situasi berikut, Anda mungkin memerlukan yang berikut:

Membaca dari tabel Snowflake

Prasyarat: Meja Kepingan Salju yang ingin Anda baca. Anda akan membutuhkan nama tabel Snowflake, TableName. Anda akan memerlukan url Snowflake Anda SnowFlakeUrl, nama pengguna SnowFlakeUser dan kata sandi SnowFlakePassword. Jika pengguna Snowflake Anda tidak memiliki set namespace default, Anda akan memerlukan nama database Snowflake, DatabaseName dan nama skema SchemaName. Selain itu, jika pengguna Snowflake Anda tidak memiliki set gudang default, Anda akan memerlukan nama gudang WarehouseName.

Sebagai contoh:

Prasyarat Tambahan: Selesaikan langkah-langkah Untuk mengelola kredensil koneksi Anda dengan AWS Glue untuk mengkonfigurasi SnowFlakeUrl, SnowFlakeUsername dan SnowFlakePassword. Untuk meninjau langkah-langkah ini, lihatMengkonfigurasi koneksi Snowflake, bagian sebelumnya. Untuk memilih yang mana Koneksi jaringan tambahan untuk terhubung, kami akan menggunakan connectionName parameter.

snowflake_read = glueContext.create_dynamic_frame.from_options(
  connection_type="snowflake",
  connection_options={
        "connectionName": "connectionName",
        "dbtable": "tableName",
        "sfDatabase": "databaseName",
        "sfSchema": "schemaName",
        "sfWarehouse": "warehouseName",
    }
)

Selain itu, Anda dapat menggunakan query parameter autopushdown dan untuk membaca sebagian dari tabel Snowflake. Ini bisa jauh lebih efisien daripada memfilter hasil Anda setelah dimuat ke Spark. Pertimbangkan contoh di mana semua penjualan disimpan dalam tabel yang sama, tetapi Anda hanya perlu menganalisis penjualan dari toko tertentu pada hari libur. Jika informasi tersebut disimpan dalam tabel, Anda dapat menggunakan predikat pushdown untuk mengambil hasil sebagai berikut:

snowflake_node = glueContext.create_dynamic_frame.from_options(
    connection_type="snowflake",
    connection_options={
        "autopushdown": "on",
        "query": "select * from sales where store='1' and IsHoliday='TRUE'",
        "connectionName": "snowflake-glue-conn",
        "sfDatabase": "databaseName",
        "sfSchema": "schemaName",
        "sfWarehouse": "warehouseName",
    }
)

Menulis ke tabel Snowflake

Prasyarat: Database Snowflake yang ingin Anda tulis. Anda akan memerlukan nama tabel saat ini atau yang diinginkan, TableName. Anda akan memerlukan url Snowflake Anda SnowFlakeUrl, nama pengguna SnowFlakeUser dan kata sandi SnowFlakePassword. Jika pengguna Snowflake Anda tidak memiliki set namespace default, Anda akan memerlukan nama database Snowflake, DatabaseName dan nama skema SchemaName. Selain itu, jika pengguna Snowflake Anda tidak memiliki set gudang default, Anda akan memerlukan nama gudang WarehouseName.

Sebagai contoh:

Prasyarat Tambahan: Selesaikan langkah-langkah Untuk mengelola kredensil koneksi Anda dengan AWS Glue untuk mengkonfigurasi SnowFlakeUrl, SnowFlakeUsername dan SnowFlakePassword. Untuk meninjau langkah-langkah ini, lihatMengkonfigurasi koneksi Snowflake, bagian sebelumnya. Untuk memilih yang mana Koneksi jaringan tambahan untuk terhubung, kami akan menggunakan connectionName parameter.

glueContext.write_dynamic_frame.from_options(
    connection_type="snowflake",
    connection_options={
        "connectionName": "connectionName",
        "dbtable": "tableName",
        "sfDatabase": "databaseName",
        "sfSchema": "schemaName",
        "sfWarehouse": "warehouseName",
    },
)

Referensi opsi koneksi kepingan salju

Jenis koneksi Snowflake mengambil opsi koneksi berikut:

Anda dapat mengambil beberapa parameter di bagian ini dari koneksi Katalog Data (sfUrl,,sfPassword)sfUser, dalam hal ini Anda tidak diharuskan untuk menyediakannya. Anda dapat melakukan ini dengan memberikan parameterconnectionName.

Anda dapat mengambil beberapa parameter di bagian ini dari AWS Secrets Manager rahasia (sfUser,sfPassword), dalam hal ini Anda tidak diharuskan untuk menyediakannya. Rahasianya harus menyediakan konten di bawah sfUser dan sfPassword kunci. Anda dapat melakukan ini dengan memberikan parametersecretId.

Parameter berikut digunakan secara umum saat menghubungkan ke Snowflake.

Opsi berikut digunakan untuk mengonfigurasi perilaku tertentu selama proses menghubungkan ke Snowflake.

Selain itu, beberapa opsi yang tersedia pada konektor Snowflake Spark mungkin didukung di Glue. AWS Untuk informasi selengkapnya tentang opsi yang tersedia di konektor Snowflake Spark, lihat Mengatur Opsi Konfigurasi untuk Konektor dalam dokumentasi Snowflake.

Keterbatasan konektor kepingan salju

Menghubungkan ke Snowflake dengan AWS Glue for Spark tunduk pada batasan berikut.