Amazon Athena Azure Synapse 連接器

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

適用於 Azure Synapse 分析的 Amazon Athena 連接器可讓 Amazon Athena 使用 JDBC 對 Azure Synapse 資料庫執行 SQL 查詢。

此連接器無法向 Glue Data Catalog 註冊為聯合型目錄。此連接器不支援 Lake Formation 中在目錄、資料庫、資料表、資料欄、資料列和標籤層級定義的資料存取控制。此連接器使用 Glue Connections 來集中 Glue 中的組態屬性。

先決條件

限制

條款

參數

使用本節中的參數來設定 Synapse 連接器。

連接字串

使用下列格式的 JDBC 連接字串來連接資料庫執行個體。

synapse://${jdbc_connection_string}

使用多工處理常式

您可以使用多工器透過單一 Lambda 函數連接到多個資料庫執行個體。按目錄名稱路由請求。在 Lambda 中使用下列類別。

多工處理常式參數

下列範例屬性適用於支援兩個資料庫執行個體的 Synapse MUX Lambda 函數：synapse1 (預設) 和 synapse2。

提供憑證

要在 JDBC 連接字串中提供資料庫的使用者名稱和密碼，可以使用連接字串屬性或 AWS Secrets Manager。

帶有秘密名稱的連接字串範例

以下字串具有秘密名稱 ${secret_name}。

synapse://jdbc:synapse://hostname:port;databaseName=<database_name>;${secret_name}

連接器會使用秘密名稱來擷取秘密並提供使用者名稱和密碼，如下列範例所示。

synapse://jdbc:synapse://hostname:port;databaseName=<database_name>;user=<user>;password=<password>

使用單一連接處理常式

您可以使用下列單一連接中繼資料和記錄處理常式來連接至單一 Synapse 執行個體。

單一連接處理常式參數

單一連接處理常式支援一個資料庫執行個體，並且必須提供 default 連接字串參數。忽略所有其他連接字串。

下列範例屬性適用於 Lambda 函數所支援的單一 Synapse 執行個體。

設定 Active Directory 身分驗證

Amazon Athena Azure Synapse 連接器支援 Microsoft Active Directory 身分驗證。開始之前，您必須在 Microsoft Azure 入口網站中設定管理使用者，然後使用 AWS Secrets Manager 建立秘密。

修改連線字串

若要啟用連接器的 Active Directory 身分驗證，請使用下列語法修改連線字串：

synapse://jdbc:synapse://hostname:port;databaseName=database_name;authentication=ActiveDirectoryPassword;{secret_name}

使用 ActiveDirectoryServicePrincipal

Amazon Athena Azure Synapse 連接器也支援 ActiveDirectoryServicePrincipal。若要啟用此功能，請依照下列方式修改連線字串。

synapse://jdbc:synapse://hostname:port;databaseName=database_name;authentication=ActiveDirectoryServicePrincipal;{secret_name}

對於 secret_name，指定應用程式或用戶端 ID 做為密碼中服務主體識別的使用者名稱和秘密。

溢出參數

Lambda SDK 可能會將資料溢出至 Amazon S3。由相同 Lambda 函數存取的所有資料庫執行個體溢出到相同的位置。

支援的資料類型

下表顯示 Synapse 和 Apache Arrow 的相應資料類型。

分割區和分隔

分割區由 varchar 類型的單一分割區資料欄表示。Synapse 支援範圍分割，因此透過從 Synapse 中繼資料表中擷取分割區資料欄和分割區範圍來執行分割。這些範圍值用於建立分割。

效能

選取資料欄子集會大幅拖慢查詢執行時間。連接器會顯示因為並行而導致的嚴重限流。

Athena Synapse 連接器執行述詞下推，以減少查詢掃描的資料。簡單述詞和複雜表達式會下推至連接器，以減少掃描的資料量並減少查詢執行時間。

述詞

述詞是 SQL 查詢的 WHERE 子句中的一種表達式，它會評估為布林值，並根據多個條件篩選資料列。Athena Synapse 連接器可以合併這些表達式，並將其直接推送至 Synapse，以增強功能並減少掃描的資料量。

下列 Athena Synapse 連接器運算子支援述詞下推：

合併下推範例

如需增強的查詢功能，請合併下推類型，如以下範例所示：

SELECT * 
FROM my_table 
WHERE col_a > 10 
    AND ((col_a + col_b) > (col_c % col_d)) 
    AND (col_e IN ('val1', 'val2', 'val3') OR col_f LIKE '%pattern%');

傳遞查詢

Synapse 連接器支援傳遞查詢。傳遞查詢使用資料表函數，將您的完整查詢向下推送至資料來源以進行執行。

若要搭配 Synapse 使用傳遞查詢，您可以使用下列語法：

SELECT * FROM TABLE(
        system.query(
            query => 'query string'
        ))

下列範例查詢會將查詢向下推送到 Synapse 中的資料來源。查詢會選取customer資料表中的所有資料欄，將結果限制為 10。

SELECT * FROM TABLE(
        system.query(
            query => 'SELECT * FROM customer LIMIT 10'
        ))

授權資訊

使用此連接器，即表示您確認已包含第三方元件，可在此連接器的 pom.xml 檔案中找到其清單，並同意 GitHub.com 上 LICENSE.txt 檔案中提供的相應第三方授權中的條款。

其他資源