Amazon Athena Azure Data Lake Storage (ADLS) Gen2 連接器

適用於 Azure Data Lake Storage (ADLS) Gen2 的 Amazon Athena 連接器可讓 Amazon Athena 能夠對存放在 ADLS 上的資料執行 SQL 查詢。Athena 無法直接存取資料湖中儲存的檔案。

工作流程 – 連接器實作 JDBC 介面，該介面使用 com.microsoft.sqlserver.jdbc.SQLServerDriver 驅動程式。連接器會將查詢傳遞至 Azure Synapse 引擎，然後其會存取資料湖。
資料處理和 S3 – 一般而言，Lambda 連接器會直接查詢資料，而無需傳輸至 Amazon S3。但是，當 Lambda 函數傳回的資料超過 Lambda 限制時，資料會寫入您指定的 Amazon S3 溢出儲存貯體，以便 Athena 可以讀取多餘的資料。
AAD 身分驗證 – AAD 可用作 Azure Synapse 連接器的身分驗證方法。若要使用 AAD，連接器使用的 JDBC 連線字串必須包含 URL 參數 authentication=ActiveDirectoryServicePrincipal、AADSecurePrincipalId 和 AADSecurePrincipalSecret。這些參數可以直接傳遞，也可以由 Secrets Manager 傳遞。

必要條件

使用 Athena 主控台或 AWS Serverless Application Repository，將連接器部署到您的 AWS 帳戶。如需詳細資訊，請參閱部署資料來源連接器或使用 AWS Serverless Application Repository 部署資料來源連接器。

限制

不支援寫入 DDL 操作。
在多工器設定中，在所有資料庫執行個體之間共用溢出儲存貯體和字首。
任何相關的 Lambda 限制。如需詳細資訊，請參閱《AWS Lambda 開發人員指南》中的 Lambda 配額。
篩選條件中的日期和時間戳記資料類型必須轉換為適當的資料類型。

條款

下列術語與 Azure Data Lake Storage Gen2 連接器相關。

資料庫執行個體 - 在內部部署、Amazon EC2 或 Amazon RDS 上部署的任何資料庫執行個體。
處理常式 - 存取資料庫執行個體的 Lambda 處理常式。處理常式可以用於中繼資料或資料記錄。
中繼資料處理常式 - 從資料庫執行個體中擷取中繼資料的 Lambda 處理常式。
記錄處理常式 - 從資料庫執行個體中擷取資料記錄的 Lambda 處理常式。
複合處理常式 - 從資料庫執行個體中擷取中繼資料和資料記錄的 Lambda 處理常式。
屬性或參數 - 處理常式用來擷取資料庫資訊的資料庫屬性。您可以將這些屬性設定為 Lambda 環境變數。
連接字串 - 用來建立資料庫執行個體連線的文字字串。
目錄 — 在 Athena 註冊的非AWS Glue 目錄，是connection_string屬性的必要前置詞。
多工處理常式 - 可以接受和使用多個資料庫連接的 Lambda 處理常式。

參數

使用本節中的 Lambda 環境變數來設定 Azure Data Lake Storage Gen2 連接器。

連接字串

使用下列格式的 JDBC 連接字串來連接資料庫執行個體。


datalakegentwo://${jdbc_connection_string}

使用多工處理常式

您可以使用多工器透過單一 Lambda 函數連接到多個資料庫執行個體。按目錄名稱路由請求。在 Lambda 中使用下列類別。

處理常式	類別
複合處理常式	`DataLakeGen2MuxCompositeHandler`
中繼資料處理常式	`DataLakeGen2MuxMetadataHandler`
記錄處理常式	`DataLakeGen2MuxRecordHandler`

多工處理常式參數

參數	描述
`$catalog_connection_string`	必要。資料庫執行個體連接字串。在環境變數前面加上 Athena 中使用的目錄名稱。例如，如果向 Athena 註冊的目錄為 `mydatalakegentwocatalog`，則環境變數名稱為 `mydatalakegentwocatalog_connection_string`。
`default`	必要。預設的連接字串。目錄為 `lambda:${AWS_LAMBDA_FUNCTION_NAME}` 時，使用此字串。

下列範例屬性適用於支援兩個資料庫執行個體的 DataLakeGen 2 MUX Lambda 函數：datalakegentwo1(預設值) 和datalakegentwo2.

屬性	Value
`default`	`datalakegentwo://jdbc:sqlserver://adlsgentwo1.hostname:port;databaseName=database_name;${secret1_name}`
`datalakegentwo_catalog1_connection_string`	`datalakegentwo://jdbc:sqlserver://adlsgentwo1.hostname:port;databaseName=database_name;${secret1_name}`
`datalakegentwo_catalog2_connection_string`	`datalakegentwo://jdbc:sqlserver://adlsgentwo2.hostname:port;databaseName=database_name;${secret2_name}`

提供憑證

要在 JDBC 連接字串中提供資料庫的使用者名稱和密碼，可以使用連接字串屬性或 AWS Secrets Manager。

連接字串 - 可以將使用者名稱和密碼指定為 JDBC 連接字串中的屬性。

重要
作為安全最佳實務，請勿在您的環境變數或連線字串中使用硬式編碼憑證。如需有關將硬式編碼密碼移至的資訊 AWS Secrets Manager，請參閱《AWS Secrets Manager 使用指南》 AWS Secrets Manager中的「將硬式編碼密碼移至」。
AWS Secrets Manager— 若要搭配使用 Athena 聯合查詢功能 AWS Secrets Manager，連線至 Lambda 函數的虛擬私人雲端應具有網際網路存取權限，或具有連線至 Secrets Manager 的 VPC 端點。

您可以在 JDBC 連接字符串 AWS Secrets Manager 中輸入秘密名稱。連接器將秘密名稱取代為 Secrets Manager 中的 username 和 password 值。

對於 Amazon RDS 資料庫執行個體，已緊密整合此支援。如果您使用 Amazon RDS，我們強烈建議您使用 AWS Secrets Manager 和登入資料輪替。如果您的資料庫不使用 Amazon RDS，請以下列格式將憑證儲存為 JSON：
```
{"username": "${username}", "password": "${password}"}
```

帶有秘密名稱的連接字串範例

以下字串具有秘密名稱 ${secret1_name}。


datalakegentwo://jdbc:sqlserver://hostname:port;databaseName=database_name;${secret1_name}

連接器會使用秘密名稱來擷取秘密並提供使用者名稱和密碼，如下列範例所示。


datalakegentwo://jdbc:sqlserver://hostname:port;databaseName=database_name;user=user_name;password=password

使用單一連接處理常式

您可以使用下列單一連接中繼資料和記錄處理常式來連接至單一 Azure Data Lake Storage Gen2 執行個體。

處理常式類型	類別
複合處理常式	`DataLakeGen2CompositeHandler`
中繼資料處理常式	`DataLakeGen2MetadataHandler`
記錄處理常式	`DataLakeGen2RecordHandler`

單一連接處理常式參數

參數	描述
`default`	必要。預設的連接字串。

單一連接處理常式支援一個資料庫執行個體，並且必須提供 default 連接字串參數。忽略所有其他連接字串。

下列範例屬性適用於 Lambda 函數所支援的單一 Azure Data Lake Storage Gen2 執行個體。

屬性	Value
`default`	`datalakegentwo://jdbc:sqlserver://hostname:port;databaseName=;${secret_name}`

溢出參數

Lambda SDK 可能會將資料溢出至 Amazon S3。由相同 Lambda 函數存取的所有資料庫執行個體溢出到相同的位置。

參數	描述
`spill_bucket`	必要。溢出儲存貯體名稱。
`spill_prefix`	必要。溢出儲存貯體金鑰字首。
`spill_put_request_headers`	(選用) 用於溢出的 Amazon S3 `putObject` 請求的請求標頭和值的 JSON 編碼映射 (例如，`{"x-amz-server-side-encryption" : "AES256"}`)。如需其他可能的標頭，請參閱 Amazon 簡單儲存服務 API 參考PutObject中的。

支援的資料類型

下表顯示 ADLS Gen2 和 Arrow 的相應資料類型。

ADLS Gen2	Arrow
bit	TINYINT
tinyint	SMALLINT
smallint	SMALLINT
int	INT
bigint	BIGINT
decimal	DECIMAL
numeric	FLOAT8
smallmoney	FLOAT8
money	DECIMAL
float[24]	FLOAT4
float[53]	FLOAT8
real	FLOAT4
datetime	Date(MILLISECOND)
datetime2	Date(MILLISECOND)
smalldatetime	Date(MILLISECOND)
date	Date(DAY)
time	VARCHAR
datetimeoffset	Date(MILLISECOND)
char[n]	VARCHAR
varchar[n/max]	VARCHAR

分割區和分隔

Azure Data Lake Storage Gen2 使用與 Hadoop 相容的 Gen2 Blob 儲存體來儲存資料檔案。從 Azure Synapse 引擎中查詢這些檔案的資料。Azure Synapse 引擎會將儲存在檔案系統中的 Gen2 資料視為外部資料表。根據資料類型實作分割區。如果已在 Gen 2 儲存系統中分割和分配資料，則連接器會以單一分割方式擷取資料。

效能

當一次執行多個查詢時，Azure Data Lake Storage Gen2 連接器會顯示較慢的查詢效能，且會受到限流的影響。

Athena Azure Data Lake Storage Gen2 連接器會執行述詞下推，以減少查詢掃描的資料。簡單述詞和複雜表達式會下推至連接器，以減少掃描的資料量並減少查詢執行時間。

述詞

述詞是 SQL 查詢的 WHERE 子句中的一種表達式，它會評估為布林值，並根據多個條件篩選資料列。Athena Azure Data Lake Storage Gen2 連接器可以合併這些表達式，並將其直接推送至 Azure Data Lake Storage Gen2，以增強功能並減少掃描的資料量。

下列 Athena Azure Data Lake Storage Gen2 連接器運算子支援述詞下推：

布林值：AND、OR、NOT
等式：EQUAL、NOT_EQUAL、LESS_THAN、LESS_THAN_OR_EQUAL、GREATER_THAN、GREATER_THAN_OR_EQUAL、NULL_IF、IS_NULL
算術：ADD、SUBTRACT、MULTIPLY、DIVIDE、MODULUS、NEGATE
其他：LIKE_PATTERN、IN

合併下推範例

如需增強的查詢功能，請合併下推類型，如以下範例所示：


SELECT * 
FROM my_table 
WHERE col_a > 10 
    AND ((col_a + col_b) > (col_c % col_d)) 
    AND (col_e IN ('val1', 'val2', 'val3') OR col_f LIKE '%pattern%');

直通查詢

Azure 資料湖儲存體 Gen2 連接器支援傳遞查詢。傳遞查詢使用資料表函數將完整查詢推送至資料來源以進行執行。

若要搭配 Azure 資料湖儲存體 Gen2 使用傳遞查詢，您可以使用下列語法：


SELECT * FROM TABLE(
        system.query(
            query => 'query string'
        ))

下列範例查詢會將查詢向下推送至 Azure 資料湖儲存體 Gen2 中的資料來源。查詢會選取資料customer表中的所有資料行，將結果限制為 10。


SELECT * FROM TABLE(
        system.query(
            query => 'SELECT * FROM customer LIMIT 10'
        ))

授權資訊

使用此連接器即表示您確認已包含協力廠商元件，其清單可在此連接器的 pom.xml 檔案中找到，並同意 GitHub .com 上 LICENSE.txt 檔案中提供的個別協力廠商授權中的條款。

其他資源

如需最新的 JDBC 驅動程式版本資訊，請參閱 .com 上 GitHub Azure 資料湖儲存體第二代連接器的 pom.xml 檔案。

如需有關此連接器的其他資訊，請造訪 GitHub .com 上的對應網站。

您的瀏覽器已停用或無法使用 Javascript。

您必須啟用 Javascript，才能使用 AWS 文件。請參閱您的瀏覽器說明頁以取得說明。

文件慣用形式

可用資料來源連接器

Azure Synapse