Amazon Athena Azure Synapse 连接器

适用于 Azure Synapse Analytics 的 Amazon Athena 连接器使 Amazon Athena 能够使用 JDBC 在您的 Azure Synapse 数据库上运行 SQL 查询。

先决条件

限制

术语

参数

使用本节中的 Lambda 环境变量来配置 Synapse 连接器。

连接字符串

使用以下格式的 JDBC 连接字符串连接到数据库实例。

synapse://${jdbc_connection_string}

使用多路复用处理程序

您可以使用多路复用器通过单个 Lambda 函数连接到多个数据库实例。按目录名称来路由请求。在 Lambda 中使用以下类。

多路复用处理程序参数

以下示例属性适用于支持两个数据库实例的 Synapse MUX Lambda 函数：synapse1（默认）和 synapse2。

提供凭证

要在 JDBC 连接字符串中为数据库提供用户名和密码，可以使用连接字符串属性或 AWS Secrets Manager。

带有密钥名称的示例连接字符串

以下字符串带有密钥名称 ${secret_name}。

synapse://jdbc:synapse://hostname:port;databaseName=<database_name>;${secret_name}

该连接器使用该密钥名称来检索密钥，并提供用户名和密码，如以下示例所示。

synapse://jdbc:synapse://hostname:port;databaseName=<database_name>;user=<user>;password=<password>

使用单个连接处理程序

您可以使用以下单个连接元数据和记录处理程序连接到单个 Synapse 实例。

单个连接处理程序参数

单个连接处理程序支持一个数据库实例，并且必须提供 default 连接字符串参数。将忽略所有其他连接字符串。

以下示例属性适用于 Lambda 函数支持的单个 Synapse 实例。

配置 Active Directory 身份验证

Amazon Athena Azure Synapse 连接器支持 Microsoft Active Directory 身份验证。在开始之前，必须在 Microsoft Azure 门户中配置管理用户，然后使用 AWS Secrets Manager 创建密钥。

修改连接字符串

要为连接器启用 Active Directory 身份验证，使用以下语法修改连接字符串：

synapse://jdbc:synapse://hostname:port;databaseName=database_name;authentication=ActiveDirectoryPassword;{secret_name}

使用 ActiveDirectoryServicePrincipal

Amazon Athena Azure Synapse 连接器还支持 ActiveDirectoryServicePrincipal。要启用此项，如下所示修改连接字符串。

synapse://jdbc:synapse://hostname:port;databaseName=database_name;authentication=ActiveDirectoryServicePrincipal;{secret_name}

对于 secret_name，将应用程序或客户端 ID 指定为用户名，并在密码中指定服务主体身份的密钥。

溢出参数

Lambda 开发工具包可以将数据溢出到 Amazon S3。由同一 Lambda 函数访问的所有数据库实例都会溢出到同一位置。

数据类型支持

下表显示了适用于 Synapse 和 Apache Arrow 的相应数据类型。

分区和拆分

分区由类型为 varchar 的单个分区列表示。Synapse 支持范围分区，因此分区通过从 Synapse 元数据表中提取分区列和分区范围来实现。这些范围值用于创建拆分。

性能

选择列的子集会显著减少查询运行时。由于并发，连接器显示出严重的节流。

Athena Synapse 连接器可执行谓词下推，以减少查询扫描的数据量。简单谓词和复杂表达式将下推到连接器，以减少扫描的数据量并缩短查询执行的运行时间。

Predicates

谓词是 SQL 查询的 WHERE 子句中的表达式，其评估结果为布尔值并根据多个条件筛选行。Athena Synapse 连接器可以组合这些表达式并将其直接推送到 Synapse，以增强功能并减少扫描的数据量。

以下 Athena Synapse 连接器运算符支持谓词下推：

组合下推示例

要增强查询功能，组合下推类型，如以下示例所示：

SELECT * 
FROM my_table 
WHERE col_a > 10 
    AND ((col_a + col_b) > (col_c % col_d)) 
    AND (col_e IN ('val1', 'val2', 'val3') OR col_f LIKE '%pattern%');

传递查询

Synapse 连接器支持传递查询。传递查询使用表函数将完整查询下推到数据来源来执行查询。

要在 Synapse 中执行传递查询，可以使用以下语法：

SELECT * FROM TABLE(
        system.query(
            query => 'query string'
        ))

以下示例查询将查询下推到 Synapse 中的数据来源。该查询选择了 customer 表中的所有列，将结果限制为 10。

SELECT * FROM TABLE(
        system.query(
            query => 'SELECT * FROM customer LIMIT 10'
        ))

许可证信息

使用此连接器，即表示您确认包含第三方组件（这些组件的列表可在此连接器的 pom.xml 文件中找到），并同意 GitHub.com 上的 LICENSE.txt 文件中提供的相应第三方许可证中的条款。

其他资源