使用 Amazon Athena AWS CMDB 连接器使 Athena 可以与各种 AWS 服务通信,以便您可以使用 SQL 查询这些服务。
此连接器可以作为联合目录注册到 Glue Data Catalog。此连接器支持 Lake Formation 中在目录、数据库、行和标签级别定义的数据访问控制。此连接器使用 Glue 连接将配置属性集中保存到 Glue 中。
先决条件
可以使用 Athena 控制台或 AWS Serverless Application Repository 将该连接器部署到您的 AWS 账户。有关更多信息,请参阅创建数据来源连接或使用 AWS Serverless Application Repository 部署数据来源连接器。
参数
使用本节中的参数来配置 AWS CMDB 连接器。
我们建议您使用 Glue 连接对象来配置 AWS CMDB 连接器。要执行此操作,请将 AWS CMDB 连接器 Lambda 的 glue_connection
环境变量设置为要使用的 Glue 连接的名称。
Glue 连接属性
使用以下命令来获取 Glue 连接对象的架构。此架构包含可用于控制连接的所有参数。
aws glue describe-connection-type --connection-type CMDB
Lambda 环境属性
glue_connection – 指定与联合连接器关联的 Glue 连接的名称。
数据库和表
Athena AWS CMDB 连接器使以下数据库和表可用于查询您的 AWS 资源清单。有关每个表中可用列的更多信息,请使用 Athena 控制台或 API 运行 DESCRIBE
语句。database
.table
-
ec2 - 该数据库包含 Amazon EC2 相关资源,包括以下内容。
-
ebs_volumes - 包含您的 Amazon EBS 卷的详细信息。
-
ec2_instances - 包含您的 EC2 实例的详细信息。
-
ec2_images - 包含您的 EC2 实例映像的详细信息。
-
routing_tables - 包含您的 VPC 路由表的详细信息。
-
security_groups - 包含您的安全组的详细信息。
-
子网 - 包含您的 VPC 子网的详细信息。
-
vpcs - 包含您的 VPC 的详细信息。
-
emr - 该数据库包含 Amazon EMR 相关资源,包括以下内容。
-
emr_clusters - 包含您的 EMR 集群的详细信息。
-
rds - 该数据库包含 Amazon RDS 相关资源,包括以下内容。
-
rds_instances - 包含您的 RDS 实例的详细信息。
-
s3 - 该数据库包含 RDS 相关资源,包括以下内容。
-
桶 - 包含您的 Amazon S3 存储桶的详细信息。
-
对象 - 包含您的 Amazon S3 对象(不包括其内容)的详细信息。
所需权限
要获取有关此连接器所需 IAM policy 的完整详细信息,请查看 athena-aws-cmdb.yamlPolicies
部分。以下列表汇总了所需的权限。
-
Amazon S3 写入权限 – 连接器需要对 Amazon S3 中的位置具有写入权限,以溢出大型查询的结果。
-
Athena GetQueryExecution – 当上游 Athena 查询终止时,该连接器将使用此权限快速失败。
-
S3 清单 - 连接器使用此权限列出您的 Amazon S3 存储桶和对象。
-
EC2 描述 - 连接器使用此权限来描述资源,例如您的 Amazon EC2 实例、安全组、VPC 和 Amazon EBS 卷。
-
EMR 描述/列表 - 连接器使用此权限来描述您的 EMR 集群。
-
RDS 描述 - 连接器使用此权限来描述您的 RDS 实例。
性能
目前,Athena AWS CMDB 连接器不支持并行扫描。谓词下推在 Lambda 函数中执行。在可能的情况下,部分谓词会被推送到正在查询的服务。例如,查询特定 Amazon EC2 实例的详细信息会调用具有特定实例 ID 的 EC2 API 来运行目标描述操作。
许可证信息
Amazon Athena AWS CMDB 连接器项目已获得 Apache-2.0 许可证
其他资源
有关此连接器的更多信息,请访问 GitHub.com 上的相应站点