本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用 AWS CloudTrail 记录 AWS Lake Formation API 调用
AWS Lake Formation 与 AWS CloudTrail 集成,后者是一项服务,可用于记录 Lake Formation 中由用户、角色或 AWS 服务所执行的操作。CloudTrail 将所有 Lake Formation API 调用作为事件进行捕获。捕获的调用包括来自 Lake Formation 控制台的调用、来自 AWS Command Line Interface 的调用,以及针对Lake Formation API 操作的代码调用。如果您创建跟踪记录,则可以使 CloudTrail 事件能够持续传输到 Amazon S3 存储桶(包括 Lake Formation 的事件)。如果您不配置跟踪,则仍可在 CloudTrail 控制台中的 事件历史记录 中查看最新事件。使用通过 CloudTrail 收集的信息,您可以确定向 Lake Formation 发出了什么请求、发出请求的 IP 地址、请求方、请求时间以及其他详细信息。
要了解有关 CloudTrail 的更多信息,请参阅 AWS CloudTrail 用户指南。
CloudTrail 中的 Lake Formation 信息
当您创建新的 AWS 账户时,将默认启用 CloudTrail。当 Lake Formation 中发生活动时,会将该活动作为 CloudTrail 事件与其他 AWS 服务事件一起记录在事件历史记录中。一个事件表示来自任何源的一个请求,包括有关所请求的操作、操作的日期和时间以及请求参数等方面的信息。此外,每个事件或日志条目都包含有关生成请求的人员的信息。身份信息有助于您确定以下内容:
-
请求是使用根用户凭证还是 AWS Identity and Access Management(IAM)用户凭证发出的。
-
请求是使用角色还是联合用户的临时安全凭证发出的。
-
请求是否由其它 AWS 服务发出。
有关更多信息,请参阅 CloudTrail userIdentity 元素。
您可以查看、搜索和下载 AWS 账户的最新事件。有关更多信息,请参阅使用 CloudTrail 事件历史记录查看事件。
要持续记录 AWS 账户中的事件(包括 CloudFront 的事件),请创建跟踪记录。通过跟踪记录,CloudTrail 可将日志文件传送至 Simple Storage Service (Amazon S3) 存储桶。在控制台创建跟踪时,跟踪默认应用于所有 AWS 区域。此跟踪记录在 AWS 分区中记录所有区域中的事件,并将日志文件传送至您指定的 Simple Storage Service(Amazon S3)存储桶。此外,您可以配置其他 AWS 服务(如 Amazon Athena),进一步分析在 CloudTrail 日志中收集的事件数据并采取行动。CloudTrail 还可以将日志文件传输到 Amazon CloudWatch Logs 和 CloudWatch Events。
有关更多信息,请参阅下列内容:
了解 Lake Formation 事件
所有 Lake Formation API 操作都会被 CloudTrail 记录下来,详见《AWS Lake Formation 开发人员指南》。例如,对 PutDataLakeSettings
、GrantPermissions
和 RevokePermissions
操作的调用会在 CloudTrail 日志文件中生成条目。
以下示例显示了关于 GrantPermissions
操作的 CloudTrail 事件。该条目包括已授予权限的用户 (datalake_admin
)、被授予权限的主体 (datalake_user1
) 以及所授予的权限 (CREATE_TABLE
)。该条目还显示授权失败,原因是 resource
参数中未指定目标数据库。
{ "eventVersion": "1.08", "userIdentity": { "type": "IAMUser", "principalId": "AIDAZKE67KM3P775X74U2", "arn": "arn:aws:iam::111122223333:user/datalake_admin", "accountId": "111122223333", "accessKeyId": "...", "userName": "datalake_admin" }, "eventTime": "2021-02-06T00:43:21Z", "eventSource": "lakeformation.amazonaws.com", "eventName": "GrantPermissions", "awsRegion": "us-east-1", "sourceIPAddress": "72.21.198.65", "userAgent": "aws-cli/1.19.0 Python/3.6.12 Linux/4.9.230-0.1.ac.223.84.332.metal1.x86_64 botocore/1.20.0", "errorCode": "InvalidInputException", "errorMessage": "Resource must have one of the have either the catalog, table or database field populated.", "requestParameters": { "principal": { "dataLakePrincipalIdentifier": "arn:aws:iam::111122223333:user/datalake_user1" }, "resource": {}, "permissions": [ "CREATE_TABLE" ] }, "responseElements": null, "requestID": "b85e863f-e75d-4fc0-9ff0-97f943f706e7", "eventID": "8d2ccef0-55f3-42d3-9ede-3a6faedaa5c1", "readOnly": false, "eventType": "AwsApiCall", "managementEvent": true, "eventCategory": "Management", "recipientAccountId": "111122223333" }
以下示例显示了有关 GetDataAccess
操作的 CloudTrail 日志条目。主体不会直接调用此 API。相反,每当主体或集成 AWS 服务请求临时凭证以访问已注册到 Lake Formation 的数据湖位置中的数据时,都会将 GetDataAccess
记录在日志中。
{ "eventVersion": "1.05", "userIdentity": { "type": "AWSAccount", "principalId": "AROAQGFTBBBGOBWV2EMZA:GlueJobRunnerSession", "accountId": "111122223333" }, "eventSource": "lakeformation.amazonaws.com", "eventName": "GetDataAccess", ... ... "additionalEventData": { "requesterService": "GLUE_JOB", "lakeFormationPrincipal": "arn:aws:iam::111122223333:role/ETL-Glue-Role", "lakeFormationRoleSessionName": "AWSLF-00-GL-111122223333-G13T0Rmng2" }, ... }