什么是 Amazon Security Lake? - Amazon Security Lake

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

什么是 Amazon Security Lake?

Amazon Security Lake 是一项完全托管的安全数据湖服务。您可以使用 Security Lake 自动将来自 AWS 环境、SaaS 提供商、本地、云源和第三方来源的安全数据集中到存储在您的专用的数据湖中。 AWS 账户 Security Lake 可以帮助您分析安全数据,让您更全面地了解整个组织的安全状况。借助 Security Lake,您还可以改善对工作负载、应用程序和数据的保护。

数据湖由 Amazon Simple Storage Service (Amazon S3) 存储桶提供支持,您保留数据的所有权。

Security Lake 可以自动从集成的 AWS 服务 和第三方服务中收集与安全相关的日志和事件数据。它还可以通过可自定义的保留和复制设置帮助您管理数据的生命周期。Security Lake 会将摄取的数据转换为 Apache Parquet 格式和名为开放网络安全架构框架 (OCSF) 的标准开源架构。在 OCSF 的支持下,Security Lake 可以标准化 AWS 并合并来自各种企业安全数据源的安全数据。

其他 AWS 服务 和第三方服务可以订阅存储在 Security Lake 中的数据,用于事件响应和安全数据分析。

Security Lake 概览

Amazon Security Lake 数据湖概览图,其中显示了 Security Lake 如何自动在您的账户中构建安全数据湖。

Security Lake 的功能

以下是 Security Lake 帮助您集中、管理和订阅与安全相关的日志和事件数据的一些关键方法。

将数据汇总到您的账户中

Security Lake 会在您的账户中创建专用的安全数据湖。Security Lake 可以从云端、本地以及不同账户和区域的自定义数据来源中收集日志和事件数据。数据湖由 Amazon Simple Storage Service (Amazon S3) 存储桶提供支持,您保留数据的所有权。

支持多种日志和事件来源

Security Lake 从多个来源(包括本地和第三方服务)收集安全日志和事件。 AWS 服务收集日志后,无论来源是什么,您都可以集中访问它们并管理其生命周期。有关 Security Lake 从中收集日志和事件的来源的详细信息,请参阅 Amazon Security Lake 中的来源管理

数据转换和标准化

Security Lake 会自动对来自原生支持的 AWS 服务 的传入数据进行分区,并将其转换为适合高效存储和查询的 Parquet 格式。它还将数据从原生支持 AWS 服务 转换为开放网络安全架构框架 (OCSF) 开源架构。这使得数据与其他 AWS 服务 和第三方提供商兼容,无需进行后期处理。Security Lake 对数据进行了标准化,因此许多安全解决方案都可以并行使用这些数据。

为订阅用户提供多种级别的访问权限

订阅用户可以使用存储在 Security Lake 中的数据。您可以选择订阅用户对您的数据的访问权限级别。订阅用户只能使用来自您指定的来源和 AWS 区域中的数据。当新对象被写入数据湖时,订阅用户可能会自动收到有关这些对象的通知。订阅用户也可以从数据湖中查询数据。Security Lake 会自动在 Security Lake 和订阅用户之间创建和交换所需的凭证。

多账户和多区域数据管理

您可以在支持 Security Lake 的所有区域和多个 AWS 账户中集中启用 Security Lake。在 Security Lake 中,您还可以指定汇总区域,以便整合来自多个区域的安全日志和事件数据。这可以帮助您遵守数据驻留合规性要求。

可配置且可自定义

Security Lake 是一项可配置并且可自定义的服务。您可以指定要为哪些来源、账户和区域配置日志收集。您还可以指定订阅用户对数据湖的访问权限级别。

数据生命周期管理和优化

Security Lake 能够通过可自定义的留存设置来管理数据的生命周期,并通过自动存储分层来管理存储成本。Security Lake 会自动对传入的安全数据进行分区,并将其转换为适合高效存储和查询的 Parquet 格式。

访问 Security Lake

有关提供 Security Lake 的区域的列表,请参阅 Amazon Security Lake 区域和端点。要了解有关区域的更多信息,请参阅 AWS 一般参考 中的 AWS 服务端点

在每个区域,您可以通过以下任何方式访问 Security Lake:

AWS Management Console

AWS Management Console 是一个基于浏览器的界面,可用于创建和管理 AWS 资源。可通过 Security Lake 控制台访问您的 Security Lake 账户和资源。您可以使用 Security Lake 控制台执行大多数 Security Lake 任务。

Security Lake API

要以编程方式访问 Security Lake,您可以使用 Security Lake API,直接向该服务发出 HTTPS 请求。有关更多信息,请参阅 Security Lake API 参考

AWS Command Line Interface (AWS CLI)

借助 AWS CLI,您可以在系统的命令行中发出命令来执行 Security Lake 任务和 AWS 任务。与控制台相比,使用命令行更快、更方便。如果要构建执行任务的脚本,命令行工具也会十分有用。有关安装和使用的信息 AWS CLI,请参阅AWS Command Line Interface

AWS 软件开发工具包

AWS 提供由各种编程语言和平台(例如 Java、Go、Python、C++ 和.NET)的库和示例代码组成的软件开发工具包。这些软件开发工具包提供对 Security Lake 和其他 AWS 服务内容的便捷编程访问。它们可以执行多种任务,例如以加密方式对请求进行签名、管理错误以及自动重试请求等。有关安装和使用 AWS 软件开发工具包的信息,请参阅构建工具。 AWS

以下是 Security Lake AWS 服务 使用的其他内容:

  • Amazon EventBridge — Secur EventBridge ity Lake 用于在对象写入数据湖时通知订阅者。

  • AWS Glue— Security Lake 使用 AWS Glue 爬虫来创建 AWS Glue Data Catalog 表并将新写入的数据发送到数据目录。Security Lake 还会在数据目录中存储 AWS Lake Formation 表的分区元数据。

  • AWS Lake Formation – Security Lake 会为每个向 Security Lake 提供数据的来源创建一个单独的 Lake Formation 表。Lake Formation 表中包含来自每个来源的数据的相关信息,包括架构、分区和数据位置信息。订阅用户可以选择通过查询 Lake Formation 表来使用数据。

  • AWS Lambda – Security Lake 会使用 Lambda 函数来支持对原始数据进行的提取、转换和加载 (ETL) 作业,并在 AWS Glue中为源数据注册分区。

  • Amazon S3 – Security Lake 将数据存储为 Amazon S3 对象。存储类和保留设置基于 Amazon S3 产品。Security Lake 不支持 Amazon S3 Select。

除以下内容外,Security Lake 还从自定义来源收集数据 AWS 服务:

  • AWS CloudTrail 管理和数据事件(S3、Lambda)

  • 亚马逊 Elastic Kubernetes Service(亚马逊 EKS)审核日志

  • Amazon Route 53 resolver 查询日志

  • AWS Security Hub 调查结果

  • Amazon Virtual Private Cloud (Amazon VPC) 流日志

  • AWS WAF v2 日志

有关这些来源的更多信息,请参阅 从中收集数据 AWS 服务。您可以通过创建能够读取 OCSF 架构中数据的订阅用户来使用安全数据湖中的 Amazon S3 对象。您还可以使用与之集成的亚马逊 Athena、Amazon Redshift 和第三方订阅服务来查询数据。 AWS Glue