在 Security Lake 中添加自定义来源 - Amazon Security Lake
更新自定义源数据 AWS Glue支持的 OCSF 事件类

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

在 Security Lake 中添加自定义来源

创建用于调用 AWS Glue 爬虫的 IAM 角色后，请按照以下步骤在 Security Lake 中添加自定义源。

Console

  1. 在上打开 Security Lake 控制台https://console.aws.amazon.com/securitylake/。

  2. 使用页面右上角的 AWS 区域 选择器，选择要在其中创建自定义源的区域。

  3. 在导航窗格中选择自定义来源，然后选择创建自定义来源。

  4. 在自定义来源详细信息部分，为自定义源输入一个全局唯一名称。然后，选择一个 OCSF 事件类，它描述了自定义源将发送到 Security Lake 的数据类型。

  5. 对于拥有写入数据权限的AWS 账户 ，输入将把日志和事件写入到数据湖的自定义源的 AWS 账户 ID 和外部 ID。

  6. 对于服务访问权限，创建并使用新的服务角色，或使用向 Security Lake 授予调用 AWS Glue的权限的现有服务角色。

  7. 选择创建。

API

要以编程方式添加自定义源，请使用 Security Lake API 的CreateCustomLogSource操作。使用要创建自定义源代码的 AWS 区域 位置中的操作。如果您使用的是 AWS Command Line Interface (AWS CLI)，请运行该create-custom-log-source命令。

在您的请求中，使用受支持的参数为自定义源指定配置设置：

  • sourceName— 为源指定名称。该名称必须是区域中唯一的值。

  • eventClasses— 指定一个或多个 OCSF 事件类来描述源将发送到 Security Lake 的数据类型。有关 Security Lake 中支持作为源的 OCSF 事件类的列表，请参阅开放网络安全架构框架 (OCSF)。

  • sourceVersion—（可选）指定一个值，将日志收集限制为特定版本的自定义源数据。

  • crawlerConfiguration— 指定您为调用爬网程序而创建的 IAM 角色的 Amazon 资源名称 (ARN)。 AWS Glue 有关创建 IAM 角色的详细步骤，请参阅添加自定义源的先决条件

  • providerIdentity— 指定源将用于向数据湖写入日志和事件的 AWS 身份和外部 ID。

以下示例在指定区域的指定日志提供者账户中添加自定义源作为日志源。此示例是针对 Linux、macOS 或 Unix 进行格式化的，它使用反斜杠 (\) 行继续符来提高可读性。

$ aws securitylake create-custom-log-source \
--source-name EXAMPLE_CUSTOM_SOURCE \
--event-classes '["DNS_ACTIVITY", "NETWORK_ACTIVITY"]' \
--configuration crawlerConfiguration={"roleArn=arn:aws:iam::XXX:role/service-role/RoleName"},providerIdentity={"externalId=ExternalId,principal=principal"}  \
--region=[“ap-southeast-2”]

更新自定义源数据 AWS Glue

在 Security Lake 中添加自定义来源后，Security Lake 会创建一个 AWS Glue 爬虫。该爬网程序将连接到您的自定义源，确定数据结构，然后用表填充 AWS Glue Data Catalog。

我们建议您手动运行该爬网程序，以确保自定义源的架构保持最新，并维护 Athena 和其他查询服务中的查询功能。具体来说，如果自定义源的输入数据集中发生以下任一变化，您就应该运行该爬网程序：

  • 数据集有一个或多个新的顶级列。

  • 数据集在具有 struct 数据类型的列中有一个或多个新字段。

有关运行爬虫的说明，请参阅《AWS Glue 开发者指南》中的安排 AWS Glue 爬网程序。

Security Lake 无法删除或更新您账户中的现有爬网程序。如果您删除一个自定义源并计划在将来创建同名的自定义源，我们建议您删除关联的爬网程序。

支持的 OCSF 事件类

开放网络安全架构框架 (OCSF) 事件类描述了自定义源将发送到 Security Lake 的数据类型。支持的事件类列表有：

public enum OcsfEventClass {
    ACCOUNT_CHANGE,
    API_ACTIVITY,
    APPLICATION_LIFECYCLE,
    AUTHENTICATION,
    AUTHORIZE_SESSION,
    COMPLIANCE_FINDING,
    DATASTORE_ACTIVITY,
    DEVICE_CONFIG_STATE,
    DEVICE_CONFIG_STATE_CHANGE,
    DEVICE_INVENTORY_INFO,
    DHCP_ACTIVITY,
    DNS_ACTIVITY,
    DETECTION_FINDING,
    EMAIL_ACTIVITY,
    EMAIL_FILE_ACTIVITY,
    EMAIL_URL_ACTIVITY,
    ENTITY_MANAGEMENT,
    FILE_HOSTING_ACTIVITY,
    FILE_SYSTEM_ACTIVITY,
    FTP_ACTIVITY,
    GROUP_MANAGEMENT,
    HTTP_ACTIVITY,
    INCIDENT_FINDING,
    KERNEL_ACTIVITY,
    KERNEL_EXTENSION,
    MEMORY_ACTIVITY,
    MODULE_ACTIVITY,
    NETWORK_ACTIVITY,
    NETWORK_FILE_ACTIVITY,
    NTP_ACTIVITY,
    PATCH_STATE,
    PROCESS_ACTIVITY,
    RDP_ACTIVITY,
    REGISTRY_KEY_ACTIVITY,
    REGISTRY_VALUE_ACTIVITY,
    SCHEDULED_JOB_ACTIVITY,
    SCAN_ACTIVITY,
    SECURITY_FINDING,
    SMB_ACTIVITY,
    SSH_ACTIVITY,
    USER_ACCESS,
    USER_INVENTORY,
    VULNERABILITY_FINDING,
    WEB_RESOURCE_ACCESS_ACTIVITY,
    WEB_RESOURCES_ACTIVITY,
    WINDOWS_RESOURCE_ACTIVITY,
    // 1.3 OCSF event classes
    ADMIN_GROUP_QUERY,
    DATA_SECURITY_FINDING,
    EVENT_LOG_ACTIVITY,
    FILE_QUERY,
    FILE_REMEDIATION_ACTIVITY,
    FOLDER_QUERY,
    JOB_QUERY,
    KERNEL_OBJECT_QUERY,
    MODULE_QUERY,
    NETWORK_CONNECTION_QUERY,
    NETWORK_REMEDIATION_ACTIVITY,
    NETWORKS_QUERY,
    PERIPHERAL_DEVICE_QUERY,
    PROCESS_QUERY,
    PROCESS_REMEDIATION_ACTIVITY,
    REMEDIATION_ACTIVITY,
    SERVICE_QUERY,
    SOFTWARE_INVENTORY_INFO,
    TUNNEL_ACTIVITY,
    USER_QUERY,
    USER_SESSION_QUERY,
    // 1.3 OCSF event classes (Win extension)
    PREFETCH_QUERY,
    REGISTRY_KEY_QUERY,
    REGISTRY_VALUE_QUERY,
    WINDOWS_SERVICE_ACTIVITY
}