Recopilación de datos de fuentes personalizadas en Security Lake

Amazon Security Lake puede recopilar registros y eventos de orígenes de terceros personalizados. Una fuente personalizada de Security Lake es un servicio de terceros que envía registros y eventos de seguridad a Amazon Security Lake. Antes de enviar los datos, la fuente personalizada debe convertir los registros y los eventos al marco abierto de esquemas de ciberseguridad (OCSF) y cumplir con los requisitos de fuente de Security Lake, incluidos los requisitos de particionamiento, formato de archivo en parquet y tamaño y velocidad de los objetos.

Para cada origen personalizado, Security Lake gestiona lo siguiente:

Para agregar una fuente personalizada a Security Lake, debe cumplir los siguientes requisitos. El incumplimiento de estos requisitos podría afectar al rendimiento y a los casos de uso de la analítica, como las consultas.

Requisitos de partición para la ingesta de fuentes personalizadas en Security Lake

Para facilitar el procesamiento de datos y las consultas eficientes, debemos cumplir con los requisitos de particionamiento, objetos y tamaño al agregar una fuente personalizada a Security Lake:

Requisitos previos para agregar una fuente personalizada en Security Lake

Al agregar un origen personalizado, Security Lake crea un rol de IAM que permite al origen escribir datos en la ubicación correcta del lago de datos. El nombre del rol sigue el formato AmazonSecurityLake-Provider-{name of the custom source}-{region} Región de AWS en el que se agrega la fuente personalizada. region Security Lake adjunta una política al rol que permite el acceso al lago de datos. Si ha cifrado el lago de datos con una AWS KMS clave administrada por el cliente, Security Lake también adjunta una política kms:Decrypt y kms:GenerateDataKey permisos a la función. El límite de permisos para este rol lo establece una política AWS administrada denominada AmazonSecurityLakePermissionsBoundary.

Verificar permisos

Antes de añadir un origen personalizado, verifique que tenga los permisos para realizar las siguientes acciones.

Para verificar sus permisos, utilice IAM para revisar las políticas de IAM asociadas a su identidad de IAM. A continuación, debe comparar la información de estas políticas con la siguiente lista de acciones que debe poder añadir como un origen personalizado.

Estas acciones le permiten recopilar registros y eventos de una fuente personalizada, enviarlos a la AWS Glue base de datos y tabla correctas y almacenarlos en Amazon S3.

Si utiliza una AWS KMS clave para cifrar su lago de datos desde el lado del servidor, también necesitará permiso para kms:CreateGrantkms:DescribeKey, y. kms:GenerateDataKey

Cree una función de IAM para permitir el acceso de escritura a la ubicación del bucket de Security Lake (API) y AWS CLI-único paso)

Si usa la API de Security Lake o AWS CLI quiere agregar una fuente personalizada, agregue esta función de IAM para conceder AWS Glue permiso para rastrear sus datos de origen personalizados e identificar las particiones en los datos. Estas particiones son necesarias para organizar los datos y crear y actualizar tablas en el catálogo de datos.

Después de crear este rol de IAM, necesitará el nombre de recurso de Amazon (ARN) del rol para añadir un origen personalizado.

Debes adjuntar la política arn:aws:iam::aws:policy/service-role/AWSGlueServiceRole AWS gestionada.

Para conceder los permisos necesarios, también debe crear e integrar la siguiente política integrada en su rol para poder leer los archivos de datos de la fuente personalizada y las tablas create/update del catálogo de AWS Glue datos. Rastreador de AWS Glue

Si el bucket de S3 de la región en la que vas a añadir la fuente personalizada está cifrado con un depósito gestionado por el cliente AWS KMS key, también debes adjuntar la siguiente política al rol y a tu política de claves de KMS:

{
    "Effect": "Allow",
    "Action": [
        "kms:GenerateDataKey"
        "kms:Decrypt"
    ],
    "Condition": {
        "StringLike": {
            "kms:EncryptionContext:aws:s3:arn": [
                "arn:aws:s3:::{{name of S3 bucket created by Security Lake}"
            ]
        }
    },
    "Resource": [
        "{{ARN of customer managed key}}"
    ]
}