Collecte de données à partir de sources personnalisées dans Security Lake

Amazon Security Lake peut collecter des journaux et des événements à partir de sources personnalisées tierces. Une source personnalisée Security Lake est un service tiers qui envoie des journaux et des événements de sécurité à Amazon Security Lake. Avant d'envoyer les données, la source personnalisée doit convertir les journaux et les événements au format Open Cybersecurity Schema Framework (OCSF) et répondre aux exigences relatives aux sources pour Security Lake, notamment le partitionnement, le format de fichier parquet et les exigences en matière de taille et de débit des objets.

Pour chaque source personnalisée, Security Lake gère les opérations suivantes :

Pour ajouter une source personnalisée à Security Lake, celle-ci doit répondre aux exigences suivantes. Le non-respect de ces exigences peut avoir un impact sur les performances et peut avoir un impact sur les cas d'utilisation de l'analytique tels que les requêtes.

Exigences de partitionnement pour l'ingestion de sources personnalisées dans Security Lake

Pour faciliter le traitement et les requêtes efficaces des données, nous devons respecter les exigences de partitionnement, d'objet et de taille lors de l'ajout d'une source personnalisée à Security Lake :

Conditions préalables à l'ajout d'une source personnalisée dans Security Lake

Lors de l'ajout d'une source personnalisée, Security Lake crée un IAM rôle qui permet à la source d'écrire les données au bon emplacement dans le lac de données. Le nom du rôle suit le formatAmazonSecurityLake-Provider-{name of the custom source}-{region}, où region est celui Région AWS dans lequel vous ajoutez la source personnalisée. Security Lake associe une politique au rôle qui autorise l'accès au lac de données. Si vous avez chiffré le lac de données à l'aide d'une AWS KMS clé gérée par le client, Security Lake associe également une politique kms:Decrypt et kms:GenerateDataKey des autorisations au rôle. La limite des autorisations pour ce rôle est définie par une politique AWS gérée appelée AmazonSecurityLakePermissionsBoundary.

Vérifier les autorisations

Avant d'ajouter une source personnalisée, vérifiez que vous êtes autorisé à effectuer les actions suivantes.

Pour vérifier vos autorisations, utilisez cette option IAM pour consulter les IAM politiques associées à votre IAM identité. Comparez ensuite les informations contenues dans ces politiques à la liste suivante des actions que vous devez être autorisé à effectuer pour ajouter une source personnalisée.

Ces actions vous permettent de collecter des journaux et des événements à partir d'une source personnalisée, de les envoyer vers la AWS Glue base de données et la table appropriées, et de les stocker dans Amazon S3.

Si vous utilisez une AWS KMS clé pour le chiffrement côté serveur de votre lac de données, vous devez également obtenir une autorisation pour kms:CreateGrantkms:DescribeKey, et. kms:GenerateDataKey

Créer un IAM rôle pour autoriser l'accès en écriture à l'emplacement du bucket Security Lake (APIet étape AWS CLI uniquement)

Si vous utilisez Security Lake API ou si vous AWS CLI souhaitez ajouter une source personnalisée, ajoutez ce IAM rôle pour AWS Glue autoriser l'analyse de vos données source personnalisées et l'identification des partitions dans les données. Ces partitions sont nécessaires pour organiser vos données et créer et mettre à jour des tables dans le catalogue de données.

Après avoir créé ce IAM rôle, vous aurez besoin du nom de ressource Amazon (ARN) du rôle pour ajouter une source personnalisée.

Vous devez joindre la politique arn:aws:iam::aws:policy/service-role/AWSGlueServiceRole AWS gérée.

Pour accorder les autorisations nécessaires, vous devez également créer et intégrer la politique en ligne suivante dans votre rôle afin de permettre AWS Glue crawler de lire les fichiers de données à partir de la source personnalisée et de créer/mettre à jour les tables dans le catalogue de données. AWS Glue

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "S3WriteRead",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:PutObject"
            ],
            "Resource": [
                "arn:aws:s3:::{{bucketName}}/*"
            ]
        }
    ]
}

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "glue.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

Si le compartiment S3 de la région dans laquelle vous ajoutez la source personnalisée est chiffré à l'aide d'un compartiment géré par le client AWS KMS key, vous devez également associer la politique suivante au rôle et à votre politique KMS clé :

{
    "Effect": "Allow",
    "Action": [
        "kms:GenerateDataKey"
        "kms:Decrypt"
    ],
    "Condition": {
        "StringLike": {
            "kms:EncryptionContext:aws:s3:arn": [
                "arn:aws:s3:::{{name of S3 bucket created by Security Lake}"
            ]
        }
    },
    "Resource": [
        "{{ARN of customer managed key}}"
    ]
}