Sammeln von Daten aus benutzerdefinierten Quellen in Security Lake

Amazon Security Lake kann Protokolle und Ereignisse aus benutzerdefinierten Quellen von Drittanbietern sammeln. Eine benutzerdefinierte Security Lake-Quelle ist ein Drittanbieter-Service, der Sicherheitsprotokolle und Ereignisse an Amazon Security Lake sendet. Vor dem Senden der Daten muss die benutzerdefinierte Quelle die Protokolle und Ereignisse in das Open Cybersecurity Schema Framework (OCSF) konvertieren und die Quellanforderungen für Security Lake erfüllen, einschließlich Partitionierung, Parquet-Dateiformat sowie Anforderungen an Objektgröße und -rate.

Für jede benutzerdefinierte Quelle verarbeitet Security Lake Folgendes:

Um Security Lake eine benutzerdefinierte Quelle hinzuzufügen, muss sie die folgenden Anforderungen erfüllen. Wenn diese Anforderungen nicht erfüllt werden, kann dies Auswirkungen auf die Leistung haben und sich auf Anwendungsfälle für Analysen wie Abfragen auswirken.

Partitionierungsanforderungen für die Aufnahme benutzerdefinierter Quellen in Security Lake

Um eine effiziente Datenverarbeitung und Abfrage zu ermöglichen, müssen wir beim Hinzufügen einer benutzerdefinierten Quelle zu Security Lake die Anforderungen an Partitionierung sowie Objekt und Größe erfüllen:

Voraussetzungen für das Hinzufügen einer benutzerdefinierten Quelle in Security Lake

Beim Hinzufügen einer benutzerdefinierten Quelle erstellt Security Lake eine IAM Rolle, die es der Quelle ermöglicht, Daten an den richtigen Ort im Data Lake zu schreiben. Der Name der Rolle folgt dem region FormatAmazonSecurityLake-Provider-{name of the custom source}-{region}, AWS-Region in dem Sie die benutzerdefinierte Quelle hinzufügen. Security Lake fügt der Rolle eine Richtlinie hinzu, die den Zugriff auf den Data Lake ermöglicht. Wenn Sie den Data Lake mit einem vom Kunden verwalteten AWS KMS Schlüssel verschlüsselt haben, fügt Security Lake der Rolle auch eine Richtlinie kms:Decrypt und kms:GenerateDataKey Berechtigungen hinzu. Die Berechtigungsgrenze für diese Rolle wird durch eine AWS verwaltete Richtlinie mit dem Namen AmazonSecurityLakePermissionsBoundaryfestgelegt.

Überprüfen der Berechtigungen

Stellen Sie vor dem Hinzufügen einer benutzerdefinierten Quelle sicher, dass Sie über die erforderlichen Berechtigungen verfügen, um die folgenden Aktionen auszuführen.

Um Ihre Berechtigungen zu überprüfen, überprüfen Sie IAM bitte die IAM Richtlinien, die mit Ihrer IAM Identität verknüpft sind. Vergleichen Sie dann die Informationen in diesen Richtlinien mit der folgenden Liste von Aktionen, die Sie ausführen dürfen müssen, um eine benutzerdefinierte Quelle hinzuzufügen.

Diese Aktionen ermöglichen es Ihnen, Protokolle und Ereignisse aus einer benutzerdefinierten Quelle zu sammeln, sie an die richtige AWS Glue Datenbank und Tabelle zu senden und sie in Amazon S3 zu speichern.

Wenn Sie einen AWS KMS Schlüssel für die serverseitige Verschlüsselung Ihres Data Lakes verwenden, benötigen Sie auch die Erlaubnis für kms:CreateGrantkms:DescribeKey, undkms:GenerateDataKey.

Erstellen Sie IAM eine Rolle, um Schreibzugriff auf den Security Lake-Bucket-Speicherort zu gewähren (APIund AWS CLI nur Schritt)

Wenn Sie Security Lake verwenden API oder eine benutzerdefinierte Quelle hinzufügen AWS CLI möchten, fügen Sie diese IAM Rolle hinzu, um die AWS Glue Erlaubnis zu erteilen, Ihre benutzerdefinierten Quelldaten zu crawlen und Partitionen in den Daten zu identifizieren. Diese Partitionen sind erforderlich, um Ihre Daten zu organisieren und Tabellen im Datenkatalog zu erstellen und zu aktualisieren.

Nachdem Sie diese IAM Rolle erstellt haben, benötigen Sie den Amazon-Ressourcennamen (ARN) der Rolle, um eine benutzerdefinierte Quelle hinzuzufügen.

Sie müssen die arn:aws:iam::aws:policy/service-role/AWSGlueServiceRole AWS verwaltete Richtlinie anhängen.

Um die erforderlichen Berechtigungen zu gewähren, müssen Sie außerdem die folgende Inline-Richtlinie erstellen und in Ihre Rolle einbetten, um das Lesen von Datendateien aus der benutzerdefinierten Quelle und das Erstellen/Aktualisieren der Tabellen im AWS Glue Datenkatalog AWS-Glue-Crawler zu ermöglichen.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "S3WriteRead",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:PutObject"
            ],
            "Resource": [
                "arn:aws:s3:::{{bucketName}}/*"
            ]
        }
    ]
}

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "glue.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

Wenn der S3-Bucket in der Region, in der Sie die benutzerdefinierte Quelle hinzufügen, mit einer vom Kunden verwalteten Quelle verschlüsselt ist AWS KMS key, müssen Sie der Rolle und Ihrer KMS wichtigsten Richtlinie auch die folgende Richtlinie hinzufügen:

{
    "Effect": "Allow",
    "Action": [
        "kms:GenerateDataKey"
        "kms:Decrypt"
    ],
    "Condition": {
        "StringLike": {
            "kms:EncryptionContext:aws:s3:arn": [
                "arn:aws:s3:::{{name of S3 bucket created by Security Lake}"
            ]
        }
    },
    "Resource": [
        "{{ARN of customer managed key}}"
    ]
}