Raccolta di dati da fonti personalizzate in Security Lake

Amazon Security Lake può raccogliere log ed eventi da fonti personalizzate di terze parti. Per ogni fonte personalizzata, Security Lake gestisce quanto segue:

Per aggiungere una fonte personalizzata a Security Lake, deve soddisfare i seguenti requisiti:

Le migliori pratiche per importare sorgenti personalizzate in Security Lake

Per facilitare l'elaborazione e l'interrogazione efficienti dei dati, consigliamo di seguire queste best practice quando si aggiunge una fonte personalizzata a Security Lake:

Prerequisiti per aggiungere una fonte personalizzata in Security Lake

Quando si aggiunge un'origine personalizzata, Security Lake crea un IAM ruolo che consente alla fonte di scrivere i dati nella posizione corretta nel data lake. Il nome del ruolo segue il formatoAmazonSecurityLake-Provider-{name of the custom source}-{region}, region dov'è il formato Regione AWS in cui stai aggiungendo l'origine personalizzata. Security Lake attribuisce una policy al ruolo che consente l'accesso al data lake. Se hai crittografato il data lake con una AWS KMS chiave gestita dal cliente, Security Lake allega anche una policy kms:Decrypt e kms:GenerateDataKey autorizzazioni al ruolo. Il limite delle autorizzazioni per questo ruolo è impostato da una AWS politica gestita chiamata. AmazonSecurityLakePermissionsBoundary

Verificare le autorizzazioni

Prima di aggiungere una fonte personalizzata, verifica di disporre delle autorizzazioni necessarie per eseguire le seguenti azioni.

Per verificare le tue autorizzazioni, usa IAM per rivedere le IAM politiche allegate alla tua IAM identità. Quindi, confronta le informazioni contenute in tali politiche con il seguente elenco di azioni che devi essere autorizzato a eseguire per aggiungere una fonte personalizzata.

Queste azioni consentono di raccogliere log ed eventi da un'origine personalizzata, inviarli al AWS Glue database e alla tabella corretti e archiviarli in Amazon S3.

Se utilizzi una AWS KMS chiave per la crittografia lato server del tuo data lake, hai bisogno anche dell'autorizzazione perkms:CreateGrant, e. kms:DescribeKey kms:GenerateDataKey

Crea un IAM ruolo per consentire l'accesso in scrittura alla posizione del bucket di Security Lake (APIe solo passaggio AWS CLI)

Se utilizzi Security Lake API o vuoi AWS CLI aggiungere un'origine personalizzata, aggiungi questo IAM ruolo per concedere l' AWS Glue autorizzazione a scansionare i dati di origine personalizzati e identificare le partizioni nei dati. Queste partizioni sono necessarie per organizzare i dati e creare e aggiornare tabelle nel Data Catalog.

Dopo aver creato questo IAM ruolo, avrai bisogno dell'Amazon Resource Name (ARN) del ruolo per aggiungere una fonte personalizzata.

È necessario allegare la policy arn:aws:iam::aws:policy/service-role/AWSGlueServiceRole AWS gestita.

Per concedere le autorizzazioni necessarie, devi anche creare e incorporare la seguente politica in linea nel tuo ruolo per consentire Crawler di AWS Glue la lettura dei file di dati dall'origine personalizzata e la creazione/aggiornamento delle tabelle in Data Catalog. AWS Glue

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "S3WriteRead",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:PutObject"
            ],
            "Resource": [
                "arn:aws:s3:::{{bucketName}}/*"
            ]
        }
    ]
}

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "glue.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

Se il bucket S3 nella regione in cui stai aggiungendo la fonte personalizzata è crittografato con un file gestito dal cliente AWS KMS key, devi inoltre allegare la seguente politica al ruolo e alla tua politica chiave: KMS

{
    "Effect": "Allow",
    "Action": [
        "kms:GenerateDataKey"
        "kms:Decrypt"
    ],
    "Condition": {
        "StringLike": {
            "kms:EncryptionContext:aws:s3:arn": [
                "arn:aws:s3:::{{name of S3 bucket created by Security Lake}"
            ]
        }
    },
    "Resource": [
        "{{ARN of customer managed key}}"
    ]
}