Mengumpulkan data dari sumber khusus di Security Lake

Amazon Security Lake dapat mengumpulkan log dan peristiwa dari sumber kustom pihak ketiga. Sumber kustom Security Lake adalah layanan pihak ketiga yang mengirimkan log keamanan dan peristiwa ke Amazon Security Lake. Sebelum mengirim data, sumber kustom harus mengonversi log dan peristiwa ke Open Cybersecurity Schema Framework (OCSF) dan memenuhi persyaratan sumber untuk Security Lake termasuk partisi, format file parket dan ukuran objek dan persyaratan tarif.

Untuk setiap sumber kustom, Security Lake menangani hal berikut:

Untuk menambahkan sumber khusus ke Security Lake, itu harus memenuhi persyaratan berikut. Kegagalan untuk memenuhi persyaratan ini dapat berdampak pada kinerja, dan dapat memengaruhi kasus penggunaan analitik seperti kueri.

Persyaratan partisi untuk menelan sumber khusus di Security Lake

Untuk memfasilitasi pemrosesan dan kueri data yang efisien, kami perlu memenuhi persyaratan partisi dan objek dan ukuran saat menambahkan sumber khusus ke Security Lake:

Prasyarat untuk menambahkan sumber khusus di Security Lake

Saat menambahkan sumber khusus, Security Lake membuat IAM peran yang memungkinkan sumber untuk menulis data ke lokasi yang benar di danau data. Nama peran mengikuti formatAmazonSecurityLake-Provider-{name of the custom source}-{region}, Wilayah AWS di region mana Anda menambahkan sumber kustom. Security Lake melampirkan kebijakan untuk peran yang memungkinkan akses ke danau data. Jika Anda telah mengenkripsi data lake dengan AWS KMS kunci yang dikelola pelanggan, Security Lake juga melampirkan kebijakan dengan kms:Decrypt dan kms:GenerateDataKey izin ke peran tersebut. Batas izin untuk peran ini ditetapkan oleh kebijakan AWS terkelola yang disebut. AmazonSecurityLakePermissionsBoundary

Memverifikasi izin

Sebelum menambahkan sumber kustom, verifikasi bahwa Anda memiliki izin untuk melakukan tindakan berikut.

Untuk memverifikasi izin Anda, gunakan IAM untuk meninjau IAM kebijakan yang dilampirkan pada IAM identitas Anda. Kemudian, bandingkan informasi dalam kebijakan tersebut dengan daftar tindakan berikut yang harus diizinkan untuk dilakukan untuk menambahkan sumber kustom.

Tindakan ini memungkinkan Anda mengumpulkan log dan peristiwa dari sumber khusus, mengirimkannya ke AWS Glue database dan tabel yang benar, dan menyimpannya di Amazon S3.

Jika Anda menggunakan AWS KMS kunci untuk enkripsi sisi server data lake Anda, Anda juga memerlukan izin untuk,kms:CreateGrant, kms:DescribeKey dan. kms:GenerateDataKey

Buat IAM peran untuk mengizinkan akses tulis ke lokasi bucket Security Lake (APIdan langkah AWS CLI-only)

Jika Anda menggunakan Security Lake API atau AWS CLI menambahkan sumber kustom, tambahkan IAM peran ini untuk memberikan AWS Glue izin untuk merayapi data sumber kustom Anda dan mengidentifikasi partisi dalam data. Partisi ini diperlukan untuk mengatur data Anda dan membuat serta memperbarui tabel di Katalog Data.

Setelah membuat IAM peran ini, Anda akan memerlukan Amazon Resource Name (ARN) peran untuk menambahkan sumber kustom.

Anda harus melampirkan kebijakan yang arn:aws:iam::aws:policy/service-role/AWSGlueServiceRole AWS dikelola.

Untuk memberikan izin yang diperlukan, Anda juga harus membuat dan menyematkan kebijakan sebaris berikut dalam peran Anda Perayap AWS Glue untuk mengizinkan membaca file data dari sumber kustom dan membuat/memperbarui tabel di Katalog Data. AWS Glue

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "S3WriteRead",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:PutObject"
            ],
            "Resource": [
                "arn:aws:s3:::{{bucketName}}/*"
            ]
        }
    ]
}

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "glue.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

Jika bucket S3 di Wilayah tempat Anda menambahkan sumber kustom dienkripsi dengan pengelola pelanggan AWS KMS key, Anda juga harus melampirkan kebijakan berikut ke peran dan kebijakan utama Anda: KMS

{
    "Effect": "Allow",
    "Action": [
        "kms:GenerateDataKey"
        "kms:Decrypt"
    ],
    "Condition": {
        "StringLike": {
            "kms:EncryptionContext:aws:s3:arn": [
                "arn:aws:s3:::{{name of S3 bucket created by Security Lake}"
            ]
        }
    },
    "Resource": [
        "{{ARN of customer managed key}}"
    ]
}