View a markdown version of this page

Mengumpulkan data dari sumber khusus di Security Lake - Amazon Security Lake
Persyaratan partisi untuk menelan sumber khususPrasyarat untuk menambahkan sumber kustom

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengumpulkan data dari sumber khusus di Security Lake

Amazon Security Lake dapat mengumpulkan log dan peristiwa dari sumber kustom pihak ketiga. Sumber kustom Security Lake adalah layanan pihak ketiga yang mengirimkan log keamanan dan peristiwa ke Amazon Security Lake. Sebelum mengirim data, sumber khusus harus mengonversi log dan peristiwa ke Open Cybersecurity Schema Framework (OCSF) dan memenuhi persyaratan sumber untuk Security Lake termasuk partisi, format file parket, dan ukuran objek dan persyaratan tarif.

Untuk setiap sumber kustom, Security Lake menangani hal berikut:

  • Menyediakan awalan unik untuk sumber di bucket Amazon S3 Anda.

  • Membuat peran dalam AWS Identity and Access Management (IAM) yang memungkinkan sumber kustom untuk menulis data ke danau data. Batas izin untuk peran ini ditetapkan oleh kebijakan terkel AWS ola yang disebut AmazonSecurityLakePermissionsBoundary.

  • Membuat AWS Lake Formation tabel untuk mengatur objek yang ditulis sumber ke Security Lake.

  • Menyiapkan AWS Glue crawler untuk mempartisi data sumber Anda. Perayap mengisi AWS Glue Data Catalog dengan tabel. Ini juga secara otomatis menemukan data sumber baru dan mengekstrak definisi skema.

catatan

Anda dapat menambahkan maksimal 50 sumber log kustom dalam akun.

Untuk menambahkan sumber khusus ke Security Lake, itu harus memenuhi persyaratan berikut. Kegagalan untuk memenuhi persyaratan ini dapat berdampak pada kinerja, dan dapat memengaruhi kasus penggunaan analitik seperti kueri.

  • Tujuan — Sumber kustom harus dapat menulis data ke Security Lake sebagai satu set objek S3 di bawah awalan yang ditetapkan ke sumber. Untuk sumber yang berisi beberapa kategori data, Anda harus mengirimkan setiap kelas peristiwa Open Cybersecurity Schema Framework (OCSF) yang unik sebagai sumber terpisah. Security Lake membuat peran IAM yang mengizinkan sumber kustom untuk menulis ke lokasi yang ditentukan di bucket S3 Anda.

  • Format — Setiap objek S3 yang dikumpulkan dari sumber kustom harus diformat sebagai file Parquet Apache.

  • Skema — Kelas peristiwa OCSF yang sama harus berlaku untuk setiap catatan dalam Parquet-formatted objek. Security Lake mendukung versi 1.x dan 2.x dari Parquet. Ukuran halaman data harus dibatasi hingga 1 MB (tidak terkompresi). Ukuran grup baris tidak boleh lebih besar dari 256 MB (terkompresi). Untuk kompresi dalam objek Parquet, zstandard lebih disukai.

  • Partisi — Objek harus dipartisi berdasarkan wilayah, AWS akun, EventDay. Objek harus diawali dengansource location/region=region/accountId=accountID/eventDay=yyyyMMdd/.

  • Ukuran dan tingkat objek — File yang dikirim ke Security Lake harus dikirim secara bertahap antara 5 menit dan 1 hari acara. Pelanggan dapat mengirim file lebih sering dari 5 menit jika file berukuran lebih besar dari 256MB. Objek dan persyaratan ukuran adalah untuk mengoptimalkan Security Lake untuk Kinerja Kueri. Tidak mengikuti persyaratan sumber khusus dapat berdampak pada kinerja Security Lake Anda.

  • Penyortiran - Dalam setiap Parquet-formatted objek, catatan harus diurutkan berdasarkan waktu untuk mengurangi biaya kueri data.

catatan

Gunakan alat Validasi OCSF untuk memverifikasi apakah sumber kustom kompatibel dengan. OCSF Schema Untuk sumber khusus, Security Lake mendukung OCSF versi 1.3 dan sebelumnya.

Persyaratan partisi untuk menelan sumber khusus di Security Lake

Untuk memfasilitasi pemrosesan dan kueri data yang efisien, kami perlu memenuhi persyaratan partisi dan objek dan ukuran saat menambahkan sumber khusus ke Security Lake:

Partisi

Objek harus dipartisi berdasarkan lokasi sumber, Wilayah AWS, Akun AWS, dan tanggal.

  • Jalur data partisi diformat sebagai

    /ext/custom-source-name/region=region/accountId=accountID/eventDay=YYYYMMDD.

    Partisi sampel dengan contoh nama bucket adalahaws-security-data-lake-us-west-2-lake-uid/ext/custom-source-name/region=us-west-2/accountId=123456789012/eventDay=20230428/.

Daftar berikut menjelaskan parameter yang digunakan dalam partisi jalur S3:

  • Nama bucket Amazon S3 tempat Security Lake menyimpan data sumber kustom Anda.

  • source-location— Awalan untuk sumber kustom di bucket S3 Anda. Security Lake menyimpan semua objek S3 untuk sumber tertentu di bawah awalan ini, dan awalan unik untuk sumber yang diberikan.

  • region— Wilayah AWS ke mana data diunggah. Misalnya, Anda harus menggunakannya US East (N. Virginia) untuk mengunggah data ke bucket Security Lake di wilayah AS Timur (Virginia Utara).

  • accountId— Akun AWS ID yang berkaitan dengan catatan di partisi sumber. Untuk catatan yang berkaitan dengan akun di luar AWS, kami sarankan menggunakan string seperti external atauexternal_externalAccountId. Dengan mengadopsi konveksi penamaan ini, Anda dapat menghindari ambiguitas dalam penamaan ID akun eksternal sehingga tidak bertentangan dengan ID AWS akun atau ID akun eksternal yang dikelola oleh sistem manajemen identitas lainnya.

  • eventDay— Stempel waktu UTC dari catatan, dipotong menjadi jam yang diformat sebagai string delapan karakter (). YYYYMMDD Jika catatan menentukan zona waktu yang berbeda dalam stempel waktu acara, Anda harus mengonversi stempel waktu menjadi UTC untuk kunci partisi ini.

Prasyarat untuk menambahkan sumber khusus di Security Lake

Saat menambahkan sumber kustom, Security Lake membuat peran IAM yang memungkinkan sumber untuk menulis data ke lokasi yang benar di danau data. Nama peran mengikuti formatAmazonSecurityLake-Provider-{name of the custom source}-{region}, Wilayah AWS di region mana Anda menambahkan sumber kustom. Security Lake melampirkan kebijakan pada peran yang memungkinkan akses ke danau data. Jika Anda telah mengenkripsi danau data dengan AWS KMS kunci yang dikelola pelanggan, Security Lake juga melampirkan kebijakan dengan kms:Decrypt dan kms:GenerateDataKey izin ke peran tersebut. Batas izin untuk peran ini ditetapkan oleh kebijakan terkel AWS ola yang disebut AmazonSecurityLakePermissionsBoundary.

Memverifikasi izin

Sebelum menambahkan sumber kustom, verifikasi bahwa Anda memiliki izin untuk melakukan tindakan berikut.

Untuk memverifikasi izin Anda, gunakan IAM untuk meninjau kebijakan IAM yang dilampirkan ke identitas IAM Anda. Kemudian, bandingkan informasi dalam kebijakan tersebut dengan daftar tindakan berikut yang harus diizinkan untuk Anda lakukan untuk menambahkan sumber kustom.

  • glue:CreateCrawler

  • glue:CreateDatabase

  • glue:CreateTable

  • glue:StopCrawlerSchedule

  • iam:GetRole

  • iam:PutRolePolicy

  • iam:DeleteRolePolicy

  • iam:PassRole

  • lakeformation:RegisterResource

  • lakeformation:GrantPermissions

  • s3:ListBucket

  • s3:PutObject

Tindakan ini memungkinkan Anda mengumpulkan log dan peristiwa dari sumber khusus, mengirimkannya ke AWS Glue database dan tabel yang benar, dan menyimpannya di Amazon S3.

Jika Anda menggunakan AWS KMS kunci untuk enkripsi sisi server dari danau data Anda, Anda juga memerlukan izin untukkms:CreateGrant,kms:DescribeKey, dan. kms:GenerateDataKey

penting

Jika Anda berencana menggunakan konsol Security Lake untuk menambahkan sumber khusus, Anda dapat melewati langkah berikutnya dan melanjutkan keMenambahkan sumber kustom di Security Lake. Konsol Security Lake menawarkan proses yang efisien untuk memulai, dan membuat semua peran IAM yang diperlukan atau menggunakan peran yang ada atas nama Anda.

Jika Anda berencana untuk menggunakan Security Lake API atau AWS CLI menambahkan sumber kustom, lanjutkan dengan langkah berikutnya untuk membuat peran IAM untuk mengizinkan akses tulis ke lokasi bucket Security Lake.

Buat peran IAM untuk mengizinkan akses tulis ke lokasi bucket Security Lake (API dan AWS CLI-hanya langkah)

Jika Anda menggunakan Security Lake API atau AWS CLI untuk menambahkan sumber khusus, tambahkan peran IAM ini untuk memberikan AWS Glue izin untuk merayapi data sumber kustom Anda dan mengidentifikasi partisi dalam data. Partisi ini diperlukan untuk mengatur data Anda dan membuat dan memperbarui tabel di Katalog Data.

Setelah membuat peran IAM ini, Anda akan memerlukan Amazon Resource Name (ARN) dari peran tersebut untuk menambahkan sumber kustom.

Anda harus melampirkan kebijakan yang arn:aws:iam::aws:policy/service-role/AWSGlueServiceRole AWS dikelola.

Untuk memberikan izin yang diperlukan, Anda juga harus membuat dan menyematkan kebijakan sebaris berikut dalam peran Anda Perayap AWS Glue untuk mengizinkan membaca file data dari sumber kustom dan create/update tabel di Katalog AWS Glue Data.

JSON
{
    "Version":"2012-10-17",
    "Statement": [
        {
            "Sid": "S3WriteRead",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:PutObject"
            ],
            "Resource": [
            "arn:aws:s3:::amzn-s3-demo-bucket/*"
            ]
        }
    ]
}

Lampirkan kebijakan kepercayaan berikut untuk Akun AWS mengizinkan penggunaan yang dapat mengambil peran berdasarkan ID eksternal:

JSON
{
    "Version":"2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "glue.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}
Tampilkan lebih banyakTampilkan lebih sedikit

Jika bucket S3 di Wilayah tempat Anda menambahkan sumber kustom dienkripsi dengan pengelolaan pelanggan AWS KMS key, Anda juga harus melampirkan kebijakan berikut ke peran dan kebijakan kunci KMS Anda:

{
    "Effect": "Allow",
    "Action": [
        "kms:GenerateDataKey"
        "kms:Decrypt"
    ],
    "Condition": {
        "StringLike": {
            "kms:EncryptionContext:aws:s3:arn": [
                "arn:aws:s3:::{{name of S3 bucket created by Security Lake}"
            ]
        }
    },
    "Resource": [
        "{{ARN of customer managed key}}"
    ]
}
Tampilkan lebih banyakTampilkan lebih sedikit