Security Lake のカスタムソースからのデータ収集

Amazon Security Lake はサードパーティのカスタムソースからログとイベントを収集できます。Security Lake カスタムソースは、セキュリティログとイベントを Amazon Security Lake に送信するサードパーティーサービスです。データを送信する前に、カスタムソースはログとイベントを Open Cybersecurity Schema Framework (OCSF) に変換し、パーティショニング、parquet ファイル形式、オブジェクトのサイズとレートの要件など、Security Lake のソース要件を満たしている必要があります。

Security Lake はカスタムソースごとに以下を処理します。

Security Lake にカスタムソースを追加するには、次の要件を満たす必要があります。これらの要件を満たさないと、パフォーマンスに影響が及び、クエリなどの分析のユースケースに影響する可能性があります。

Security Lake でカスタムソースを取り込むためのパーティション要件

データ処理とクエリを効率的に行うには、Security Lake にカスタムソースを追加するときに、パーティショニングとオブジェクトとサイズの要件を満たす必要があります。

Security Lake でカスタムソースを追加するための前提条件

カスタムソースを追加すると、Security Lake は、ソースがデータレイク内の正しい場所にデータを書き込むことを許可する IAMロールを作成します。ロールの名前は の形式に従います。ここでAmazonSecurityLake-Provider-{name of the custom source}-{region}、 regionはカスタムソースを追加する AWS リージョン です。Security Lake は、データレイクへのアクセスを許可するポリシーをロールにアタッチします。カスタマーマネージド AWS KMS キーでデータレイクを暗号化した場合、Security Lake は kms:Decrypt および アクセスkms:GenerateDataKey許可を持つポリシーもロールにアタッチします。このロールのアクセス許可の境界は、 という AWS 管理ポリシーによって設定されますAmazonSecurityLakePermissionsBoundary。

アクセス許可の確認

カスタムソースを追加する前に、次のアクションを実行するアクセス許可があることを確認してください。

アクセス許可を確認するには、 IAMを使用して、IAMアイデンティティにアタッチされているIAMポリシーを確認します。次に、これらのポリシーの情報を、カスタム ソースを追加するために実行を許可する必要がある次のアクションのリストと比較します。

これらのアクションにより、カスタムソースからログとイベントを収集し、正しい AWS Glue データベースとテーブルに送信して、Amazon S3 に保存できます。

データレイクのサーバー側の暗号化に AWS KMS キーを使用する場合は、kms:CreateGrant、kms:DescribeKey、および のアクセス許可も必要ですkms:GenerateDataKey。

Security Lake バケットの場所への書き込みアクセスを許可するIAMロールを作成する (API および AWS CLIのみのステップ）

Security Lake APIまたは を使用してカスタムソース AWS CLI を追加する場合は、このIAMロールを追加して、カスタムソースデータをクロールし、データ内のパーティションを識別する AWS Glue アクセス許可を付与します。これらのパーティションは、データを整理し、Data Catalog 内のテーブルを作成および更新するために必要です。

このIAMロールを作成した後、カスタムソースを追加するには、ロールの Amazon リソースネーム (ARN) が必要です。

arn:aws:iam::aws:policy/service-role/AWSGlueServiceRole AWS 管理ポリシーをアタッチする必要があります。

必要なアクセス許可を付与するには、ロールに次のインラインポリシーを作成して埋め込み、 AWS Glue クローラー がカスタムソースからデータファイルを読み取って AWS Glue Data Catalog のテーブルを作成/更新できるようにする必要があります。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "S3WriteRead",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:PutObject"
            ],
            "Resource": [
                "arn:aws:s3:::{{bucketName}}/*"
            ]
        }
    ]
}

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "glue.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

カスタムソースを追加するリージョンの S3 バケットがカスタマー管理の で暗号化されている場合は AWS KMS key、ロールとKMSキーポリシーに次のポリシーもアタッチする必要があります。

{
    "Effect": "Allow",
    "Action": [
        "kms:GenerateDataKey"
        "kms:Decrypt"
    ],
    "Condition": {
        "StringLike": {
            "kms:EncryptionContext:aws:s3:arn": [
                "arn:aws:s3:::{{name of S3 bucket created by Security Lake}"
            ]
        }
    },
    "Resource": [
        "{{ARN of customer managed key}}"
    ]
}