Security Lake의 사용자 지정 소스에서 데이터 수집

Amazon Security Lake는 타사 사용자 지정 소스에서 로그와 이벤트를 수집할 수 있습니다. Security Lake는 각 사용자 지정 소스에 대해 다음을 처리합니다.

사용자 지정 소스를 Security Lake에 추가하려면 다음 요구 사항을 충족해야 합니다.

Security Lake에서 사용자 지정 소스를 수집하는 모범 사례

효율적인 데이터 처리 및 쿼리를 촉진하려면 Security Lake에 사용자 지정 소스를 추가할 때 다음 모범 사례를 따르는 것이 좋습니다.

Security Lake에서 사용자 지정 소스를 추가하기 위한 사전 조건

사용자 지정 소스를 추가할 때 Security Lake는 소스가 데이터 레이크의 올바른 위치에 데이터를 쓸 수 있도록 허용하는 IAM 역할을 생성합니다. 역할의 이름은 형식 을 따르며AmazonSecurityLake-Provider-{name of the custom source}-{region}, 여기서 region는 사용자 지정 소스를 추가하는 AWS 리전 입니다. Security Lake는 데이터 레이크에 대한 액세스를 허용하는 정책을 역할에 연결합니다. 고객 관리형 AWS KMS 키로 데이터 레이크를 암호화한 경우 Security Lake는 역할 kms:Decrypt 및 kms:GenerateDataKey 권한과 함께 정책도 연결합니다. 이 역할에 대한 권한 경계는 라는 AWS 관리형 정책에 의해 설정됩니다AmazonSecurityLakePermissionsBoundary.

권한 확인

사용자 지정 소스를 추가하기 전에 다음 작업을 수행할 권한이 있는지 확인합니다.

권한을 확인하려면 IAM 를 사용하여 IAM 자격 증명에 연결된 IAM 정책을 검토합니다. 그런 다음 해당 정책의 정보를 사용자 지정 소스를 추가하기 위해 수행할 수 있어야 하는 다음 작업 목록과 비교하십시오.

이러한 작업을 통해 사용자 지정 소스에서 로그와 이벤트를 수집하고, 올바른 AWS Glue 데이터베이스와 테이블로 전송하고, Amazon S3에 저장할 수 있습니다.

데이터 레이크의 서버 측 암호화에 AWS KMS 키를 사용하는 경우 , 및 에 대한 권한도 필요합니다kms:CreateGrantkms:DescribeKeykms:GenerateDataKey.

Security Lake 버킷 위치에 대한 쓰기 액세스를 허용하는 IAM 역할 생성(API 및 AWS CLI전용 단계)

Security Lake API 또는 AWS CLI 를 사용하여 사용자 지정 소스를 추가하는 경우 이 IAM 역할을 추가하여 사용자 지정 소스 데이터를 크롤링하고 데이터에서 파티션을 식별할 수 있는 AWS Glue 권한을 부여합니다. 이러한 파티션은 데이터를 구성하고 데이터 카탈로그에서 테이블을 생성 및 업데이트하는 데 필요합니다.

이 IAM 역할을 생성한 후 사용자 지정 소스를 추가하려면 역할의 Amazon 리소스 이름(ARN)이 필요합니다.

arn:aws:iam::aws:policy/service-role/AWSGlueServiceRole AWS 관리형 정책을 연결해야 합니다.

필요한 권한을 부여하려면 가 사용자 지정 소스에서 데이터 파일을 AWS Glue 크롤러 읽고 AWS Glue 데이터 카탈로그에서 테이블을 생성/업데이트할 수 있도록 역할에 다음 인라인 정책을 생성하고 포함시켜야 합니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "S3WriteRead",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:PutObject"
            ],
            "Resource": [
                "arn:aws:s3:::{{bucketName}}/*"
            ]
        }
    ]
}

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "glue.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

사용자 지정 소스를 추가하는 리전의 S3 버킷이 고객 관리형 로 암호화된 경우 역할 및 KMS 키 정책에 다음 정책도 연결 AWS KMS key해야 합니다.

{
    "Effect": "Allow",
    "Action": [
        "kms:GenerateDataKey"
        "kms:Decrypt"
    ],
    "Condition": {
        "StringLike": {
            "kms:EncryptionContext:aws:s3:arn": [
                "arn:aws:s3:::{{name of S3 bucket created by Security Lake}"
            ]
        }
    },
    "Resource": [
        "{{ARN of customer managed key}}"
    ]
}