Amazon Security Lake에서 OpenSearch Ingestion 파이프라인 사용 - Amazon OpenSearch Service
사전 조건1단계: 파이프라인 역할 구성2단계: 파이프라인 생성

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon Security Lake에서 OpenSearch Ingestion 파이프라인 사용

S3 소스 플러그인을 사용하여 Amazon Security Lake에서 OpenSearch Ingestion 파이프라인으로 데이터를 수집할 수 있습니다. Security Lake는 AWS 환경, 온프레미스 환경 및 SaaS 공급자의 보안 데이터를 전용 데이터 레이크로 자동으로 중앙 집중화합니다. Security Lake에서 OpenSearch Ingestion 파이프라인으로 데이터를 복제한 다음 OpenSearch Service 도메인 또는 OpenSearch Serverless 컬렉션에 기록하는 구독을 생성할 수 있습니다.

Security Lake에서 읽을 파이프라인을 구성하려면 미리 구성된 Security Lake 청사진을 사용합니다. 블루프린트에는 Security Lake에서 Open Cybersecurity Schema Framework(OCSF) 파켓 파일을 수집하기 위한 기본 구성이 포함되어 있습니다. 자세한 내용은 청사진을 사용하여 파이프라인 생성 단원을 참조하십시오.

사전 조건

OpenSearch Ingestion 파이프라인을 생성하기 전에 다음 단계를 수행합니다.

  • Security Lake를 활성화합니다.

  • Security Lake에서 구독자를 생성하세요.

    • 파이프라인에 수집하려는 소스를 선택하세요.

    • 구독자 보안 인증 정보의 경우 파이프라인을 생성하려는 위치에 AWS 계정 ID를 추가하세요. 외부 ID의 경우 OpenSearchIngestion-{accountid}을 지정하세요.

    • 데이터 액세스 메서드로는 S3를 선택합니다.

    • 알림 세부 정보 에서 SQS 대기열 을 선택합니다.

구독자를 생성하면 Security Lake는 S3용과 용의 두 가지 인라인 권한 정책을 자동으로 생성합니다SQS. 정책 형식은 AmazonSecurityLake-{12345}-S3 및 AmazonSecurityLake-{12345}-SQS입니다. 파이프라인이 구독자 소스에 액세스할 수 있게 하려면 필요한 권한을 파이프라인 역할에 연결해야 합니다.

1단계: 파이프라인 역할 구성

Security Lake가 자동으로 생성한 두 정책에서 필요한 권한만 IAM 결합하는 에서 새 권한 정책을 생성합니다. 다음 예제 정책은 OpenSearch Ingestion 파이프라인이 여러 Security Lake 소스에서 데이터를 읽는 데 필요한 최소 권한을 보여줍니다.

{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Action":[
            "s3:GetObject"
         ],
         "Resource":[
            "arn:aws:s3:::aws-security-data-lake-{region}-abcde/aws/LAMBDA_EXECUTION/1.0/*",
            "arn:aws:s3:::aws-security-data-lake-{region}-abcde/aws/S3_DATA/1.0/*",
            "arn:aws:s3:::aws-security-data-lake-{region}-abcde/aws/VPC_FLOW/1.0/*",
            "arn:aws:s3:::aws-security-data-lake-{region}-abcde/aws/ROUTE53/1.0/*",
            "arn:aws:s3:::aws-security-data-lake-{region}-abcde/aws/SH_FINDINGS/1.0/*"
         ]
      },
      {
         "Effect":"Allow",
         "Action":[
            "sqs:ReceiveMessage",
            "sqs:DeleteMessage"
         ],
         "Resource":[
            "arn:aws:sqs:{region}:{account-id}:AmazonSecurityLake-abcde-Main-Queue"
         ]
      }
   ]
}
중요

Security Lake는 파이프라인 역할 정책을 대신 관리하지 않습니다. Security Lake 구독에서 소스를 추가하거나 제거하는 경우 정책을 수동으로 업데이트해야 합니다. Security Lake는 각 로그 소스에 대해 파티션을 생성하므로 파이프라인 역할에서 권한을 수동으로 추가하거나 제거해야 합니다.

의 S3 소스 플러그인 구성 내 sts_role_arn 옵션에서 지정한 IAM 역할에 이러한 권한을 연결해야 합니다sqs.

version: "2"
source:
  s3:
    ...
    sqs:
      queue_url: "https://sqs.{region}.amazonaws.com/{account-id}/AmazonSecurityLake-abcde-Main-Queue"
    aws:
      ...
      sts_role_arn: arn:aws:iam::{account-id}:role/pipeline-role
processor:
  ...
sink:
  - opensearch:
      ...

2단계: 파이프라인 생성

파이프라인 역할에 권한을 추가한 후 미리 구성된 Security Lake 청사진을 사용하여 파이프라인을 생성합니다. 자세한 내용은 청사진을 사용하여 파이프라인 생성 단원을 참조하십시오.

s3 소스 구성 내에서 읽을 Amazon SQS 대기열인 queue_url 옵션을 지정URL해야 합니다. 의 형식을 지정하려면 구독자 구성에서 구독 엔드포인트를 URL찾아 arn:aws:로 변경합니다https://. 예: https://sqs.{region}.amazonaws.com/{account-id}/AmazonSecurityLake-abdcef-Main-Queue.

S3 소스 구성 내에서 sts_role_arn 지정하는 는 파이프라인 역할ARN의 이어야 합니다.