튜토리얼: Amazon OpenSearch Ingestion을 사용하여 컬렉션에 데이터 수집

파이프라인 역할을 생성하려면

1. https://console.aws.amazon.com/iamv2/에서 AWS Identity and Access Management 콘솔을 엽니다.

2. 정책을 선택한 후 정책 생성을 선택합니다.

3. JSON을 선택한 후 다음 정책을 편집기에 붙여넣습니다. 적절히 컬렉션 ARN과 이름을 수정합니다.

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Action": [
           "aoss:BatchGetCollection",
           "aoss:APIAccessAll"
         ],
         "Effect": "Allow",
         "Resource": "arn:aws:aoss:us-east-1:your-account-id:collection/collection-id"
       },
       {
         "Action": [
           "aoss:CreateSecurityPolicy",
           "aoss:GetSecurityPolicy",
           "aoss:UpdateSecurityPolicy"
         ],
         "Effect": "Allow",
         "Resource": "*",
         "Condition": {
           "StringEquals": {
             "aoss:collection": "collection-name"
           }
         }
       }
     ]
   }

4. 다음을 선택하고 다음을 선택한 후, 정책 이름을 collection-pipeline-policy로 지정합니다.

5. 정책 생성을 선택합니다.

6. 다음으로, 역할을 생성하여 역할에 정책을 연결합니다. 역할을 선택한 다음 역할 생성을 선택합니다.

7. 사용자 지정 신뢰 정책을 선택하고 다음 정책을 편집기에 붙여넣습니다.

   {
      "Version":"2012-10-17",
      "Statement":[
         {
            "Effect":"Allow",
            "Principal":{
               "Service":"osis-pipelines.amazonaws.com"
            },
            "Action":"sts:AssumeRole"
         }
      ]
   }

8. Next(다음)를 선택합니다. 그런 다음 방금 생성한 collection-pipeline-policy을 검색하여 선택합니다.

9. 다음을 선택하고 역할 이름을 PipelineRole로 지정합니다.

10. 역할 생성을 선택합니다.

1. https://console.aws.amazon.com/aos/home에서 Amazon OpenSearch Service 콘솔로 이동합니다.

2. 왼쪽 탐색에서 컬렉션을 선택하고 컬렉션 생성을 선택합니다.

3. 컬렉션 이름을 ingestion-collection으로 지정하세요.

4. 보안에서 표준 생성을 선택합니다.

5. 네트워크 액세스 설정에서 액세스 유형을 공개로 변경합니다.

6. 다른 모든 설정을 기본값으로 유지하고 Next(다음)를 선택합니다.

7. 이제 컬렉션에 대한 데이터 액세스 정책을 구성합니다. 정의 방법에는 JSON을 선택하고 편집기에 다음 정책을 붙여 넣습니다. 이 정책은 두 가지 기능을 합니다.

   • 파이프라인 역할이 컬렉션에 쓸 수 있도록 허용합니다.

   • 컬렉션에서 읽을 수 있도록 허용합니다. 나중에 일부 샘플 데이터를 파이프라인으로 수집한 후 컬렉션을 쿼리하여 데이터가 성공적으로 수집되고 인덱스에 기록되었는지 확인합니다.

     [
       {
         "Rules": [
           {
             "Resource": [
               "index/ingestion-collection/*"
             ],
             "Permission": [
               "aoss:CreateIndex",
               "aoss:UpdateIndex",
               "aoss:DescribeIndex",
               "aoss:ReadDocument",
               "aoss:WriteDocument"
             ],
             "ResourceType": "index"
           }
         ],
         "Principal": [
           "arn:aws:iam::your-account-id:role/PipelineRole",
           "arn:aws:iam::your-account-id:role/Admin"
         ],
         "Description": "Rule 1"
       }
     ]

8. Principal 요소를 교체하세요. 첫 번째 보안 주체는 생성한 파이프라인 역할을 지정해야 합니다. 두 번째 보안 주체는 나중에 컬렉션을 쿼리하는 데 사용할 수 있는 사용자 또는 역할을 지정해야 합니다.

9. Next(다음)를 선택합니다. 액세스 정책 이름을 pipeline-domain-access로 지정하고 다음을 다시 선택합니다.

10. 컬렉션 구성을 검토하고 Submit(제출)을 선택합니다.

파이프라인을 생성하려면

1. Amazon OpenSearch Service 콘솔 내 왼쪽 탐색 창에서 파이프라인을 선택합니다.

2. [파이프라인 생성]을 선택합니다.

3. 빈 파이프라인을 선택한 다음, 블루프린트 선택을 선택합니다.

4. 파이프라인의 이름을 serverless-ingestion으로 지정하고 용량 설정을 기본값으로 유지합니다.

5. 이 튜토리얼에서는 HTTP 소스 플러그인을 사용하는 log-pipeline이라는 간단한 하위 파이프라인을 만들어 보겠습니다. 플러그인은 JSON 배열 형식의 로그 데이터를 받아들입니다. 단일 OpenSearch Serverless 컬렉션을 싱크로 지정하고 모든 데이터를 my_logs 인덱스로 수집하겠습니다.

   파이프라인 구성에서 다음 YAML 구성을 편집기에 붙여넣습니다.

   version: "2"
   log-pipeline:
     source:
       http:
         path: "/${pipelineName}/test_ingestion_path"
     processor:
       - date:
           from_time_received: true
           destination: "@timestamp"
     sink:
       - opensearch:
           hosts: [ "https://collection-id.us-east-1.aoss.amazonaws.com" ]
           index: "my_logs"
           aws:
             sts_role_arn: "arn:aws:iam::your-account-id:role/PipelineRole"
             region: "us-east-1"
             serverless: true

6. hosts URL을 이전 섹션에서 생성한 컬렉션의 엔드포인트로 대체합니다. sts_role_arn 파라미터를 PipelineRole의 ARN으로 대체합니다. 필요에 따라 region을 수정합니다.

7. 파이프라인 검증을 선택하고 검증이 성공하는지 확인합니다.

8. 이 튜토리얼에서는 간소화를 위해 파이프라인에 대한 공개 액세스를 구성해 보겠습니다. [네트워크(Network)]에서 [퍼블릭 액세스(Public access)]를 선택합니다.

   VPC에 대한 액세스를 구성하는 방법에 대한 자세한 정보는 Amazon OpenSearch Ingestion 파이프라인에 대한 VPC 액세스 구성 섹션을 참조하세요.

9. 이 튜토리얼을 완료하는 동안 문제가 발생할 경우를 대비하여 로그 게시를 계속 활성화하세요. 자세한 내용은 파이프라인 모니터링 단원을 참조하십시오.

   다음 로그 그룹 이름을 /aws/vendedlogs/OpenSearchIngestion/serverless-ingestion/audit-logs(으)로 지정하세요.

10. Next(다음)를 선택합니다. 파이프라인 구성을 검토하고 파이프라인 생성을 선택합니다. 파이프라인이 활성화되려면 5~10분이 걸립니다.