기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

자습서: Amazon OpenSearch Ingestion을 사용하여 도메인으로 데이터 수집

이 자습서에서는 Amazon OpenSearch Ingestion을 사용하여 간단한 파이프라인을 구성하고 Amazon OpenSearch 서비스 도메인으로 데이터를 수집하는 방법을 보여줍니다. 파이프라인은 OpenSearch Ingestion이 프로비저닝 및 관리하는 리소스입니다. 파이프라인을 사용하여 Service의 다운스트림 분석 및 시각화를 위해 데이터를 필터링, 강화, 변환, 정규화하고 집계할 수 있습니다. OpenSearch

이 튜토리얼은 파이프라인을 준비하여 빠르게 실행하기 위한 기본 단계를 안내합니다. 더 자세한 내용은 파이프라인 생성섹션을 참조하세요.

이 튜토리얼에서는 다음 단계를 완료합니다.

이 튜토리얼에서는 다음 리소스를 생성합니다.

필수 권한

이 자습서를 완료하려면 올바른 IAM 권한이 있어야 합니다. 사용자 또는 역할에는 다음과 같은 최소 권한이 포함된 연결된 자격 증명 기반 정책이 있어야 합니다. 이러한 권한을 가지고 파이프라인 역할(iam:Create)을 생성하고, 도메인(es:*)을 생성 또는 수정하고, 파이프라인(osis:*)으로 작업할 수 있습니다.

또한 파이프라인 역할 리소스에 대한 iam:PassRole 권한도 필요합니다. 이 권한을 사용하면 Ingestion에 파이프라인 역할을 전달하여 OpenSearch Ingestion이 도메인에 데이터를 쓸 수 있도록 할 수 있습니다.

{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Resource":"*",
         "Action":[
            "osis:*",
            "iam:Create*",
            "es:*"
         ]
      },
      {
         "Resource":[
            "arn:aws:iam::your-account-id:role/PipelineRole"
         ],
         "Effect":"Allow",
         "Action":[
            "iam:PassRole"
         ]
      }
   ]
}

1단계: 파이프라인 역할 생성

먼저 OpenSearch 서비스 도메인 싱크에 액세스하기 위해 파이프라인이 맡을 역할을 생성하세요. 이 튜토리얼의 뒷부분에서 파이프라인 구성에 이 역할을 포함시킬 것입니다.

역할의 Amazon 리소스 이름 (ARN) 을 기억하십시오 (예:arn:aws:iam::your-account-id:role/PipelineRole). 파이프라인을 생성할 때 사용합니다.

2단계: 도메인 생성

다음으로 데이터를 수집할 ingestion-domain이라는 도메인을 생성합니다.

https://console.aws.amazon.com/aos/집에서 Amazon OpenSearch Service 콘솔로 이동하여 다음 요구 사항을 충족하는 도메인을 생성합니다.

도메인에는 이전 단계에서 생성한 권한을 PipelineRole에 부여하는 액세스 정책이 있어야 합니다. 파이프라인은 서비스 도메인 싱크로 데이터를 전송하기 위해 이 역할 (파이프라인 구성에서는 sts_role_arn이라는 이름) 을 맡습니다. OpenSearch

도메인에 대한 PipelineRole 액세스 권한을 부여하는 다음과 같은 도메인 수준 액세스 정책이 도메인에 적용되었는지 확인하세요. 을 리전으로 바꾸고 를 계정 ID로 바꿉니다.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::your-account-id:role/PipelineRole"
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-east-1:your-account-id:domain/ingestion-domain/*"
    }
  ]
}

도메인 수준 액세스 정책을 만드는 방법에 대한 자세한 내용은 리소스 기반 액세스 정책을 참조하세요.

이미 도메인을 생성한 경우 기존의 액세스 정책을 수정하여 위의 권한을 PipelineRole에 제공하세요.

3단계: 파이프라인 생성

이제 적절한 액세스 권한을 가진 컬렉션과 역할이 생겼으니 파이프라인을 생성할 수 있습니다.

4단계: 일부 샘플 데이터 수집

파이프라인이 Active 상태가 되면 데이터 수집을 시작할 수 있습니다. 서명 버전 4를 사용하여 파이프라인에 대한 모든 HTTP 요청에 서명해야 합니다. Postman 또는 awscurl과 같은 HTTP 도구를 사용하여 파이프라인에 일부 데이터를 전송하세요. 데이터를 도메인으로 직접 인덱싱하는 것과 마찬가지로, 파이프라인으로 데이터를 수집하려면 항상 IAM 역할 또는 액세스 키와 비밀 키가 필요합니다. IAM

먼저 파이프라인 설정 페이지에서 URL 인제스트를 가져오세요.

그런 다음 일부 샘플 데이터를 수집하세요. 다음 샘플 요청은 awscurl을 사용하여 단일 로그 파일을 application_logs 인덱스에 보냅니다.

awscurl --service osis --region us-east-1 \
    -X POST \
    -H "Content-Type: application/json" \
    -d '[{"time":"2014-08-11T11:40:13+00:00","remote_addr":"122.226.223.69","status":"404","request":"GET http://www.k2proxy.com//hello.html HTTP/1.1","http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)"}]' \
    https://pipeline-endpoint.us-east-1.osis.amazonaws.com/log-pipeline/test_ingestion_path

200 OK 응답이 표시되어야 합니다. 인증 오류가 발생하는 경우 파이프라인이 있는 별도의 계정에서 데이터를 수집하고 있기 때문일 수 있습니다. 권한 문제 해결을 참조하세요.

이제 application_logs 인덱스를 쿼리하여 로그 항목이 성공적으로 수집되었는지 확인하세요.

awscurl --service es --region us-east-1 \
     -X GET \
     https://search-ingestion-domain.us-east-1.es.amazonaws.com/application_logs/_search | json_pp

샘플 응답:

{
   "took":984,
   "timed_out":false,
   "_shards":{
      "total":1,
      "successful":5,
      "skipped":0,
      "failed":0
   },
   "hits":{
      "total":{
         "value":1,
         "relation":"eq"
      },
      "max_score":1.0,
      "hits":[
         {
            "_index":"application_logs",
            "_type":"_doc",
            "_id":"z6VY_IMBRpceX-DU6V4O",
            "_score":1.0,
            "_source":{
               "time":"2014-08-11T11:40:13+00:00",
               "remote_addr":"122.226.223.69",
               "status":"404",
               "request":"GET http://www.k2proxy.com//hello.html HTTP/1.1",
               "http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)",
               "@timestamp":"2022-10-21T21:00:25.502Z"
            }
         }
      ]
   }
}

권한 문제 해결

튜토리얼의 단계를 따랐는데도 데이터를 수집하려고 할 때 인증 오류가 계속 발생한다면, 파이프라인에 쓰는 역할이 파이프라인 자체와 AWS 계정 다르기 때문일 수 있습니다. 이 경우 데이터를 수집할 수 있도록 특별히 지원하는 역할을 만들고 수임해야 합니다. 지침은 교차 계정 수집 액세스 제공 단원을 참조하십시오.

관련 리소스

이 자습서에서는 단일 문서를 인제스트하는 간단한 사용 사례를 제시했습니다. HTTP 프로덕션 시나리오에서는 하나 이상의 파이프라인으로 데이터를 전송하도록 클라이언트 애플리케이션 (예: Fluent Bit, Kubernetes 또는 OpenTelemetry Collector) 을 구성합니다. 파이프라인은 이 튜토리얼의 간단한 예제보다 더 복잡할 수 있습니다.

클라이언트 구성 및 데이터 수집을 시작하려면 다음 리소스를 참조하세요.