Amazon OpenSearch Serverless를 통한 데이터 수명 주기 정책 사용 - Amazon OpenSearch 서비스
데이터 수명 주기 정책필요한 권한정책 우선순위정책 구문데이터 수명 주기 정책 생성(AWS CLI)데이터 수명 주기 정책 보기데이터 수명 주기 정책 업데이트데이터 수명 주기 정책 삭제

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon OpenSearch Serverless를 통한 데이터 수명 주기 정책 사용

Amazon OpenSearch Serverless 시계열 컬렉션의 데이터 수명 주기 정책은 해당 컬렉션에 포함된 데이터의 수명을 결정합니다. OpenSearch Serverless는 사용자가 구성한 기간 동안 데이터를 보존합니다.

AWS 계정의 시계열 컬렉션 마다 각 인덱스에 대해 별도의 데이터 수명 주기 정책을 구성할 수 있습니다. OpenSearch Serverless는 최소한 정책에서 구성한 보존 기간 동안 인덱스에 문서를 보존합니다. 그런 다음 일반적으로 48시간 이내 또는 보존 기간의 10% 이내 중 더 긴 기간을 기준으로 최선을 다해 자동으로 삭제합니다.

시계열 컬렉션만 데이터 수명 주기 정책을 지원합니다. 검색 또는 벡터 검색 컬렉션에서는 지원되지 않습니다.

데이터 수명 주기 정책

데이터 수명 주기 정책에서는 일련의 규칙을 지정합니다. 데이터 수명 주기 정책을 사용하면 이러한 규칙과 일치하는 인덱스 또는 컬렉션과 관련된 데이터의 보존 기간을 관리할 수 있습니다. 이러한 규칙은 인덱스 또는 인덱스 그룹에 있는 데이터의 보존 기간을 정의합니다. 각 규칙은 리소스 유형(index), 보존 기간, 보존 기간이 적용되는 리소스 목록(인덱스)으로 구성됩니다.

다음 형식 중 하나를 사용하여 보존 기간을 정의합니다.

  • "MinIndexRetention": "24h"— OpenSearch Serverless는 지정된 기간 동안 인덱스 데이터를 시간 또는 일 단위로 보존합니다. 이 기간을 24h부터 3650d까지 설정할 수 있습니다.

  • "NoMinIndexRetention": true— OpenSearch Serverless는 인덱스 데이터를 무기한 보존합니다.

다음 샘플 정책에서 첫 번째 규칙은 컬렉션 marketing 내 모든 인덱스의 보존 기간을 15일로 지정합니다. 두 번째 규칙은 finance 컬렉션에서 log로 시작하는 모든 인덱스 이름에 보존 기간을 설정하지 않고 무기한 보존하도록 지정합니다.

{
   "lifeCyclePolicyDetail": {
      "type": "retention",
      "name": "my-policy",
      "policyVersion": "MTY4ODI0NTM2OTk1N18x",
      "policy": {
         "Rules": [
            {
            "ResourceType":"index",
            "Resource":[
               "index/marketing/*"
            ],
            "MinIndexRetention": "15d"
         },
         {
            "ResourceType":"index",
            "Resource":[
               "index/finance/log*"
            ],
            "NoMinIndexRetention": true
         }
         ]
      },
      "createdDate": 1688245369957,
      "lastModifiedDate": 1688245369957
   }
}

다음 샘플 정책 규칙에서 OpenSearch Serverless는 계정 내 모든 컬렉션에 대해 모든 인덱스의 데이터를 무기한 보존합니다.

{
   "Rules": [
      {
         "ResourceType": "index",
         "Resource": [
            "index/*/*"
         ]
      }
   ],
   "NoMinIndexRetention": true
}

필요한 권한

OpenSearch Serverless에 대한 수명 주기 정책은 다음 AWS Identity and Access Management(IAM) 권한을 사용합니다. IAM 조건을 지정하여 사용자를 특정 컬렉션 및 인덱스와 연결된 데이터 수명 주기 정책으로 제한할 수 있습니다.

  • aoss:CreateLifecyclePolicy - 데이터 수명 주기 정책 생성.

  • aoss:ListLifecyclePolicies – 현재 계정의 모든 데이터 수명 주기 정책을 나열합니다.

  • aoss:BatchGetLifecyclePolicy— 계정 또는 정책 이름과 관련된 데이터 수명 주기 정책을 확인합니다.

  • aoss:BatchGetEffectiveLifecyclePolicy— 주어진 리소스(index는 지원되는 유일한 리소스임)에 대한 데이터 수명 주기 정책을 확인합니다.

  • aoss:UpdateLifecyclePolicy— 주어진 데이터 수명 주기 정책을 수정하고 해당 보존 설정 또는 리소스를 변경합니다.

  • aoss:DeleteLifecyclePolicy - 데이터 수명 주기 정책 삭제.

다음 자격 증명 기반 액세스 정책을 통해 사용자는 모든 데이터 수명 주기 정책을 보고 리소스 패턴 collection/application-logs로 정책을 업데이트할 수 있습니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "aoss:UpdateLifecyclePolicy"
            ],
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "aoss:collection": "application-logs"
                }
            }
        },
        {
            "Effect": "Allow",
            "Action": [
                "aoss:ListLifecyclePolicies",
                "aoss:BatchGetLifecyclePolicy"
            ],
            "Resource": "*"
        }
    ]
}

정책 우선순위

데이터 수명 주기 정책 규칙이 정책 내에서 또는 정책 간에 중복되는 상황이 있을 수 있습니다. 이 경우 인덱스에 대해 보다 구체적인 리소스 이름이나 패턴을 사용하는 규칙이 두 규칙에 모두 공통되는 모든 인덱스에 대해 보다 일반적인 리소스 이름 또는 패턴으로 규칙을 재정의합니다.

예를 들어, 다음 정책에서는 인덱스 index/sales/logstash에 두 가지 규칙이 적용됩니다. 이 경우 index/sales/log*이 index/sales/logstash와 가장 길게 일치하므로 두 번째 규칙이 우선시됩니다. 따라서 OpenSearch Serverless는 인덱스에 보존 기간을 설정하지 않습니다.

{
      "Rules":[
         {
            "ResourceType":"index",
            "Resource":[
               "index/sales/*",
            ],
            "MinIndexRetention": "15d"
         },
         {
            "ResourceType":"index",
            "Resource":[
               "index/sales/log*",
            ],
            "NoMinIndexRetention": true
         }
      ]
   }

정책 구문

하나 이상의 규칙을 입력합니다. 이러한 규칙은 OpenSearch Serverless 인덱스의 데이터 수명 주기 설정을 정의합니다.

각 규칙에는 다음 요소가 포함됩니다. 각 규칙에 MinIndexRetention 또는 NoMinIndexRetention을 제공할 수 있지만 둘 다 제공할 수는 없습니다.

Element 설명
리소스 유형 규칙이 적용되는 리소스 유형입니다. 데이터 수명 주기 정책에 지원되는 유일한 옵션은 index입니다.
리소스 리소스 이름 및/또는 패턴 목록. 패턴은 접두사와 와일드카드(*)로 구성되며, 연결된 권한을 여러 리소스에 적용할 수 있도록 합니다. 예: index/<collection-name|pattern>/<index-name|pattern>.
MinIndexRetention 문서를 인덱스에 보존하는 최소 기간은 d일 또는 h시간입니다. 하한은 24h이고 상한은 3650d입니다.
NoMinIndexRetention true인 경우 OpenSearch Serverless는 문서를 무기한 보존합니다.

다음은 몇 가지 예시입니다.

{
  "Rules": [
    {
      "ResourceType": "index",
      "Resource": [
        "index/autoparts-inventory/*"
      ],
      "MinIndexRetention": "20d"
    },
    {
      "ResourceType": "index",
      "Resource": [
        "index/auto*/gear"
      ],
      "MinIndexRetention": "24h"
    },
    {
      "ResourceType": "index",
      "Resource": [
        "index/autoparts-inventory/tires"
      ],
      "NoMinIndexRetention": true
    }
  ]
}

데이터 수명 주기 정책 생성(AWS CLI)

OpenSearch Serverless API 작업을 사용하여 데이터 수명 주기 정책을 생성하려면 CreateLifecyclePolicy 명령을 사용합니다. 이 명령은 인라인 정책과 .json 파일을 모두 허용합니다. 인라인 정책은 JSON 이스케이프 문자열로 인코딩해야 합니다.

다음 요청은 데이터 수명 주기 정책을 생성합니다.

aws opensearchserverless create-lifecycle-policy \
    --name my-policy \
    --type retention \
    --policy "{\"Rules\":[{\"ResourceType\":\"index\",\"Resource\":[\"index/autoparts-inventory/*\"],\"MinIndexRetention\": \"81d\"},{\"ResourceType\":\"index\",\"Resource\":[\"index/sales/orders*\"],\"NoMinIndexRetention\":true}]}"

JSON 파일로 정책을 제공하려면 --policy file://my-policy.json 형식을 사용합니다.

데이터 수명 주기 정책 보기

컬렉션을 생성하기 전에 계정의 기존 데이터 수명 주기 정책을 미리 보고 컬렉션 이름과 일치하는 리소스 패턴을 가진 정책을 확인하는 것이 좋습니다. 다음 ListLifecyclePolicies 요청은 계정의 모든 데이터 수명 주기 정책을 나열합니다.

aws opensearchserverless list-lifecycle-policies --type retention

요청은 구성된 모든 데이터 수명 주기 정책에 대한 정보를 반환합니다. 특정 정책에 정의된 패턴 규칙을 보려면 응답의 lifecyclePolicySummaries 요소 내용에서 정책 정보를 찾으십시오. 이 정책의 name 및 type를 기록하고 BatchGetLifecyclePolicy 요청에서 이러한 속성을 사용하여 다음 정책 세부 정보가 포함된 응답을 수신하세요.

{
    "lifecyclePolicySummaries": [
        {
            "type": "retention",
            "name": "my-policy",
            "policyVersion": "MTY2MzY5MTY1MDA3Ml8x",
            "createdDate": 1663691650072,
            "lastModifiedDate": 1663691650072
        }
    ]
}

특정 컬렉션 또는 인덱스가 포함된 정책으로 결과를 제한하려면 리소스 필터를 포함할 수 있습니다.

aws opensearchserverless list-lifecycle-policies --type retention --resources "index/autoparts-inventory/*"

특정 정책에 대한 자세한 정보를 보려면 BatchGetLifecyclePolicy 명령을 사용합니다.

데이터 수명 주기 정책 업데이트

데이터 수명 주기 정책을 수정하면 모든 관련 컬렉션이 영향을 받습니다. OpenSearch Serverless 콘솔에서 데이터 수명 주기 정책을 업데이트하려면 데이터 수명 주기 정책을 확장하고 수정할 정책을 선택한 다음 편집을 선택합니다. 변경하고 Save(저장)를 선택합니다.

OpenSearch Serverless API를 사용하여 데이터 수명 주기 정책을 업데이트하려면 UpdateLifecyclePolicy 명령을 사용합니다. 요청에 정책 버전을 포함해야 합니다. ListLifecyclePolicies 또는BatchGetLifecyclePolicy 명령을 사용하여 정책 버전을 검색할 수 있습니다. 최신 정책 버전을 포함하면 다른 사람이 변경한 내용을 실수로 재정의하지 않습니다.

다음 요청은 새 정책 JSON 문서로 데이터 수명 주기 정책을 업데이트합니다.

aws opensearchserverless update-lifecycle-policy \
    --name my-policy \
    --type retention \
    --policy-version MTY2MzY5MTY1MDA3Ml8x \
    --policy file://my-new-policy.json

정책을 업데이트하는 시점과 새 유지 기간이 적용되는 시점 사이에 몇 분의 지연 시간이 있을 수 있습니다.

데이터 수명 주기 정책 삭제

데이터 수명 주기 정책을 삭제하면 일치하는 인덱스에 해당 정책이 더 이상 적용되지 않습니다. OpenSearch Serverless 콘솔에서 정책을 삭제하려면 정책을 선택하고 Delete(삭제)를 선택합니다.

DeleteLifecyclePolicy 명령을 사용할 수도 있습니다.

aws opensearchserverless delete-lifecycle-policy --name my-policy --type retention