기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

다음과 같은 통합 OpenSearch 파이프라인 사용 OpenSearch

자체 관리형 OpenSearch 또는 OpenSearch Elasticsearch와 함께 통합 파이프라인을 사용하여 Amazon OpenSearch Service 도메인 및 서버리스 컬렉션으로 데이터를 마이그레이션할 수 있습니다. OpenSearch OpenSearch Ingestion은 자체 관리형 및 Elasticsearch에서 데이터를 마이그레이션하기 위한 공용 및 사설 네트워크 구성을 모두 지원합니다. OpenSearch

OpenSearch퍼블릭 클러스터에 대한 연결

OpenSearch 통합 파이프라인을 사용하여 공개 구성으로 자체 관리형 OpenSearch 또는 Elasticsearch 클러스터에서 데이터를 마이그레이션할 수 있습니다. 즉, 도메인 이름을 DNS 공개적으로 확인할 수 있습니다. 이렇게 하려면 자체 관리형 OpenSearch 또는 OpenSearch Elasticsearch를 소스로 하고 서비스 또는 서버리스를 대상으로 하는 통합 파이프라인을 설정하세요. OpenSearch OpenSearch 이렇게 하면 자체 관리형 소스 클러스터에서 관리형 대상 도메인 또는 컬렉션으로 데이터를 효과적으로 마이그레이션할 수 있습니다. AWS

사전 조건

OpenSearch 통합 파이프라인을 생성하기 전에 다음 단계를 수행하십시오.

1단계: 파이프라인 역할 구성

OpenSearch 파이프라인 사전 요구 사항을 설정한 후에는 파이프라인 구성에서 사용할 파이프라인 역할을 구성하고, OpenSearch 서비스 도메인 또는 OpenSearch 서버리스 컬렉션에 쓸 수 있는 권한과 Secrets Manager에서 암호를 읽을 수 있는 권한을 추가합니다.

2단계: 파이프라인 생성

그런 다음 다음과 같이 OpenSearch 소스로 지정하는 수집 파이프라인을 구성할 수 있습니다. OpenSearch

여러 OpenSearch 서비스 도메인을 데이터 대상으로 지정할 수 있습니다. 이 기능을 사용하면 들어오는 데이터를 여러 OpenSearch 서비스 도메인으로 조건부 라우팅하거나 복제할 수 있습니다.

또한 소스 OpenSearch 또는 Elasticsearch 클러스터에서 OpenSearch 서버리스 VPC 컬렉션으로 데이터를 마이그레이션할 수 있습니다. 파이프라인 구성 내에서 네트워크 액세스 정책을 제공해야 합니다.

version: "2"
opensearch-migration-pipeline:
  source:
    opensearch:
      acknowledgments: true
      host: [ "https://my-self-managed-cluster-name:9200" ]
      indices:
        include:
          - index_name_regex: "include-.*"
        exclude:
          - index_name_regex: '\..*'
      authentication:
        username: ${aws_secrets:secret:username}
        password: ${aws_secrets:secret:password}
        scheduling:
           interval: "PT2H"
           index_read_count: 3
           start_time: "2023-06-02T22:01:30.00Z"
  sink:
  - opensearch:
      hosts: ["https://search-mydomain.us-east-1.es.amazonaws.com"]
      aws:
          sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
          region: "us-east-1"
          #Uncomment the following lines if your destination is an OpenSearch Serverless collection
          #serverless: true
          # serverless_options:
          #     network_policy_name: "network-policy-name"
      index: "${getMetadata(\"opensearch-index\")}"
      document_id: "${getMetadata(\"opensearch-document_id\")}"
      enable_request_compression: true
      dlq:
        s3:
          bucket: "bucket-name"
          key_path_prefix: "apache-log-pipeline/logs/dlq"
          region: "us-east-1"
          sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
extension:
  aws:
    secrets:
      secret:
        secret_id: "my-opensearch-secret"
        region: "us-east-1"
        sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
        refresh_interval: PT1H   

사전 구성된 블루프린트를 사용하여 이 파이프라인을 생성할 수 있습니다. 자세한 내용은 청사진을 사용하여 파이프라인 생성 단원을 참조하십시오.

내 OpenSearch 클러스터에 대한 연결 VPC

또한 OpenSearch 통합 파이프라인을 사용하여 a에서 실행되는 자체 관리형 OpenSearch 또는 Elasticsearch 클러스터에서 데이터를 마이그레이션할 수 있습니다. VPC 이렇게 하려면 자체 관리형 OpenSearch 또는 OpenSearch Elasticsearch를 소스로 하고 서비스 또는 서버리스를 대상으로 하는 통합 파이프라인을 설정하세요. OpenSearch OpenSearch 이렇게 하면 자체 관리형 소스 클러스터에서 관리형 대상 도메인 또는 컬렉션으로 데이터를 효과적으로 마이그레이션할 수 있습니다. AWS

사전 조건

OpenSearch 통합 파이프라인을 생성하기 전에 다음 단계를 수행하십시오.

1단계: 파이프라인 역할 구성

파이프라인 사전 요구 사항을 설정한 후 파이프라인 구성에서 사용할 파이프라인 역할을 구성하고 역할에 다음 권한을 추가합니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "SecretsManagerReadAccess",
            "Effect": "Allow",
            "Action": [
                "secretsmanager:GetSecretValue"
            ],
            "Resource": ["arn:aws:secretsmanager:{region}:{account-id}:secret:secret-name"]
        },
        {
            "Effect": "Allow",
            "Action": [
                "ec2:AttachNetworkInterface",
                "ec2:CreateNetworkInterface",
                "ec2:CreateNetworkInterfacePermission",
                "ec2:DeleteNetworkInterface",
                "ec2:DeleteNetworkInterfacePermission",
                "ec2:DetachNetworkInterface",
                "ec2:DescribeNetworkInterfaces"
            ],
            "Resource": [
                "arn:aws:ec2:*:{account-id}:network-interface/*",
                "arn:aws:ec2:*:{account-id}:subnet/*",
                "arn:aws:ec2:*:{account-id}:security-group/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "ec2:DescribeDhcpOptions",
                "ec2:DescribeRouteTables",
                "ec2:DescribeSecurityGroups",
                "ec2:DescribeSubnets",
                "ec2:DescribeVpcs",
                "ec2:Describe*"
            ],
            "Resource": "*"
        },
        { 
            "Effect": "Allow",
            "Action": [ 
                "ec2:CreateTags"
            ],
            "Resource": "arn:aws:ec2:*:*:network-interface/*",
            "Condition": { 
               "StringEquals": 
                    {
                        "aws:RequestTag/OSISManaged": "true"
                    } 
            } 
        }
    ]
}

파이프라인은 이러한 EC2 권한을 사용하여 네트워크 인터페이스를 생성 및 삭제하므로 OpenSearch 수집 파이프라인을 생성하는 데 사용하는 IAM 역할에 대해 위의 Amazon 권한을 제공해야 합니다. VPC 파이프라인은 이 네트워크 인터페이스를 통해서만 OpenSearch 클러스터에 액세스할 수 있습니다.

2단계: 파이프라인 생성

그런 다음 다음과 같이 OpenSearch OpenSearch 소스로 지정하는 통합 파이프라인을 구성할 수 있습니다.

여러 OpenSearch 서비스 도메인을 데이터 대상으로 지정할 수 있습니다. 이 기능을 사용하면 들어오는 데이터를 여러 OpenSearch 서비스 도메인으로 조건부 라우팅하거나 복제할 수 있습니다.

또한 소스 OpenSearch 또는 Elasticsearch 클러스터에서 OpenSearch 서버리스 VPC 컬렉션으로 데이터를 마이그레이션할 수 있습니다. 파이프라인 구성 내에서 네트워크 액세스 정책을 제공해야 합니다.

version: "2"
opensearch-migration-pipeline:
  source:
    opensearch:
      acknowledgments: true
      host: [ "https://my-self-managed-cluster-name:9200" ]
      indices:
        include:
          - index_name_regex: "include-.*"
        exclude:
          - index_name_regex: '\..*'
      authentication:
        username: ${aws_secrets:secret:username}
        password: ${aws_secrets:secret:password}
        scheduling:
           interval: "PT2H"
           index_read_count: 3
           start_time: "2023-06-02T22:01:30.00Z"
  sink:
  - opensearch:
      hosts: ["https://search-mydomain.us-east-1.es.amazonaws.com"]
      aws:
          sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
          region: "us-east-1"
          #Uncomment the following lines if your destination is an OpenSearch Serverless collection
          #serverless: true
          # serverless_options:
          #     network_policy_name: "network-policy-name"
      index: "${getMetadata(\"opensearch-index\")}"
      document_id: "${getMetadata(\"opensearch-document_id\")}"
      enable_request_compression: true
      dlq:
        s3:
          bucket: "bucket-name"
          key_path_prefix: "apache-log-pipeline/logs/dlq"
          region: "us-east-1"
          sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
extension:
  aws:
    secrets:
      secret:
        secret_id: "my-opensearch-secret"
        region: "us-east-1"
        sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
        refresh_interval: PT1H  

사전 구성된 블루프린트를 사용하여 이 파이프라인을 생성할 수 있습니다. 자세한 내용은 청사진을 사용하여 파이프라인 생성 단원을 참조하십시오.