翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

リモート再インデックスを使用した Amazon OpenSearch Service インデックスの移行

リモート再インデックスを使用すると、Amazon OpenSearch Service ドメイン間でインデックスをコピーできます。インデックスは、任意の OpenSearch サービスドメイン、またはセルフマネージドクラスター OpenSearch と Elasticsearch クラスターから移行できます。

リモートドメインとインデックスは、データのソース (データのコピー元) のドメインとインデックスを意味します。ローカルドメインとインデックスは、データのターゲット (データのコピー先) のドメインとインデックスを意味します。

リモート再インデックス作成には、ローカルドメインで OpenSearch 1.0 以降、または Elasticsearch 6.7 以降が必要です。リモートドメインは、ローカルドメインと同じまたはそれより前のメジャーバージョンである必要があります。Elasticsearch バージョンは バージョンよりも OpenSearch低いとみなされ、Elasticsearch ドメインから OpenSearch ドメインにデータを再インデックスできます。同じメジャーバージョン内では、リモートドメインは任意のマイナーバージョンにすることができます。例えば、Elasticsearch 7.10.x から 7.9 へのリモート再インデックス作成はサポートされていますが、Elasticsearch 7.10.x OpenSearch への 1.0 はサポートされていません。

前提条件

リモート再インデックスには、次の要件があります。

OpenSearch サービスインターネットドメイン間でデータを再インデックスする

最も基本的なシナリオは、リモートインデックスがパブリックにアクセス可能なエンドポイントを持つローカルドメイン AWS リージョン と同じ にあり、IAMユーザーが認証情報に署名していることです。

リモートドメインから、再インデックス元のリモートインデックスと、再インデックス先のローカルインデックスを指定します。

POST _reindex
{
  "source": {
    "remote": {
      "host": "https://remote-domain-endpoint:443"
    },
    "index": "remote_index"
  },
  "dest": {
    "index": "local_index"
  }
}

検証チェックを行うには、リモートドメインのエンドポイントの末尾に 443 を追加する必要があります。

インデックスがローカルドメインにコピーされたことを確認するには、次のリクエストをローカルドメインに送信します。

GET local_index/_search

リモートインデックスがローカルドメインとは異なるリージョンにある場合は、次のサンプルリクエストのように、リージョン名を渡します。

POST _reindex
{
  "source": {
    "remote": {
      "host": "https://remote-domain-endpoint:443",
      "region": "eu-west-1"
    },
    "index": "remote_index"
  },
  "dest": {
    "index": "local_index"
  }
}

AWS GovCloud (US) や中国リージョンのように分離されたリージョンの場合、IAMユーザーがそれらのリージョンで認識されないため、エンドポイントにアクセスできない可能性があります。

リモートドメインが基本的な認証で保護されている場合は、ユーザーネームとパスワードを指定します。

POST _reindex
{
  "source": {
    "remote": {
      "host": "https://remote-domain-endpoint:443",
      "username": "username",
      "password": "password"
    },
    "index": "remote_index"
  },
  "dest": {
    "index": "local_index"
  }
}

リモートが にあるときに OpenSearch サービスドメイン間でデータを再インデックスする VPC

すべての OpenSearch サービスドメインは、独自の内部仮想プライベートクラウド (VPC) インフラストラクチャで構成されています。既存の OpenSearch サービス で新しいドメインを作成するとVPC、 のデータノードごとに Elastic Network Interface が作成されますVPC。

リモート再インデックスオペレーションはリモート OpenSearch サービスドメインから実行されるため、独自のプライベート 内で実行されるためVPC、ローカルドメインの にアクセスする方法が必要ですVPC。これを行うには、組み込みのVPCエンドポイント接続機能を使用して 経由で接続を確立するか AWS PrivateLink、プロキシを設定します。

ローカルドメイン OpenSearch でバージョン 1.0 以降を使用している場合は、 コンソールまたは AWS CLI を使用して AWS PrivateLink 接続を作成できます。 AWS PrivateLink 接続により、ローカルのリソースはVPC同じ VPC 内のリモートのリソースにプライベートに接続できます AWS リージョン。

VPC エンドポイント接続を作成するには、再インデックスするソースドメインがローカル にありVPC、ソースドメインと宛先ドメインの両方が同じ にある必要があります AWS リージョン。

リモートドメインが 内でホストVPCされていて、VPCエンドポイント接続機能を使用しない場合は、パブリックにアクセス可能なエンドポイントでプロキシを設定する必要があります。この場合、 OpenSearch サービスには にトラフィックを送信する機能がないため、パブリックエンドポイントが必要ですVPC。

VPC モードでドメインを実行すると、1 つ以上のエンドポイントが に配置されますVPC。ただし、これらのエンドポイントは 内のドメインに入るトラフィックのみを対象としておりVPC、 VPC 自体へのトラフィックは許可しません。

リモートの再インデックスコマンドは、リモートドメインから実行されるため、発信元のトラフィックはそれらのエンドポイントを使ってリモートドメインにアクセスすることはできません。このユースケースでプロキシが必要となるのはそのためです。プロキシドメインには、公開認証機関 (CA) によって署名された証明書が必要です。自己署名証明書またはプライベート CA 署名証明書はサポートされていません。

OpenSearch サービス以外のドメイン間でデータを再インデックスする

セルフマネージドEC2インスタンスのように、リモートインデックスが OpenSearch サービス外でホストされている場合は、 externalパラメータを に設定しますtrue。

POST _reindex
{
  "source": {
    "remote": {
      "host": "https://remote-domain-endpoint:443",
      "username": "username",
      "password": "password",
      "external": true
    },
    "index": "remote_index"
  },
  "dest": {
    "index": "local_index"
  }
}

この場合、ユーザーネームとパスワードを用いた基本的な認証のみがサポートされます。リモートドメインには、パブリックにアクセス可能なエンドポイント (ローカル OpenSearch サービスドメインVPCと同じ にある場合でも) と、パブリック CA によって署名された証明書が必要です。自己署名証明書またはプライベート CA 署名証明書はサポートされていません。

大規模なデータセットの再インデックスを行う

リモート再インデックスは、次のデフォルト値を使用してリモートドメインにスクロールリクエストを送信します。

データに合わせてこれらのパラメータを調整することをお勧めします。大きなドキュメントの場合は、バッチサイズを小さくするか、タイムアウトを長くするかを検討してください。詳細については、「スクロール検索」を参照してください。

POST _reindex?pretty=true&scroll=10h&wait_for_completion=false
{
  "source": {
    "remote": {
      "host": "https://remote-domain-endpoint:443",
      "socket_timeout": "60m"
    },
    "size": 100,
    "index": "remote_index"
  },
  "dest": {
    "index": "local_index"
  }
}

パフォーマンスを向上させるために、ローカルインデックスに次の設定を追加することもお勧めします。

PUT local_index
{
  "settings": {
    "refresh_interval": -1,
    "number_of_replicas": 0
  }
}

再インデックスプロセスが完了したら、目的のレプリカの数を設定し、更新間隔の設定を削除できます。

クエリを介して選択したドキュメントのサブセットのみの再インデックスを行うには、次のリクエストをローカルドメインに送信します。

POST _reindex
{
  "source": {
    "remote": {
      "host": "https://remote-domain-endpoint:443"
    },
    "index": "remote_index",
    "query": {
      "match": {
        "field_name": "text"
      }
    }
  },
  "dest": {
    "index": "local_index"
  }
}

リモート再インデックスはスライスをサポートしていないため、同じリクエストに対して複数のスクロールオペレーションを並行して実行することはできません。

リモート再インデックス設定

標準のインデックス再作成オプションに加えて、 OpenSearch Service は次のオプションをサポートしています。