パイプラインのスケーリング

パイプライン容量を自分でプロビジョニングして管理する必要はありません。Ingestion OpenSearch は、指定した最小および最大取り込み OpenSearch コンピューティングユニット (Ingestion OCUs) に基づいて、推定ワークロードに応じてパイプライン容量を自動的にスケーリングします。

各取り込みOCUは、約 8 GiB のメモリと 2 つの の組み合わせですvCPUs。パイプラインの最小値とOCU最大値を指定できます。Ingestion OpenSearch は、これらの制限に基づいてパイプライン容量を自動的にスケーリングします。

次の値を指定できます。

パイプラインの最大キャパシティがワークロードの急増に対処できる程度に十分な大きさであること、およびパイプラインがビジー状態でないときに、最小キャパシティがコストを最小限に抑えるのに十分な程度に低い値であるようにします。設定に基づいて、 OpenSearch Ingestion はパイプラインの取り込み数を自動的にスケーリングして、取り込みワークロードを処理しOCUsます。特定の時点では、パイプラインでアクティブOCUsに使用されている取り込みに対してのみ課金されます。

OpenSearch 取り込みパイプラインに割り当てられた容量は、パイプラインの処理要件とクライアントアプリケーションによって生成された負荷に基づいてスケールアップおよびスケールダウンします。容量が制限されている場合、Ingestion OpenSearch はより多くのコンピューティングユニット (GiB のメモリ) を割り当てることでスケールアップします。パイプラインが小さなワークロードを処理している場合、またはまったくデータを処理していない場合、設定された最小取り込み までスケールダウンできますOCUs。

最低 1 つの取り込み OCU、OCUsステートレスパイプラインの最大 96 個の取り込み 、ステートフルパイプラインの最大 48 OCUs個の取り込み を指定できます。プッシュベースのソースOCUsには、少なくとも 2 つの取り込みをお勧めします。永続バッファリングが有効になっている場合は、最小 2 個、最大 384 個の取り込み を指定できますOCUs。

単一のソース、シンプルな Grok パターン、シンクを持つ標準のログパイプラインを前提とする場合、各コンピューティングユニットは 1 秒あたり最大 2 MiB をサポートできます。複数のプロセッサを持つ複雑なログパイプラインの場合、各コンピューティングユニットがサポートする取り込み負荷は少なくなります。パイプラインの容量とリソース使用率に基づいて、 OpenSearch 取り込みスケーリングプロセスが開始されます。

高可用性を確保するために、取り込みOCUsはアベイラビリティーゾーン () に分散されますAZs。の数は、指定した最小容量AZsによって異なります。

例えば、最低 2 つのコンピューティングユニットを指定すると、任意の時点で使用されている取り込みOCUsは 2 つの に均等に分散されますAZs。3 つ以上のコンピューティングユニットを指定すると、取り込みOCUsは 3 つの に均等に分散されますAZs。取り込みパイプラインの可用性が 99.9% になるようにOCUs、少なくとも 2 つの取り込みをプロビジョニングすることをお勧めします。

パイプラインが Create failed、、Creating、および Stoppedの状態OCUsの場合Deleting、取り込みに対して課金されません。

パイプラインのキャパシティ設定を行って取得する手順については、「パイプラインの作成」を参照してください。