Amazon OpenSearch Ingestion 中的擴展管道 - Amazon OpenSearch Service

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Amazon OpenSearch Ingestion 中的擴展管道

OpenSearch Ingestion 會根據您指定的最小和最大 Ingestion OpenSearch Compute Units (Ingestion OCUs) 自動擴展管道容量。這樣就不需要手動佈建和管理。

每個擷取 OCU 是大約 8 GiB 記憶體和 2 個 vCPUs的組合。您可以指定管道的最小和最大 OCU 值，而 OpenSearch Ingestion 會根據這些限制自動擴展管道容量。

您可以在建立管道時指定下列值：

  • 最小容量 – 管道可以將容量減少到此數量的擷取 OCUs。指定的最小容量也是管道的起始容量。

  • 最大容量 – 管道可將容量增加到此數量的擷取 OCUs。

Edit capacity interface for pipeline capacity with min and max OCU settings.

請確定管道的最大容量足夠處理工作負載尖峰，且最小容量足夠低，可在管道不忙碌時將成本降至最低。根據您的設定，OpenSearch Ingestion 會自動擴展管道的擷取 OCUs 數量，以處理擷取工作負載。在任何特定時間，您只需支付管道主動使用的擷取 OCUs 費用。

配置到 OpenSearch Ingestion 管道的容量會根據管道的處理需求和用戶端應用程式產生的負載進行擴展和縮減。當容量受到限制時，OpenSearch Ingestion 會透過配置更多運算單位 (GiB 的記憶體） 來擴展。當您的管道正在處理較小的工作負載，或完全不處理資料時，它可以縮減到設定的擷取 OCUs 下限。

您可以指定至少 1 個擷取 OCU、無狀態管道最多 96 個擷取 OCUs，以及狀態管道最多 48 個擷取 OCUs。對於推送式來源，我們建議至少 2 個擷取 OCUs。啟用持久性緩衝時，您可以指定最少 2 個，最多 384 個擷取 OCUs。

假設標準日誌管道具有單一來源、簡單的grok 模式和接收器，則每個運算單位每秒最多可支援 2 MiB。對於具有多個處理器的更複雜日誌管道，每個運算單位可能支援較少的擷取負載。根據管道容量和資源使用率，OpenSearch Ingestion 擴展程序開始。

為了確保高可用性，擷取 OCUs 會分散到可用區域 (AZs)。AZs 的數量取決於您指定的最小容量。

例如，如果您指定至少 2 個運算單位，則在任何指定時間使用的擷取 OCUs會平均分散到 2 個可用AZs。如果您指定至少 3 個或更多運算單位，則擷取 OCUs會平均分散到 3 個可用AZs。我們建議您佈建至少兩個擷取 OCUs，以確保擷取管道有 99.9% 的可用性。

當管道位於 Create failed、Deleting、 和 Stopped 狀態時Creating，您不需要支付擷取 OCUs 的費用。

如需設定和擷取管道容量設定的指示，請參閱 建立管道。