View a markdown version of this page

Skalieren von Pipelines in Amazon Ingestion OpenSearch - OpenSearch Amazon-Dienst

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Skalieren von Pipelines in Amazon Ingestion OpenSearch

OpenSearch Ingestion skaliert die Pipeline-Kapazität automatisch auf der Grundlage Ihrer angegebenen Mindest- und Höchstwerte für Datenaufnahme-Recheneinheiten ( OpenSearch Ingestion OCUs). Dadurch entfällt die Notwendigkeit manueller Bereitstellung und Verwaltung.

Jede Ingestion-OCU ist eine Kombination aus etwa 15 GiB Arbeitsspeicher und 2 vCPUs. Sie können die minimalen und maximalen OCU-Werte für eine Pipeline angeben, und OpenSearch Ingestion skaliert Ihre Pipeline-Kapazität automatisch auf der Grundlage dieser Grenzwerte.

Sie geben die folgenden Werte an, wenn Sie eine Pipeline erstellen:

  • Mindestkapazität — Die Pipeline kann die Kapazität auf diese Anzahl von Aufnahme-OCUs reduzieren. Die angegebene Mindestkapazität ist auch die Startkapazität für eine Pipeline.

  • Maximale Kapazität — Die Pipeline kann die Kapazität bis zu dieser Anzahl von Ingestion-OCUs erhöhen.

Das Dialogfeld „Kapazität bearbeiten“ zeigt, dass die Mindestkapazität auf 1 und die maximale Kapazität auf 4 festgelegt ist. Ingestion-OCU

Stellen Sie sicher, dass die maximale Kapazität für eine Pipeline hoch genug ist, um Arbeitsspitzen zu bewältigen, und dass die Mindestkapazität niedrig genug ist, um die Kosten zu minimieren, wenn die Pipeline nicht ausgelastet ist. Basierend auf Ihren Einstellungen skaliert OpenSearch Ingestion automatisch die Anzahl der Ingestion-OCUs für Ihre Pipeline, um den Aufnahme-Workload zu verarbeiten. Zu einem bestimmten Zeitpunkt werden Ihnen nur die Ingestion-OCUs in Rechnung gestellt, die von Ihrer Pipeline aktiv genutzt werden.

Die Ihrer OpenSearch Ingestion-Pipeline zugewiesene Kapazität wird je nach den Verarbeitungsanforderungen Ihrer Pipeline und der von Ihrer Client-Anwendung generierten Last nach oben oder unten skaliert. Wenn die Kapazität begrenzt ist, skaliert OpenSearch Ingestion nach oben, indem mehr Recheneinheiten (GiB Speicher) zugewiesen werden. Wenn Ihre Pipeline kleinere Workloads verarbeitet oder überhaupt keine Daten verarbeitet, kann sie auf die minimal konfigurierten Ingestion-OCUs herunterskaliert werden.

Anmerkung

OpenSearch Ingestion-Pipelines verarbeiten maximal 150 Shards pro Ingestion-OCU. Wenn Ihre Pipeline-Quellen mehr Shards enthalten, als dieses Limit für Ihre konfigurierte OCU-Anzahl zulässt, sollten Sie erwägen, die maximale OCU-Kapazität zu erhöhen oder die Anzahl der Shards in Ihrer Quelle zu reduzieren.

Sie können mindestens 1 Aufnahme-OCUs, maximal 96 Aufnahme-OCUs für statusfreie Pipelines und maximal 48 Aufnahme-OCUs für statusbehaftete Pipelines angeben. Wir empfehlen mindestens 2 Ingestion-OCUs für Push-basierte Quellen. Wenn die persistente Pufferung aktiviert ist, können Sie mindestens 2 und maximal 384 Aufnahme-OCUs angeben.

Bei einer Standard-Log-Pipeline mit einer einzigen Quelle, einem einfachen Grok-Muster und einer Senke kann jede Recheneinheit bis zu 2 MiB pro Sekunde unterstützen. Bei komplexeren Log-Pipelines mit mehreren Prozessoren unterstützt jede Recheneinheit möglicherweise eine geringere Aufnahmelast. Basierend auf der Pipeline-Kapazität und der Ressourcenauslastung beginnt der Prozess der OpenSearch Ingestion-Skalierung.

Um eine hohe Verfügbarkeit zu gewährleisten, werden die Aufnahme-OCUs auf Availability Zones (AZs) verteilt. Die Anzahl der AZs hängt von der von Ihnen angegebenen Mindestkapazität ab.

Wenn Sie beispielsweise mindestens 2 Recheneinheiten angeben, werden die Aufnahme-OCUs, die zu einem bestimmten Zeitpunkt verwendet werden, gleichmäßig auf 2 AZs verteilt. Wenn Sie mindestens 3 oder mehr Recheneinheiten angeben, werden die Aufnahme-OCUs gleichmäßig auf 3 AZs verteilt. Wir empfehlen, mindestens zwei Aufnahme-OCUs bereitzustellen, um eine Verfügbarkeit von 99,9% für Ihre Ingest-Pipelines sicherzustellen.

Wenn sich eine Pipeline im Status,, und befindet, werden Ihnen keine Ingestion-OCUs in Rechnung gestellt. Create failed Creating Deleting Stopped

Anweisungen zum Konfigurieren und Abrufen von Kapazitätseinstellungen für eine Pipeline finden Sie unter. Pipelines erstellen