View a markdown version of this page

Machen Sie sich mit der maximalen Anzahl an Autoscaling-Aufgaben vertraut - Amazon Managed Streaming für Apache Kafka

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Machen Sie sich mit der maximalen Anzahl an Autoscaling-Aufgaben vertraut

Der maxAutoscalingTaskCount Parameter ist ein optionales Kapazitätsfeld, das für Autoscaling-Connectors in Amazon MSK Connect verfügbar ist. Mit diesem Parameter können Sie eine Obergrenze für die maximale Anzahl von Aufgaben festlegen, die während der automatischen Skalierung von Connectoren erstellt werden können. Dadurch erhalten Sie eine bessere Kontrolle über die Ressourcennutzung und Leistung.

Wenn Sie den Modus für automatische Skalierung verwenden, überschreibt Amazon MSK Connect automatisch die tasks.max Eigenschaft Ihres Connectors mit einem Wert, der proportional zur Anzahl der Worker und MCUs pro Worker ist. Der maxAutoscalingTaskCount Parameter bietet eine zusätzliche konfigurierbare Option zur Begrenzung der maximalen Anzahl von Aufgaben, die für Ihren Connector erstellt werden.

Diese Funktion ist besonders nützlich, wenn Sie den Grad der Parallelität im Verhältnis zur Anzahl der Themenpartitionen in Ihrem Kafka-Cluster steuern möchten. Indem Sie dieses Limit festlegen, können Sie die Leistung optimieren und eine ineffiziente Aufgabenverteilung verhindern, die auftreten könnte, wenn die automatisch berechnete Aufgabenanzahl Ihre Workload-Anforderungen übersteigt.

Konfigurationsanforderungen

Der maxAutoscalingTaskCount Parameter muss die folgende Anforderung erfüllen:

maxAutoscalingTaskCount ≥ maxWorkerCount

Diese Anforderung gewährleistet eine effiziente Nutzung der Ressourcen, indem mindestens eine Aufgabe pro Mitarbeiter beibehalten wird. Das System setzt dieses Minimum durch, um die Funktionalität des Connectors zu optimieren.

Wenn Sie dies angebenmaxAutoscalingTaskCount, wird das Limit sofort bei der Erstellung des Connectors und bei allen nachfolgenden Skalierungsereignissen angewendet. Wenn die Anzahl der Worker während der automatischen Skalierung steigt oder sinkt, hält das System diesen Grenzwert weiterhin ein. Der tasks.max Wert wird proportional zur Anzahl der Worker und MCUs pro Worker angepasst, überschreitet jedoch nie den konfigurierten Wert. maxAutoscalingTaskCount

Wenn Sie diesen Parameter nicht angeben, verwendet der Connector die Standardberechnung ohne Limit: tasks.max = workerCount × mcuCount × tasksPerMcu (wobei die Aufgaben 2 PerMcu sind).

Wann sollte max verwendet werden AutoscalingTaskCount

Erwägen Sie die Verwendung maxAutoscalingTaskCount in den folgenden Szenarien:

  • Eingeschränkte Partitionsanzahl: Wenn Ihre Kafka-Themen eine feste Anzahl von Partitionen haben, die unter der automatisch berechneten Aufgabenanzahl liegt, verhindert das Festlegen eines Limits, dass ungenutzte Aufgaben erstellt werden, für die keine Arbeit ausgeführt werden muss.

  • Leistungsoptimierung: Wenn Sie festgestellt haben, dass eine bestimmte Anzahl von Aufgaben einen optimalen Durchsatz für Ihre Arbeitslast bietet, können Sie die maximale Anzahl an Aufgaben begrenzen, um eine gleichbleibende Leistung aufrechtzuerhalten.

  • Ressourcenmanagement: Wenn Sie die maximale Parallelität und den Ressourcenverbrauch Ihres Connectors kontrollieren möchten, unabhängig davon, wie viele Worker gerade arbeiten.

Beispiel

Für einen Connector mit der folgenden Konfiguration:

minWorkerCount: 1 maxWorkerCount: 4 mcuCount: 8 maxAutoscalingTaskCount: 15

Ohne maxAutoscalingTaskCount würde der Connector bei einer Skalierung auf 4 Worker 64 Aufgaben erstellen (4 Worker × 8 MCUs × 2 Aufgaben pro MCU). Wenn der maxAutoscalingTaskCount Wert auf 15 gesetzt ist, erstellt der Connector nur 15 Aufgaben. Dies ist möglicherweise besser geeignet, wenn Ihr Kafka-Thema 15 oder weniger Partitionen hat.