View a markdown version of this page

Erstellen Sie einen von MSK Provisioned bereitgestellten Cluster mit dem AWS-Managementkonsole - Amazon Managed Streaming für Apache Kafka

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erstellen Sie einen von MSK Provisioned bereitgestellten Cluster mit dem AWS-Managementkonsole

Die Verfahren in diesem Thema beschreiben die allgemeine Aufgabe, einen von MSK bereitgestellten Cluster mithilfe der Option Benutzerdefiniertes Erstellen im zu erstellen. AWS-Managementkonsole Mithilfe anderer Optionen AWS-Managementkonsole, die in der verfügbar sind, können Sie auch Folgendes erstellen:

Verfahren in diesem Thema

  1. Öffnen Sie die Amazon-MSK-Konsole unter https://console.aws.amazon.com/msk/.

  2. Wählen Sie Cluster erstellen.

  3. Wählen Sie als Methode zur Cluster-Erstellung die Option Benutzerdefiniert erstellen aus.

  4. Geben Sie für den Clusternamen einen eindeutigen Namen an, der nicht mehr als 64 Zeichen enthält.

  5. Wählen Sie als Clustertyp die Option Provisioned aus.

  6. Wählen Sie für die Apache Kafka-Version eine Version aus, die auf den Brokern ausgeführt werden soll. Um einen Vergleich der Amazon MSK-Funktionen zu sehen, die von den einzelnen Apache Kafka-Versionen unterstützt werden, wählen Sie Versionskompatibilität anzeigen.

  7. Gehen Sie im Abschnitt Broker wie folgt vor:

    1. Wählen Sie für den Brokertyp eine der folgenden Optionen:

      • Express Brokers: High-performance skalierbare Broker mit vollständig verwaltetem virtuellem Speicher. Wählen Sie diesen Brokertyp für anspruchsvolle Anwendungen mit hohem Durchsatz.

      • Standardbroker: Traditioneller Kafka-Broker mit voller Konfigurationskontrolle. Wählen Sie diesen Brokertyp für allgemeine Workloads mit moderaten Durchsatzanforderungen.

      Weitere Informationen zu diesen Brokertypen finden Sie unter. Amazon-MSK-Brokertypen

    2. Wählen Sie für die Broker-Größe eine Größe aus, die für den Cluster verwendet werden soll, basierend auf den Rechen-, Arbeitsspeicher- und Speicheranforderungen des Clusters.

    3. Wählen Sie für Anzahl der Zonen die Anzahl der Broker aus, AWS Availability Zones auf die verteilt sind.

      Express-Broker benötigen für eine höhere Verfügbarkeit drei Availability Zones.

    4. Geben Sie für Broker pro Zone die Anzahl der Broker an, die Amazon MSK in jeder Availability Zone erstellen soll. Das Minimum ist ein Broker pro Availability Zone und das Maximum ist 30 Broker pro Cluster für ZooKeeper-based Cluster und 60 Broker pro Cluster für KRaft-based Cluster.

Dieses Verfahren beschreibt, wie Sie Ihre Datenspeicheranforderungen für alle Broker konfigurieren und den Speichermodus angeben können. Dies hilft Ihnen dabei, Ihre Datenspeicheranforderungen auf der Grundlage Ihrer Workload-Anforderungen zu definieren. Darüber hinaus beschreibt dieses Verfahren die Cluster-Konfigurationseinstellungen, die steuern, wie Ihre Broker arbeiten. Zu diesen Einstellungen gehören Broker-Konfigurationen, Standardthemeneinstellungen und mehrstufige Speicherrichtlinien.

  1. Wenn Sie den Broker-Typ als Standard ausgewählt haben, gehen Sie im Abschnitt Speicher wie folgt vor:

    1. Wählen Sie für Speicher die anfängliche Speichermenge aus, die Ihr Cluster haben soll. Sie können die Speicherkapazität nicht verringern, nachdem Sie den Cluster erstellt haben.

    2. (Optional) Abhängig von der von Ihnen ausgewählten Brokergröße (Instanzgröße) können Sie auch den bereitgestellten Speicherdurchsatz pro Broker angeben. Mit dieser Option können Sie den Amazon EBS-Volumes jedes Brokers eine eigene Eingabe- und Ausgabeleistung (I/O) zuweisen.

      Um diese Option zu aktivieren, wählen Sie die Broker-Größe (Instance-Größe) kafka.m5.4xlarge oder größer für x86 und kafka.m7g.2xlarge oder größer für Instances. Graviton-based Wählen Sie dann das Kontrollkästchen Durchsatz für bereitgestellten Speicher aktivieren aus. Wenn Sie dieses Kontrollkästchen aktivieren, können Sie manuell einen Durchsatz von mindestens 250 MiB pro Sekunde festlegen. Dies ist hilfreich für I/O-intensive Workloads oder Anwendungen, die eine schnelle, vorhersehbare Speicherleistung erfordern. Weitere Informationen finden Sie unter Stellen Sie den Speicherdurchsatz für Standard-Broker in einem Amazon MSK-Cluster bereit.

    3. Geben Sie für den Cluster-Speichermodus an, wie Daten in Ihrem Cluster gespeichert und verwaltet werden. Diese Option bestimmt die Art und Konfiguration des Speichers, der für Ihre Broker verwendet wird. Wählen Sie eine der folgenden Optionen:

      • Nur EBS-Speicher: Speichert alle Themendaten lokal auf Amazon Elastic Block Store (Amazon EBS) -Volumes, die jedem Broker zugeordnet sind. Wählen Sie diesen Modus für konsistente Leistungsanforderungen und schnellen Zugriff auf aktuelle Nachrichten.

      • Mehrstufiger Speicher und EBS-Speicher: Kombiniert lokale Amazon EBS-Daten mit kosteneffizientem Remote-Speicher für große Datensätze in Amazon S3. Dieser Modus reduziert die Amazon EBS-Speicherkosten, unterstützt eine längere Datenspeicherung und skaliert den Speicher automatisch ohne manuelles Eingreifen. Wählen Sie diesen Modus, wenn Sie Daten für längere Zeiträume zu geringeren Kosten aufbewahren möchten oder erwarten, dass Ihr Speicherbedarf erheblich ansteigt.

    Anmerkung

    Sie müssen den Speicherplatz für Express-Broker nicht verwalten.

  2. Geben Sie für die Clusterkonfiguration eine der folgenden Optionen an, um das Verhalten Ihres Clusters zu definieren:

    • Amazon MSK-Standardkonfiguration: Enthält einen vordefinierten Satz von Konfigurationen, die für allgemeine Anwendungsfälle optimiert sind. Wählen Sie diese Option für eine schnelle Cluster-Setup und -Bereitstellung. Informationen zu Amazon-MSK-Konfigurationen finden Sie unter Von Amazon MSK bereitgestellte Konfiguration.

    • Benutzerdefinierte Konfiguration: Ermöglicht es Ihnen, Ihre eigenen Broker- und Themeneinstellungen festzulegen. Sie können entweder eine vorhandene, benutzerdefinierte Konfiguration aus der Liste auswählen oder eine neue benutzerdefinierte Konfiguration erstellen. Wählen Sie diese Option, um Ihren Brokern eine fein abgestimmte Steuerung zu ermöglichen, z. B. spezifische Leistungsoptimierungen, Sicherheitseinstellungen und mehr.

  3. Wählen Sie Weiter aus, um fortzufahren.

Die Netzwerkkonfiguration definiert, wie Ihr Cluster in Ihrer AWS Infrastruktur bereitgestellt wird. Dazu gehören VPC, Availability Zones und Subnetze sowie Sicherheitsgruppen, die Netzwerk, Verfügbarkeit und Zugriff kontrollieren.

  1. Gehen Sie für Netzwerke wie folgt vor:

    1. Wählen Sie die VPC aus, die Sie für den Cluster verwenden möchten.

    2. Geben Sie auf der Grundlage der Anzahl der Availability Zones, die Sie zuvor ausgewählt haben, die Availability Zones und Subnetze an, in denen die Broker sie bereitstellen werden.

      Für Standard-Broker in der Region USA West (Nordkalifornien) benötigen Sie zwei Subnetze in zwei verschiedenen Availability Zones. Für andere Regionen, in denen Amazon MSK verfügbar ist, können Sie entweder zwei oder drei Subnetze angeben. Die beiden Subnetze müssen sich in verschiedenen Availability Zones befinden.

      Für Express-Broker benötigen Sie drei Subnetze in drei verschiedenen Availability Zones.

      Wenn Sie einen von MSK bereitgestellten Cluster erstellen, verteilt MSK die Broker-Knoten gleichmäßig auf die von Ihnen angegebenen Subnetze.

    3. Wählen oder erstellen Sie für Sicherheitsgruppen in Amazon EC2 eine oder mehrere Sicherheitsgruppen, denen Sie Zugriff auf Ihren Cluster gewähren möchten. Diese Amazon EC2-Sicherheitsgruppen steuern den ein- und ausgehenden Datenverkehr zu Ihren Brokern. Zum Beispiel die Sicherheitsgruppen von Client-Computern.

      Wenn Sie Sicherheitsgruppen angeben, die mit Ihnen gemeinsam genutzt werden, müssen Sie sicherstellen, dass Sie über die entsprechenden Berechtigungen verfügen. Insbesondere benötigen Sie die ec2:DescribeSecurityGroups-Berechtigung. Weitere Informationen finden Sie unter Verbindung zu einem MSK-Cluster herstellen.

  2. Wählen Sie Weiter aus, um fortzufahren.

  1. Gehen Sie im Abschnitt Sicherheitseinstellungen wie folgt vor:

    1. Wählen Sie eine oder mehrere der folgenden Authentifizierungs- und Autorisierungsmethoden, um den Client-Zugriff auf Ihre Kafka-Cluster zu kontrollieren:

      • Unauthentifizierter Zugriff: Ermöglicht Clients den Zugriff auf den Cluster ohne Angabe von Anmeldeinformationen. Diese Methode stellt ein Sicherheitsrisiko dar und entspricht möglicherweise nicht den bewährten Sicherheitsmethoden. Weitere Informationen finden Sie unter https://docs.aws.amazon.com/config/latest/developerguide/msk-unrestricted-access-check.html msk-unrestricted-access-check.

      • Rollenbasierte IAM-Authentifizierung: Aktiviert die Client-Authentifizierung und -Autorisierung mithilfe von IAM. AWS users/roles Diese Methode ermöglicht eine detaillierte Steuerung des Clusterzugriffs mithilfe von IAM-Richtlinien. Wir empfehlen diese Methode für Anwendungen, die bereits in ausgeführt werden. AWS

      • SASL/SCRAM Authentifizierung: Die Clients müssen den Benutzernamen und das Passwort angeben, die AWS Secrets Manager für die Authentifizierung gespeichert sind. Amazon MSK ruft diese Anmeldeinformationen von Secrets Manager ab und authentifiziert Benutzer auf sichere Weise.

        Um Anmeldeinformationen für die Authentifizierung für einen Cluster einzurichten, erstellen Sie zunächst eine geheime Ressource in Secrets Manager. Ordnen Sie dann diesem Secret die Anmeldeinformationen zu. Weitere Informationen zu dieser Methode der Zugriffskontrolle finden Sie unterRichten Sie die SASL/SCRAM Authentifizierung für einen Amazon MSK-Cluster ein.

      • TLS-Client-Authentifizierung über AWS Certificate Manager (ACM): Ermöglicht die gegenseitige Authentifizierung zwischen Clients und Brokern mithilfe digitaler Zertifikate. Sie müssen an AWS Private Certificate Authority (AWS Private CA) entweder im gleichen oder in einem anderen AWS-Konto Cluster konfigurieren.

        Wir empfehlen dringend, bei der Implementierung von AWS Private CA mTLs unabhängige s für jeden MSK-Cluster zu verwenden. Dadurch wird sichergestellt, dass von PCAs signierte TLS-Zertifikate nur bei einem einzigen MSK-Cluster authentifiziert werden, wodurch eine strenge Zugriffskontrolle gewährleistet wird.

  2. Wählen Sie unter Verschlüsselung die Art des KMS-Schlüssels aus, den Sie zum Verschlüsseln von Daten im Ruhezustand verwenden möchten. Weitere Informationen finden Sie unter Amazon MSK-Verschlüsselung im Ruhezustand.

    Die Verschlüsselung von Daten im Ruhezustand schützt die Integrität der gespeicherten Daten, während die Verschlüsselung bei Übertragung die Vertraulichkeit der Daten vor Netzwerküberwachung während der Übertragung schützt.

  3. Wählen Sie Weiter aus, um fortzufahren.

Dieses Verfahren beschreibt, wie Sie Ihre Broker-Metriken einrichten und Brokerprotokolle sammeln und bereitstellen. Mit diesen Einstellungen können Sie den Zustand und die Leistung Ihres Clusters beobachten und analysieren und Probleme beheben. Weitere Informationen finden Sie unter Überwachen Sie einen von Amazon MSK bereitgestellten Cluster.

  1. Wählen Sie für CloudWatch Amazon-Metriken für diesen Cluster eine der folgenden Überwachungsebenen aus. Die auf jeder Überwachungsebene gesammelten Metriken werden CloudWatch zur Visualisierung und Alarmierung integriert.

    1. Grundlegendes Monitoring: Stellt eine Reihe wichtiger Metriken auf Clusterebene ohne zusätzliche Kosten bereit. Diese Stufe eignet sich für die meisten Anwendungsfälle mit allgemeinen Überwachungsanforderungen.

    2. Verbesserte Überwachung auf Broker-Ebene: Bietet detaillierte Broker-Metriken gegen Aufpreis. Diese Stufe umfasst die grundlegende Überwachung und detailliertere Broker-Metriken, wie z. B. abgestufte Speichermetriken, Byte in/out anderer Broker, Gesamtzeit für Operationen. read/write Sie zahlen für die Metriken in dieser Stufe, wohingegen die grundlegenden Metriken weiterhin kostenlos sind.

    3. Verbessertes Monitoring auf Themenebene: Stellt gegen Aufpreis Metriken für einzelne Themen zur Verfügung. Wählen Sie diese Ebene, um einen detaillierteren Überblick über die Leistung der Themen aller Broker zu erhalten. Diese Ebene beinhaltet die erweiterte Überwachung auf Broker-Ebene und Kennzahlen auf Themenebene, z. B. mehrstufige Speicherkennzahlen für ein bestimmtes Thema und die Anzahl der pro Sekunde empfangenen Nachrichten.

    4. Verbesserte Überwachung auf Partitionsebene: Bietet gegen Aufpreis die detaillierteste Ansicht der Metriken pro Partition. Wählen Sie diese Ebene, um die detaillierteste Überwachung zu erhalten, indem Kennzahlen für jede Partition innerhalb jedes Themas broker-übergreifend erfasst werden. Diese Ebene beinhaltet eine verbesserte Überwachung auf Themenebene und differenzierte partitionsspezifische Kennzahlen, wie etwa solche zur Abweichungsverzögerung.

    Weitere Informationen zu den Metriken, die für die Brokertypen Standard und Express auf jeder dieser Überwachungsebenen verfügbar sind, finden Sie unter und. CloudWatch Metriken für Standard-Broker CloudWatch Metriken für Express-Broker

  2. (Optional) Wenn Sie Metriken mit JMX Exporter, Node Exporter oder beiden im Prometheus-Format exportieren möchten, wählen Sie Enable open monitoring with Prometheus. Weitere Informationen zu dieser Option finden Sie unter Überwachen Sie mit Prometheus.

  3. (Optional) Wählen Sie eine oder mehrere der folgenden Optionen, um Ihren MSK-Cluster so zu konfigurieren, dass Broker-Logs AWS-Services zur Problembehandlung und Prüfung an verschiedene Anbieter gesendet werden. Amazon MSK erstellt diese Zielressourcen nicht für Sie, sofern sie nicht bereits vorhanden sind. Weitere Informationen finden Sie unter Broker-Protokolle.

    • An Amazon CloudWatch Logs senden: Sendet Protokolle CloudWatch mit Clustering-, Such- und Visualisierungsfunktionen an. Sie können Protokolle abfragen und analysieren, ohne das AWS-Managementkonsole zu verlassen.

    • An Amazon S3 senden: Speichert Protokolle als Dateien in Amazon S3-Buckets für die Langzeitarchivierung und Batch-Analyse.

    • An Amazon Data Firehose liefern: Senden Sie Protokolle an Firehose, um sie automatisch an Amazon OpenSearch Service zur Fehlerbehebung in Echtzeit zu senden.

  4. (Optional) Um Ihren Cluster leichter zu identifizieren, zu organisieren oder nach ihm zu suchen, wählen Sie Neues Tag hinzufügen, um Tags als Schlüssel-Wert-Paare hinzuzufügen. Fügen Sie Ihrem Cluster beispielsweise ein Tag mit dem Schlüssel-Wert-Paar und hinzu. Load testing Test

    Weitere Informationen zur Verwendung von Tags in Ihren Clustern finden Sie unter. Kennzeichnen Sie einen Amazon MSK-Cluster

  5. Wählen Sie Weiter aus, um fortzufahren.

  1. Überprüfen Sie die Einstellungen für Ihren Cluster.

    Wählen Sie Bearbeiten oder Zurück, um die zuvor angegebenen Einstellungen zu ändern oder zum vorherigen Konsolenbildschirm zurückzukehren.

  2. Wählen Sie Cluster erstellen.

  3. Überprüfen Sie den Status dieses Clusters im Abschnitt Cluster-Zusammenfassung auf der Cluster-Detailseite. Der Status ändert sich von Erstellen auf Aktiv, wenn Amazon MSK den Cluster bereitstellt. Wenn der Status Active lautet, können Sie die Verbindung mit dem Cluster herstellen. Weitere Informationen zu Cluster-Status finden Sie unter Machen Sie sich mit den Clusterstatus von MSK Provisioning vertraut.