Externalisierung vertraulicher Informationen mithilfe von Konfigurationsanbietern

So erstellen Sie ein benutzerdefiniertes Plugin mit einem Terminalfenster und Debezium als Konnektor

Verwenden Sie die AWS CLI, um Befehle als Superuser mit Anmeldeinformationen auszuführen, mit denen Sie auf Ihren AWS S3-Bucket zugreifen können. Informationen zur Installation und Einrichtung der AWS CLI finden Sie unter Erste Schritte mit der AWS CLI im AWS Command Line Interface Benutzerhandbuch. Informationen zur Verwendung der AWS CLI mit Amazon S3 finden Sie unter Verwenden von Amazon S3 mit der AWS CLI im AWS Command Line Interface Benutzerhandbuch.

1. Erstellen Sie in einem Terminal-Fenster mit dem folgenden Befehl einen Ordner mit dem Namen custom-plugin in Ihrem Workspace.

   mkdir custom-plugin && cd custom-plugin

2. Laden Sie die neueste stabile Version des MySQL-Konnektor-Plugins mit dem folgenden Befehl von der Debezium-Website herunter.

   wget https://repo1.maven.org/maven2/io/debezium/debezium-connectormysql/
   2.2.0.Final/debezium-connector-mysql-2.2.0.Final-plugin.tar.gz

   Extrahieren Sie die heruntergeladene GZIP-Datei mit dem folgenden Befehl in den Ordner custom-plugin.

   tar xzf debezium-connector-mysql-2.2.0.Final-plugin.tar.gz

3. Laden Sie die ZIP-Datei des MSK-Konfigurationsanbieters mit dem folgenden Befehl herunter.

   wget https://github.com/aws-samples/msk-config-providers/releases/download/r0.1.0/msk-config-providers-0.1.0-with-dependencies.zip

   Extrahieren Sie die heruntergeladene GZIP-Datei mit dem folgenden Befehl in den Ordner custom-plugin.

   unzip msk-config-providers-0.1.0-with-dependencies.zip

4. Komprimieren Sie den Inhalt des MSK-Konfigurationsanbieters aus dem obigen Schritt und den benutzerdefinierten Konnektor in einer einzigen Datei mit dem Namen custom-plugin.zip.

   zip -r ../custom-plugin.zip * 

5. Laden Sie die Datei auf S3 hoch, damit sie später referenziert werden kann.

   aws s3 cp ../custom-plugin.zip s3:<S3_URI_BUCKET_LOCATION>

6. Wählen Sie auf der Amazon-MSK-Konsole im Abschnitt MSK Connect die Option Benutzerdefiniertes Plugin und dann Benutzerdefiniertes Plugin erstellen. Durchsuchen Sie den S3-Bucket unter s3:<S3_URI_BUCKET_LOCATION>, um die benutzerdefinierte Plugin-ZIP-Datei auszuwählen, die Sie gerade hochgeladen haben.

   

7. Geben Sie für den Namen des Plugins debezium-custom-plugin ein. Geben Sie optional eine Beschreibung ein und wählen Sie Benutzerdefiniertes Plugin erstellen.

   

1. Wählen Sie im Abschnitt Amazon MSK Connect die Option Worker-Konfigurationen.

2. Wählen Sie Worker-Konfiguration erstellen.

3. Geben Sie SourceDebeziumCustomConfig in das Textfeld für den Namen der Worker-Konfiguration ein. Die Beschreibung ist optional.

4. Kopieren Sie den entsprechenden Konfigurations-Code basierend auf den gewünschten Anbietern und fügen Sie ihn in das Textfeld Worker-Konfiguration ein.

5. Dies ist ein Beispiel der Worker-Konfiguration für alle drei Anbieter:

   key.converter=org.apache.kafka.connect.storage.StringConverter
   key.converter.schemas.enable=false
   value.converter=org.apache.kafka.connect.json.JsonConverter
   value.converter.schemas.enable=false
   offset.storage.topic=offsets_my_debezium_source_connector
   
   # define names of config providers:
   
   config.providers=secretsmanager,ssm,s3import
   
   # provide implementation classes for each provider:
   
   config.providers.secretsmanager.class    = com.amazonaws.kafka.config.providers.SecretsManagerConfigProvider
   config.providers.ssm.class               = com.amazonaws.kafka.config.providers.SsmParamStoreConfigProvider
   config.providers.s3import.class          = com.amazonaws.kafka.config.providers.S3ImportConfigProvider
   
   # configure a config provider (if it needs additional initialization), for example you can provide a region where the secrets or parameters are located:
   
   
   config.providers.secretsmanager.param.region = us-east-1
   config.providers.ssm.param.region = us-east-1
   

6. Wählen Sie Worker-Konfiguration erstellen.

1. Erstellen Sie einen neuen Konnektor anhand der Anweisungen unter Neuen Konnektor erstellen.

2. Wählen Sie die custom-plugin.zip-Datei, die Sie in Schritt 1: Ein benutzerdefiniertes Plugin erstellen und auf S3 hochladen als Quelle für das benutzerdefinierte Plugin in Ihren S3-Bucket hochgeladen haben.

3. Kopieren Sie den entsprechenden Konfigurations-Code basierend auf den gewünschten Anbietern und fügen Sie ihn in das Feld Konnektor-Konfiguration ein.

4. Dies ist ein Beispiel für die Konnektor-Konfiguration für alle drei Anbieter:

   #Example implementation for parameter store variable
   schema.history.internal.kafka.bootstrap.servers=${ssm::MSKBootstrapServerAddress}
   
   #Example implementation for secrets manager variable
   database.hostname=${secretsmanager:MSKAuroraDBCredentials:username}
   
   database.password=${secretsmanager:MSKAuroraDBCredentials:password}
   
   #Example implementation for Amazon S3 file/object
   database.ssl.truststore.location = ${s3import:us-west-2:my_cert_bucket/path/to/trustore_unique_filename.jks}
   

5. Wählen Sie Benutzerdefinierte Konfiguration verwenden und wählen Sie eine Option aus der Dropdownliste Worker-Konfiguration aus SourceDebeziumCustomConfig.

6. Folgen Sie den weiteren Schritten aus den Anweisungen unter Konnektor erstellen.