Tutorial: Externalisierung vertraulicher Informationen mithilfe von Konfigurationsanbietern

So erstellen Sie ein benutzerdefiniertes Plugin mit einem Terminalfenster und Debezium als Konnektor

Verwenden Sie die AWS CLI, um Befehle als Superuser mit Anmeldeinformationen auszuführen, mit denen Sie auf Ihren AWS S3-Bucket zugreifen können. Informationen zur Installation und Einrichtung von finden Sie unter Erste Schritte mit dem AWS CLI im AWS Command Line Interface Benutzerhandbuch. AWS CLI Informationen zur Verwendung von AWS CLI mit Amazon S3 finden Sie unter Verwenden von Amazon S3 mit dem AWS CLI im AWS Command Line Interface Benutzerhandbuch.

1. Erstellen Sie in einem Terminal-Fenster mit dem folgenden Befehl einen Ordner mit dem Namen custom-plugin in Ihrem Workspace.

   mkdir custom-plugin && cd custom-plugin

2. Laden Sie mit dem folgenden Befehl die neueste stabile Version des My SQL Connector-Plug-ins von der Debezium-Website herunter.

   wget https://repo1.maven.org/maven2/io/debezium/debezium-connectormysql/
   2.2.0.Final/debezium-connector-mysql-2.2.0.Final-plugin.tar.gz

   Extrahieren Sie die heruntergeladene GZIP-Datei mit dem folgenden Befehl in den Ordner custom-plugin.

   tar xzf debezium-connector-mysql-2.2.0.Final-plugin.tar.gz

3. Laden Sie die ZIP-Datei des MSK Config-Providers mit dem folgenden Befehl herunter.

   wget https://github.com/aws-samples/msk-config-providers/releases/download/r0.1.0/msk-config-providers-0.1.0-with-dependencies.zip

   Extrahieren Sie die heruntergeladene GZIP-Datei mit dem folgenden Befehl in den Ordner custom-plugin.

   unzip msk-config-providers-0.1.0-with-dependencies.zip

4. Komprimieren Sie den Inhalt des MSK Konfigurationsanbieters aus dem obigen Schritt und den benutzerdefinierten Konnektor in einer einzigen Datei mit dem Namencustom-plugin.zip.

   zip -r ../custom-plugin.zip * 

5. Laden Sie die Datei auf S3 hoch, damit sie später referenziert werden kann.

   aws s3 cp ../custom-plugin.zip s3:<S3_URI_BUCKET_LOCATION>

6. Wählen Sie auf der MSK Amazon-Konsole im Bereich MSKConnect die Option Benutzerdefiniertes Plugin aus, wählen Sie dann Benutzerdefiniertes Plugin erstellen und durchsuchen Sie das s3: <S3_URI_BUCKET_LOCATIONWählen Sie auf der Amazon-Konsole im ZIP Bereich Connect die Option Benutzerdefiniertes Plugin aus, wählen Sie dann Benutzerdefiniertes Plugin erstellen und durchsuchen Sie den s3: S3-Bucket, um die benutzerdefinierte Plugin-Datei auszuwählen, die Sie gerade hochgeladen haben.

   

7. Geben Sie für den Namen des Plugins debezium-custom-plugin ein. Geben Sie optional eine Beschreibung ein und wählen Sie Benutzerdefiniertes Plugin erstellen.

   

1. Wählen Sie im Bereich Amazon MSK Connect die Option Worker-Konfigurationen aus.

2. Wählen Sie Worker-Konfiguration erstellen.

3. Geben Sie SourceDebeziumCustomConfig in das Textfeld für den Namen der Worker-Konfiguration ein. Die Beschreibung ist optional.

4. Kopieren Sie den entsprechenden Konfigurations-Code basierend auf den gewünschten Anbietern und fügen Sie ihn in das Textfeld Worker-Konfiguration ein.

5. Dies ist ein Beispiel der Worker-Konfiguration für alle drei Anbieter:

   key.converter=org.apache.kafka.connect.storage.StringConverter
   key.converter.schemas.enable=false
   value.converter=org.apache.kafka.connect.json.JsonConverter
   value.converter.schemas.enable=false
   offset.storage.topic=offsets_my_debezium_source_connector
   
   # define names of config providers:
   
   config.providers=secretsmanager,ssm,s3import
   
   # provide implementation classes for each provider:
   
   config.providers.secretsmanager.class    = com.amazonaws.kafka.config.providers.SecretsManagerConfigProvider
   config.providers.ssm.class               = com.amazonaws.kafka.config.providers.SsmParamStoreConfigProvider
   config.providers.s3import.class          = com.amazonaws.kafka.config.providers.S3ImportConfigProvider
   
   # configure a config provider (if it needs additional initialization), for example you can provide a region where the secrets or parameters are located:
   
   
   config.providers.secretsmanager.param.region = us-east-1
   config.providers.ssm.param.region = us-east-1
   

6. Wählen Sie Worker-Konfiguration erstellen.

1. Erstellen Sie einen neuen Konnektor anhand der Anweisungen unter Neuen Konnektor erstellen.

2. Wählen Sie die custom-plugin.zip-Datei, die Sie in Erstellen Sie ein benutzerdefiniertes Plugin und laden Sie es auf S3 hoch als Quelle für das benutzerdefinierte Plugin in Ihren S3-Bucket hochgeladen haben.

3. Kopieren Sie den entsprechenden Konfigurations-Code basierend auf den gewünschten Anbietern und fügen Sie ihn in das Feld Konnektor-Konfiguration ein.

4. Dies ist ein Beispiel für die Konnektor-Konfiguration für alle drei Anbieter:

   #Example implementation for parameter store variable
   schema.history.internal.kafka.bootstrap.servers=${ssm::MSKBootstrapServerAddress}
   
   #Example implementation for secrets manager variable
   database.hostname=${secretsmanager:MSKAuroraDBCredentials:username}
   
   database.password=${secretsmanager:MSKAuroraDBCredentials:password}
   
   #Example implementation for Amazon S3 file/object
   database.ssl.truststore.location = ${s3import:us-west-2:my_cert_bucket/path/to/trustore_unique_filename.jks}
   

5. Wählen Sie Benutzerdefinierte Konfiguration verwenden und wählen Sie eine Option SourceDebeziumCustomConfigaus der Dropdownliste Worker-Konfiguration aus.

6. Folgen Sie den weiteren Schritten aus den Anweisungen unter Konnektor erstellen.