创建连接器 - Amazon Managed Streaming for Apache Kafka

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

创建连接器

此过程介绍了如何使用 AWS Management Console创建连接器。

使用创建连接器 AWS Management Console
  1. https://console.aws.amazon.com/msk/ 打开 Amazon MSK 控制台。

  2. 在左侧窗格的 MSK Connect 下,选择连接器

  3. 选择 Create connector (创建连接器)

  4. 您可以选择使用现有的自定义插件来创建连接器,也可以先创建新的自定义插件。有关自定义插件以及如何创建这些插件的信息,请参阅创建自定义插件。在此过程中,假设您有一个要使用的自定义插件。在自定义插件列表中,找到要使用的插件,选中其左侧的复选框,然后选择下一步

  5. 输入名称和描述(可选)。

  6. 选择您想要连接到的集群。

  7. 指定连接器配置。您需要指定的配置参数取决于要创建的连接器类型。但是,部分参数是所有连接器通用的参数,例如 connector.classtasks.max 参数。以下是 Confluent Amazon S3 Sink Connector 的配置示例。

    connector.class=io.confluent.connect.s3.S3SinkConnector tasks.max=2 topics=my-example-topic s3.region=us-east-1 s3.bucket.name=amzn-s3-demo-bucket flush.size=1 storage.class=io.confluent.connect.s3.storage.S3Storage format.class=io.confluent.connect.s3.format.json.JsonFormat partitioner.class=io.confluent.connect.storage.partitioner.DefaultPartitioner key.converter=org.apache.kafka.connect.storage.StringConverter value.converter=org.apache.kafka.connect.storage.StringConverter schema.compatibility=NONE
  8. 接下来,配置您的连接器容量。您可以在两种容量模式之间选择:已预置和自动扩缩。有关这两个选项的信息,请参阅了解连接器容量

  9. 选择默认工作程序配置或自定义工作程序配置。有关创建自定义工作程序配置的信息,请参阅了解 MSK Connect 工作程序

  10. 接下来,指定服务执行角色。这必须是 MSK Connect 可以担任的 IAM 角色,该角色向连接器授予访问必要 AWS 资源所需的所有权限。这些权限取决于连接器的逻辑。有关如何创建此角色的信息,请参阅了解服务执行角色

  11. 选择下一步,查看安全信息,然后再次选择下一步

  12. 指定所需的日志记录选项,然后选择下一步。有关日志记录的信息,请参阅为 MSK Connect 进行日志记录

  13. 选择 Create connector (创建连接器)

要使用 MSK Connect API 创建连接器,请参阅CreateConnector

您可以使用 UpdateConnector API 修改连接器的配置。有关更多信息,请参阅 更新连接器