配置 Kinesis 代理以发送数据 - Amazon Data Firehose

将 Amazon Data Firehose 流传输到亚马逊 S3 中的 Apache Iceberg Tables 处于预览阶段,可能会发生变化。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

配置 Kinesis 代理以发送数据

Amazon Kinesis 代理是一款独立的 Java 软件应用程序,可作为参考实现,展示如何收集数据并将其发送到 Firehose。代理会持续监控一组文件,并将新数据发送到您的 Firehose 直播中。该代理显示了如何处理文件轮换、检查点操作和失败时重试。它展示了如何以可靠、及时和简单的方式交付数据。它还显示了如何发布 CloudWatch指标以更好地监控流媒体过程并对其进行故障排除。要了解更多信息,请访问 awslabs/ amazon-kinesis-agent

默认情况下,会基于换行符 ('\n') 分析每个文件中的记录。但是,也可以将代理配置为分析多行记录(请参阅 指定代理配置设置)。

您可以在基于 Linux 的服务器环境(如 Web 服务器、日志服务器和数据库服务器)上安装此代理。安装代理后,通过指定要监控的文件和数据的 Firehose 流来对其进行配置。配置代理后,它会持久地从文件中收集数据,并可靠地将其发送到 Firehose 数据流。

先决条件

在开始使用 Kinesis 代理之前,请确保满足以下先决条件。