Die Bereitstellung von Amazon Data Firehose-Streams an Apache Iceberg Tables in Amazon S3 befindet sich in der Vorschauversion und kann sich ändern.
Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Geben Sie die Einstellungen der Agentenkonfiguration an
Der Agent unterstützt zwei obligatorische Konfigurationseinstellungen, filePattern und deliveryStream, sowie optionale Konfigurationseinstellungen für zusätzliche Funktionen. Sie können sowohl die obligatorischen als auch die optionalen Konfigurationseinstellungen in /etc/aws-kinesis/agent.json festlegen.
Wenn Sie die Konfigurationsdatei ändern, müssen Sie den Agenten mit den folgenden Befehlen anhalten und starten:
sudo service aws-kinesis-agent stopsudo service aws-kinesis-agent start
Alternativ können Sie auch den folgenden Befehl nutzen:
sudo service aws-kinesis-agent restart
Im Folgenden finden Sie die allgemeinen Konfigurationseinstellungen.
| Konfigurationseinstellung | Beschreibung |
|---|---|
assumeRoleARN |
Der Amazon-Ressourcenname (ARN) der Rolle, die vom Benutzer übernommen werden soll. Weitere Informationen finden Sie unter Delegate Access Across AWS Konten, die IAM Rollen verwenden im IAMBenutzerhandbuch. |
assumeRoleExternalId |
Eine optionale Kennung, die festlegt, wer die Rolle übernehmen kann. Weitere Informationen finden Sie im IAMBenutzerhandbuch unter So verwenden Sie eine externe ID. |
awsAccessKeyId |
AWS Zugriffsschlüssel-ID, die die Standardanmeldedaten überschreibt. Diese Einstellung hat Vorrang vor allen anderen Anbietern von Anmeldeinformationen. |
awsSecretAccessKey |
AWS geheimer Schlüssel, der die Standardanmeldedaten überschreibt. Diese Einstellung hat Vorrang vor allen anderen Anbietern von Anmeldeinformationen. |
cloudwatch.emitMetrics |
Ermöglicht dem Agenten, Metriken auszusenden, CloudWatch sofern diese Einstellung gesetzt ist (true). Standard: true |
cloudwatch.endpoint |
Der regionale Endpunkt für CloudWatch. Standard: |
firehose.endpoint |
Der regionale Endpunkt für Amazon Data Firehose. Standard: |
sts.endpoint |
Der regionale Endpunkt für AWS Sicherheitstoken-Dienst. Standard: |
userDefinedCredentialsProvider.classname |
Wenn Sie einen Anbieter für benutzerdefinierte Anmeldeinformationen definieren, geben Sie den vollständig qualifizierten Klassennamen mit dieser Einstellung an. Fügen Sie .class nicht am Ende des Klassennamens ein. |
userDefinedCredentialsProvider.location |
Wenn Sie einen Anbieter für benutzerdefinierte Anmeldeinformationen definieren, verwenden Sie diese Einstellung, um den absoluten JAR-Pfad anzugeben, der den Anbieter für benutzerdefinierte Anmeldeinformationen enthält. Der Agent sucht auch am folgenden Speicherort nach der JAR-Datei: /usr/share/aws-kinesis-agent/lib/. |
Im Folgenden finden Sie die Konfigurationseinstellungen für den Ablauf.
| Konfigurationseinstellung | Beschreibung |
|---|---|
aggregatedRecordSizeBytes |
Geben Sie diese Einstellung an, damit der Agent Datensätze aggregiert und sie dann in einem Vorgang in den Firehose-Stream einfügt. Stellen Sie ihn auf die Größe ein, die der Aggregatdatensatz haben soll, bevor der Agent ihn in den Firehose-Stream einfügt. Standard: 0 (keine Aggregation) |
dataProcessingOptions |
Die Liste der Verarbeitungsoptionen, die auf jeden analysierten Datensatz angewendet werden, bevor er an den Firehose-Stream gesendet wird. Die Verarbeitungsoptionen werden in der angegebenen Reihenfolge ausgeführt. Weitere Informationen finden Sie unter Daten mit Agenten vorverarbeiten. |
deliveryStream |
[Erforderlich] Der Name des Firehose-Streams. |
filePattern |
[Erforderlich] Glob für die Dateien, die vom Agent überwacht werden müssen. Eine Datei, die mit diesem Muster übereinstimmt, wird vom Agenten automatisch erfasst und überwacht. Gewähren Sie WichtigDer Agent verarbeitet jede Datei, die diesem Muster entspricht. Dieses Muster muss sorgfältig so ausgewählt werden, dass der Agent nur die gewünschten Datensätze verarbeitet. |
initialPosition |
Die Position, an der mit der Analyse der Datei begonnen wurde. Gültige Werte sind Standard: |
maxBufferAgeMillis |
Die maximale Zeit in Millisekunden, für die der Agent Daten zwischenspeichert, bevor er sie an den Firehose-Stream sendet. Wertebereich: 1 000–900 000 (1 Sekunde bis 15 Minuten) Standard: 60.000 (1 Minute) |
maxBufferSizeBytes |
Die maximale Größe in Byte, für die der Agent Daten puffert, bevor er sie an den Firehose-Stream sendet. Wertebereich: 1–4 194 304 (4 MB) Standard: 4.194.304 (4 MB) |
maxBufferSizeRecords |
Die maximale Anzahl von Datensätzen, für die der Agent Daten zwischenspeichert, bevor er sie an den Firehose-Stream sendet. Wertebereich: 1–500 Standard: 500 |
minTimeBetweenFilePollsMillis |
Das Zeitintervall (in Millisekunden), in dem der Agent die überwachten Dateien auf neue Daten abfragt und analysiert. Wertbereich: 1 oder höher Standard: 100 |
multiLineStartPattern |
Das Muster für die Identifizierung des Datensatzbeginns. Ein Datensatz besteht aus einer Zeile, die mit dem angegebenen Muster übereinstimmt, und allen folgenden Zeilen, die nicht dem Muster entsprechen. Gültige Werte sind reguläre Ausdrücke. Standardmäßig wird jede neue Zeile in den Protokolldateien als einziger Datensatz analysiert. |
skipHeaderLines |
Die Anzahl der Zeilen, die der Agent überspringt, ehe mit der Analyse der überwachten Dateien begonnen wird. Wertbereich: 0 oder höher Standard: 0 (null) |
truncatedRecordTerminator |
Die Zeichenfolge, die der Agent verwendet, um einen analysierten Datensatz zu kürzen, wenn die Datensatzgröße die Datensatzgrößenbeschränkung von Amazon Data Firehose überschreitet. (1,000 KB) Standard: |
