Spécifier les paramètres de configuration de l'agent - Amazon Data Firehose

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Spécifier les paramètres de configuration de l'agent

L'agent prend en charge les deux paramètres de configuration obligatoires filePattern et deliveryStream, plus les paramètres de configuration facultatifs des fonctionnalités supplémentaires. Vous pouvez spécifier aussi bien des paramètres de configuration obligatoires que facultatifs dans /etc/aws-kinesis/agent.json.

Chaque fois que vous modifiez le fichier de configuration, vous devez arrêter et démarrer l'agent en utilisant les commandes suivantes :

sudo service aws-kinesis-agent stop sudo service aws-kinesis-agent start

Vous pouvez également utiliser la commande suivante :

sudo service aws-kinesis-agent restart

Les paramètres de configuration générale sont indiqués ci-après.

Paramètre de configuration Description
assumeRoleARN

Le nom de ressource Amazon (ARN) du rôle à assumer par l'utilisateur. Pour plus d'informations, consultez la section Accès délégué entre AWS comptes à l'aide de IAM rôles dans le guide de IAM l'utilisateur.

assumeRoleExternalId

Identifiant facultatif qui détermine qui peut assumer le rôle. Pour plus d'informations, consultez la section Comment utiliser un identifiant externe dans le guide de IAM l'utilisateur.

awsAccessKeyId

AWS ID de clé d'accès qui remplace les informations d'identification par défaut. Ce paramètre est prioritaire sur tous les autres fournisseurs d'informations d'identification.

awsSecretAccessKey

AWS clé secrète qui remplace les informations d'identification par défaut. Ce paramètre est prioritaire sur tous les autres fournisseurs d'informations d'identification.

cloudwatch.emitMetrics

Permet à l'agent d'émettre des métriques CloudWatch s'il est défini (true).

Valeur par défaut : true

cloudwatch.endpoint

Le point de terminaison régional pour CloudWatch.

Par défaut : monitoring.us-east-1.amazonaws.com

firehose.endpoint

Point de terminaison régional pour Amazon Data Firehose.

Par défaut : firehose.us-east-1.amazonaws.com

sts.endpoint

Point de terminaison régional pour le service AWS de jetons de sécurité.

Par défaut : https://sts.amazonaws.com

userDefinedCredentialsProvider.classname Si vous définissez un fournisseur d'informations d'identification personnalisées, indiquez son nom de classe complet à l'aide de ce paramètre. N'ajoutez pas .class à la fin du nom de la classe.
userDefinedCredentialsProvider.location Si vous définissez un fournisseur d'informations d'identification personnalisées, utilisez ce paramètre pour spécifier le chemin absolu du fichier jar contenant le fournisseur d'informations d'identification personnalisées. L'agent recherche également le fichier jar à l'emplacement suivant : /usr/share/aws-kinesis-agent/lib/.

Les paramètres de configuration de flux sont indiqués ci-après.

Paramètre de configuration Description
aggregatedRecordSizeBytes

Pour que l'agent agrège les enregistrements puis les place dans le flux Firehose en une seule opération, spécifiez ce paramètre. Réglez-le à la taille que vous souhaitez attribuer à l'enregistrement agrégé avant que l'agent ne le place dans le flux Firehose.

Par défaut : 0 (pas de regroupement)

dataProcessingOptions

La liste des options de traitement appliquées à chaque enregistrement analysé avant son envoi au flux Firehose. Les options de traitement sont exécutées dans l'ordre spécifié. Pour de plus amples informations, veuillez consulter Pré-traiter les données avec des agents.

deliveryStream

[Obligatoire] Nom du stream Firehose.

filePattern

[Obligatoire] Modèle global des fichiers qui doivent être surveillés par l'agent. N'importe quel fichier qui correspond à ce modèle est collecté automatiquement par l'agent et surveillé. Pour tous les fichiers correspondant à ce modèle, accordez l'autorisation de lecture à aws-kinesis-agent-user. Pour l’annuaire contenant les fichiers, accordez les autorisations de lecture et d'exécution à aws-kinesis-agent-user.

Important

L'agent récupère tous les fichiers correspondant à ce modèle. Pour vous assurer que l'agent ne récupère pas d’autres enregistrements que ceux prévus à cet effet, choisissez soigneusement ce modèle.

initialPosition

Position initiale à partir de laquelle le fichier a commencé à être analysé. Les valeurs valides sont START_OF_FILE et END_OF_FILE.

Par défaut : END_OF_FILE

maxBufferAgeMillis

Durée maximale, en millisecondes, pendant laquelle l'agent met les données en mémoire tampon avant de les envoyer au flux Firehose.

Plage de valeurs : 1 000 à 900 000 (1 seconde à 15 minutes)

Par défaut : 60 000 (1 minute)

maxBufferSizeBytes

Taille maximale, en octets, pour laquelle l'agent met en mémoire tampon les données avant de les envoyer au flux Firehose.

Plage de valeurs : 1 à 4 194 304 (4 Mo)

Par défaut : 4 194 304 (4 Mo)

maxBufferSizeRecords

Le nombre maximum d'enregistrements pour lesquels l'agent met les données en mémoire tampon avant de les envoyer au flux Firehose.

Plage de valeurs : 1 à 500

Par défaut : 500

minTimeBetweenFilePollsMillis

Fréquence, en millisecondes, à laquelle l'agent interroge et analyse les fichiers surveillés pour rechercher les nouvelles données.

Plage de valeurs : 1 ou plus

Par défaut : 100

multiLineStartPattern

Modèle d'identification du début d'un enregistrement. Un enregistrement se compose d'une ligne qui correspond au modèle et de lignes suivantes qui ne correspondent pas au modèle. Les valeurs valides sont les expressions régulières. Par défaut, chaque nouvelle ligne comprise dans les fichiers journaux est analysée comme étant un enregistrement.

skipHeaderLines

Nombre de lignes que l'agent doit ignorer lors de l'analyse au début des fichiers surveillés.

Plage de valeurs : 0 ou plus

Par défaut : 0 (zéro)

truncatedRecordTerminator

Chaîne utilisée par l'agent pour tronquer un enregistrement analysé lorsque la taille de l'enregistrement dépasse la limite de taille d'enregistrement d'Amazon Data Firehose. (1,000 Ko)

Par défaut : '\n' (nouvelle ligne)