Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Déclarations de récepteurs

Les déclarations de récepteurs spécifient la forme sous laquelle les journaux, les événements et les métriques doivent être envoyés aux divers services AWS ainsi que leur emplacement de destination. Les sections suivantes décrivent les configurations des types de récepteur intégrés qui sont disponibles dans Amazon Kinesis Agent pour Microsoft Windows. Étant donné que Kinesis Agent pour Windows est extensible, vous pouvez ajouter des types de récepteurs personnalisés. Chaque type de récepteur nécessite généralement des paires clé-valeur uniques dans les déclarations de configuration qui sont pertinentes pour ce type de récepteur.

Toutes les déclarations de récepteurs peuvent contenir les paires clé-valeur suivantes :

Pour obtenir des exemples de fichiers de configuration complets utilisant différents types de récepteurs, consultez Diffusion à partir du journal des événements d'application Windows vers les récepteurs.

Configuration du récepteur KinesisStream

La .KinesisStreamLe type de récepteur diffuse des enregistrements de journaux et des événements vers le service Kinesis Data Streams. En général, les données diffusées vers Kinesis Data Streams sont traitées par une ou plusieurs applications personnalisées qui s'exécutent via différents services AWS. Les données sont diffusées vers un flux nommé qui est configuré à l'aide Kinesis Data Streams. Pour plus d'informations, consultez le .Guide du développeur Amazon Kinesis Data Streams.

Voici un exemple de déclaration de récepteurs Kinesis Data Streams :

{
    "Id": "TestKinesisStreamSink",
    "SinkType": "KinesisStream",
    "StreamName": "MyTestStream",
    "Region": "us-west-2"
}
   

Toutes les déclarations de récepteurs KinesisStream peuvent fournir les paires clé-valeur supplémentaires suivantes :

La valeur par défaut de BufferInterval pour ce type de récepteur est d'une seconde et la valeur par défaut de BufferSize est de 500 enregistrements.

Configuration du récepteur KinesisFirehose

La .KinesisFirehoseLe type de récepteur diffuse des enregistrements de journaux et des événements vers le service Kinesis Data Firehose. Kinesis Data Firehose transmet les données diffusées à d'autres services en vue de leur stockage. En général, les données stockées sont ensuite analysées au cours des étapes ultérieures du pipeline de données. Les données sont diffusées vers un flux de diffusion nommé qui est configuré à l'aide de Kinesis Data Firehose. Pour plus d'informations, consultez le .Guide du développeur Amazon Kinesis Data Firehose.

Voici un exemple de déclaration de récepteurs Kinesis Data Firehose :

{
   "Id": "TestKinesisFirehoseSink",
   "SinkType": "KinesisFirehose",
   "StreamName": "MyTestFirehoseDeliveryStream",
   "Region": "us-east-1",
   "CombineRecords": "true"
}
   

Toutes les déclarations de récepteurs KinesisFirehose peuvent fournir les paires clé-valeur supplémentaires suivantes :

La valeur par défaut de BufferInterval pour ce type de récepteur est d'une seconde et la valeur par défaut de BufferSize est de 500 enregistrements.

Configuration du récepteur CloudWatch Sink

La .CloudWatchType de récepteur diffuse les métriques vers le service CloudWatch. Vous pouvez afficher les métriques dans AWS Management Console. Pour plus d’informations, consultez le Guide de l'utilisateur Amazon CloudWatch.

Voici un exemple de déclaration de récepteurs CloudWatch :

{
   "Id": "CloudWatchSink",
   "SinkType": "CloudWatch"
}
   

Toutes les déclarations de récepteurs CloudWatch peuvent fournir les paires clé-valeur supplémentaires suivantes :

Configuration du récepteur CloudWatchLogs

La .CloudWatchLogsLe type de récepteur diffuse des enregistrements de journaux et des événements vers des Amazon CloudWatch Logs. Vous pouvez afficher les journaux dans AWS Management Console ou les traiter au cours des étapes supplémentaires d'un pipeline de données. Les données sont diffusées dans un flux de journaux nommé qui est configuré dans CloudWatch Logs. Les flux de journaux sont organisés en groupes de journaux nommés. Pour plus d'informations, consultez le .Guide de l'utilisateur Amazon CloudWatch Logs.

Voici un exemple de déclaration de récepteurs CloudWatch Logs :

{
   "Id": "MyCloudWatchLogsSink",
   "SinkType": "CloudWatchLogs",
   "BufferInterval": "60",
   "BufferSize": "100",
   "Region": "us-west-2",
   "LogGroup": "MyTestLogGroup",
   "LogStream": "MyTestStream"
}

Toutes les déclarations de récepteurs CloudWatchLogs doivent fournir les paires clé-valeur supplémentaires suivantes :

La valeur par défaut de BufferInterval pour ce type de récepteur est d'une seconde et la valeur par défaut de BufferSize est de 500 enregistrements. La taille de tampon maximale est de 10 000 enregistrements.

LocaleFileSystemConfiguration du récepteur

Le type d'évierFileSystemenregistre les enregistrements de journaux et d'événements dans un fichier sur le système de fichiers local au lieu de les diffuser vers les services AWS.FileSystemsont utiles pour les tests et les diagnostics. Par exemple, vous pouvez utiliser ce type de collecteur pour examiner les enregistrements avant de les envoyer à AWS.

avecFileSystem, vous pouvez également utiliser des paramètres de configuration pour simuler le traitement par lots, la limitation et le retour sur erreur pour imiter le comportement des puits AWS réels.

Tous les enregistrements de toutes les sources connectées à unFileSystemsont enregistrés dans le fichier unique spécifié en tant queFilePath. SiFilePathn'est pas spécifié, les enregistrements sont enregistrés dans un fichier nomméSinkId.txtdans le%TEMP%, qui est généralementC:\Users\UserName\AppData\Local\Tempoù :SinkIdest l'identifiant unique du récepteur etUserNameest le nom d'utilisateur Windows de l'utilisateur actif.

Ce type de puits prend en charge les attributs de décoration de texte. Pour plus d'informations, consultez Configuration des décorations de récepteurs.

Un exemple d'FileSystemLa configuration de type de récepteur apparaît dans l'exemple suivant.

{
	   "Id": "LocalFileSink",
	   "SinkType": "FileSystem",
	   "FilePath": "C:\\ProgramData\\Amazon\\local_sink.txt",
	   "Format": "json",
	   "TextDecoration": "",
	   "ObjectDecoration": ""
}

La .FileSystemLa configuration se compose des paires clé-valeur suivantes.

Utilisation avancée — Limitation des enregistrements et simulation des défaillances

FileSystempeut imiter le comportement des puits AWS en simulant la limitation des enregistrements. Vous pouvez utiliser les paires clé-valeur suivantes pour spécifier des attributs de limitation d'enregistrements et de simulation d'échec.

En acquérant un verrou sur le fichier de destination et en empêchant les écritures sur celui-ci, vous pouvez utiliserFileSystempour simuler et examiner le comportement des puits AWS en cas de défaillance du réseau.

L'exemple suivant illustre unFileSystemavec des attributs de simulation.

{
	   "Id": "LocalFileSink",
	   "SinkType": "FileSystem",
	   "FilePath": "C:\\ProgramData\\Amazon\\local_sink.txt",
	   "TextDecoration": "",
	   "RequestsPerSecond": "100",
    "BufferSize": "10",
    "MaxBatchSize": "1024"
}

La limite de taux d'enregistrement maximal est fonction deBufferSize, qui détermine le nombre maximum d'enregistrements par demande, etRequestsPerSecond. Vous pouvez calculer la limite de taux d'enregistrement par seconde à l'aide de la formule suivante.

Taux d'enregistrement=BufferSize*RequestsPerSecond

Compte tenu des valeurs de configuration dans l'exemple ci-dessus, il y a un taux d'enregistrement maximal de 1000 enregistrements par seconde.

Configuration de la sécurité des récepteurs

Configuration de l'authentification

Pour que Kinesis Agent pour Windows diffuse des journaux, des événements et des métriques vers les services AWS, l'accès doit être authentifié. Il existe plusieurs manières de fournir une authentification pour Kinesis Agent for Windows. La façon dont vous procédez dépend de la situation dans laquelle l'Agent Kinesis pour Windows s'exécute et des exigences de sécurité spécifiques pour une organisation donnée.

Bien qu'il soit possible de fournir directement les clés d'accès et les clés secrètes dans les déclarations de récepteur, cette approche est déconseillée, car les déclarations ne sont pas chiffrées.

Configuration de l'autorisation

Attachez les stratégies appropriées qui suivent à l'utilisateur ou au rôle IAM que utilisera Kinesis Agent pour Windows pour diffuser les données vers les services AWS :

Kinesis Data Streams

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "kinesis:PutRecord",
                "kinesis:PutRecords"
            ],
            "Resource": "arn:aws:kinesis:*:*:stream/*"
        }
    ]
}     
     

Pour limiter l'autorisation à un nom de région, de compte ou de flux spécifique, remplacez les astérisques appropriés dans l'ARN par des valeurs spécifiques. Pour plus d'informations, consultez « Amazon Resource Names (ARN) pour Kinesis Data Streams » dans Contrôle de l'accès aux ressources Amazon Kinesis Data Streams avec IAM.

Kinesis Data Firehose

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor1",
            "Effect": "Allow",
            "Action": [
                "firehose:PutRecord",
                "firehose:PutRecordBatch"
            ],
            "Resource": "arn:aws:firehose:*:*:deliverystream/*"
        }
    ]
}      
     

Pour limiter l'autorisation à un nom de région, de compte ou de flux de diffusion spécifique, remplacez les astérisques appropriés dans l'ARN par des valeurs spécifiques. Pour de plus amples informations, veuillez consulterContrôle de l'accès avec Amazon Kinesis Data Firehosedans leGuide du développeur Amazon Kinesis Data Firehose.

CloudWatch

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor2",
            "Effect": "Allow",
            "Action": "cloudwatch:PutMetricData",
            "Resource": "*"
        }
    ]
}

Pour de plus amples informations, veuillez consulterPrésentation de la gestion des autorisations d'accès à vos ressources CloudWatchdans leGuide de l'utilisateur Amazon CloudWatch Logs.

CloudWatch Logs avec un groupe de journaux et un flux de journaux existants

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor3",
            "Effect": "Allow",
            "Action": [
                "logs:DescribeLogGroups",
                "logs:DescribeLogStreams",
                "logs:PutLogEvents"
            ],
            "Resource": "arn:aws:logs:*:*:log-group:*"
        },
        {
            "Sid": "VisualEditor4",
            "Effect": "Allow",
            "Action": "logs:PutLogEvents",
            "Resource": "arn:aws:logs:*:*:log-group:*:*:*"
        }
    ]
}      
     

Pour limiter l'accès à une région, un compte, un groupe de journaux ou un flux de journaux spécifique, remplacez les astérisques appropriés dans l'ARN par les valeurs appropriées. Pour de plus amples informations, veuillez consulterPrésentation de la gestion des autorisations d'accès à vos ressources de CloudWatch Logsdans leGuide de l'utilisateur Amazon CloudWatch Logs.

CloudWatch Logs avec des autorisations supplémentaires permettant à Kinesis Agent for Windows de créer des groupes de journaux et des flux de journaux

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor5",
            "Effect": "Allow",
            "Action": [
                "logs:CreateLogStream",
                "logs:DescribeLogGroups",
                "logs:DescribeLogStreams",
                "logs:PutLogEvents"
            ],
            "Resource": "arn:aws:logs:*:*:log-group:*"
        },
        {
            "Sid": "VisualEditor6",
            "Effect": "Allow",
            "Action": "logs:PutLogEvents",
            "Resource": "arn:aws:logs:*:*:log-group:*:*:*"
        },
        {
            "Sid": "VisualEditor7",
            "Effect": "Allow",
            "Action": "logs:CreateLogGroup",
            "Resource": "*"
        }
    ]
}
     

Pour limiter l'accès à une région, un compte, un groupe de journaux ou un flux de journaux spécifique, remplacez les astérisques appropriés dans l'ARN par les valeurs appropriées. Pour de plus amples informations, veuillez consulterPrésentation de la gestion des autorisations d'accès à vos ressources de CloudWatch Logsdans leGuide de l'utilisateur Amazon CloudWatch Logs.

Autorisations requises pour l'extension des variables EC2 Tag

L'utilisation de l'extension des variables avec le préfixe de variable ec2tag nécessite l'autorisation ec2:Describe*.

{
   "Version": "2012-10-17",
   "Statement": [{
      "Sid": "VisualEditor8",
      "Effect": "Allow",
      "Action": "ec2:Describe*",
      "Resource": "*"
    }
   ]
}     

ConfigurationProfileRefreshingAWSCredentialProviderPour actualiser les informations d'identification AWS

Si vous utilisez AWS Systems Manager pour les environnements hybrides pour gérer les informations d'identification AWS, Systems Manager fait pivoter les informations d'identification de session dansc:\Windows\System32\config\systemprofile\.aws\credentials. Pour plus d'informations sur Systems Manager pour les environnements hybrides, consultezConfiguration d'AWS Systems Manager pour les environnements hybridesdans leGuide de l'utilisateur AWS Systems Manager.

Étant donné que le kit SDK .net AWS ne récupère pas automatiquement de nouvelles informations d'identification, nous fournissons leProfileRefreshingAWSCredentialProviderpour actualiser les informations d'identification.

Vous pouvez utiliser la stratégieCredentialRefde n'importe quelle configuration de synchronisation AWS pour référencer unCredentialsoù la stratégieCredentialTypeest défini surProfileRefreshingAWSCredentialProviderComme illustré dans l'exemple suivant.

{
    "Sinks": [{
		      "Id": "myCloudWatchLogsSink",
		      "SinkType": "CloudWatchLogs",
		      "CredentialRef": "ssmcred",
		      "Region": "us-west-2",
		      "LogGroup": "myLogGroup",
		      "LogStream": "myLogStream"
    }],
    "Credentials": [{
        "Id": "ssmcred",
        "CredentialType": "ProfileRefreshingAWSCredentialProvider",
        "Profile": "default",
        "FilePath": "%USERPROFILE%//.aws//credentials",
        "RefreshingInterval": 300
    }]
}

Une définition d'informations d'identification se compose des attributs suivants sous forme de paires clé-valeur.

Configuration des décorations de récepteurs

Les déclarations de récepteurs peuvent éventuellement inclure des paires clé-valeur qui spécifient des données supplémentaires à diffuser vers différents services AWS pour améliorer les enregistrements recueillis à partir de la source.

Si le type de la source connectée au récepteur est DirectorySource, le récepteur peut utiliser trois variables supplémentaires :

Ces variables sont utiles lorsque vous utilisez une source qui recueille les enregistrements de journaux de plusieurs fichiers connectés à un récepteur qui diffuse tous les enregistrements vers un seul flux. L'injection des valeurs de ces variables dans les enregistrements diffusés permet aux analyses en aval du pipeline de données de classer les enregistrements par fichier et par emplacement au sein de chaque fichier.

Conseils pour écrire des expressions

Une expression peut avoir l'une des expressions suivantes :

Caractères spéciaux

Deux barres obliques inverses sont nécessaires pour échapper aux caractères spéciaux.

Nesting

Les invocations de fonctions peuvent être imbriquées, comme illustré dans l'exemple suivant.

format(date(2018, 11, 28), 'MMddyyyy')

Variables

Il existe trois types de variables : locale, méta et globale.

Fonctions intégrées

Kinesis Agent pour Windows prend en charge les fonctions prédéfinies ci-dessous. Si l'un des arguments estNULLet la fonction n'est pas conçue pour gérerNULL, unNULLest retourné.

//string functions
int length(string input)
string lower(string input)
string lpad(string input, int size, string padstring)
string ltrim(string input)
string rpad(string input, int size, string padstring)
string rtrim(string input)
string substr(string input, int start)
string substr(string input, int start, int length)
string trim(string input)
string upper(string str)

//regular expression functions
string regexp_extract(string input, string pattern)
string regexp_extract(string input, string pattern, int group)

//date functions
DateTime date(int year, int month, int day)
DateTime date(int year, int month, int day, int hour, int minute, int second)
DateTime date(int year, int month, int day, int hour, int minute, int second, int millisecond)

//conversion functions
int? parse_int(string input)
decimal? parse_decimal(string input)
DateTime? parse_date(string input, string format)
string format(object o, string format)

//coalesce functions
object coalesce(object obj1, object obj2)
object coalesce(object obj1, object obj2, object obj3)
object coalesce(object obj1, object obj2, object obj3, object obj4)
object coalesce(object obj1, object obj2, object obj3, object obj4, object obj5) 
object coalesce(object obj1, object obj2, object obj3, object obj4, object obj5, object obj6)

Configuration des substitutions de variables de récepteur

Les déclarations de récepteurs KinesisStream, KinesisFirehose et CloudWatchLogs nécessitent une paire clé-valeur LogStream ou StreamName. La valeur de ces paires clé-valeur peut contenir des références de variables qui sont automatiquement résolues par l'Agent Kinesis pour Windows. PourCloudWatchLogs, leLogGrouppaire clé-valeur est également requise et peut contenir des références de variables qui sont automatiquement résolues par l'Agent Kinesis pour Windows. Les variables sont spécifiées en utilisant le modèle {prefix:variablename}, où prefix: est facultatif. Les préfixes pris en charge sont les suivants :

Si le préfixe n'est pas spécifié et s'il y a une variable d'environnement portant le même nom que variablename, la référence de variable est résolue par la valeur de la variable d'environnement. Sinon, si variablename a pour valeur instance_id ou hostname, la référence de variable est résolue par la valeur des métadonnées EC2 portant le même nom. Dans le cas contraire, la référence de variable n'est pas résolue.

Voici des exemples de paires clé-valeur valides utilisant des références de variable :

"LogStream": "LogStream_{instance_id}"
"LogStream": "LogStream_{hostname}"
"LogStream": "LogStream_{ec2:local-hostname}"
"LogStream": "LogStream_{computername}"
"LogStream": "LogStream_{env:computername}"
   

Les déclarations de récepteurs CloudWatchLogs prennent en charge une variable d'horodatage de format spécial qui autorise l'horodatage de l'enregistrement de journal ou d'événement d'origine à partir de la source pour modifier le nom du flux de journaux. Le format est {timestamp:timeformat}. Consultez l'exemple suivant:

"LogStream": "LogStream_{timestamp:yyyyMMdd}"

Si l'enregistrement de journal ou d'événement a été généré le 5 juin 2017, la valeur de la paire clé-valeur LogStream de l'exemple précédent sera résolue par "LogStream_20170605".

Si cela est autorisé, le type de récepteur CloudWatchLogs peut créer automatiquement de nouveaux flux de journaux lorsque cela est nécessaire en fonction des noms générés. Vous ne pouvez pas le faire pour d'autres types de récepteurs, car ils nécessitent une configuration supplémentaire au-delà du nom du flux.

Il existe des substitutions de variables spéciales qui se produisent dans les éléments TextDecoration et ObjectDecoration. Pour plus d'informations, consultez Configuration des décorations de récepteurs.

Configuration de la mise en file d'attente des récepteurs

Les déclarations de récepteurs CloudWatchLogs, KinesisStream et KinesisFirehose peuvent éventuellement autoriser la mise en file d'attente des enregistrements qui n'ont pas pu être diffusés vers le service AWS associé à ces types de récepteurs en raison de problèmes de connectivité transitoires. Pour activer la mise en file d'attente et l'automatisation des nouvelles tentatives de diffusion en streaming lorsque la connectivité est restaurée, utilisez les paires clé-valeur suivantes dans les déclarations de récepteurs :

Configuration d'un proxy pour les récepteurs

Pour configurer un proxy pour tous les types de récepteur Kinesis Agent pour Windows qui accèdent aux services AWS, modifiez le fichier de configuration Kinesis Agent for Windows situé à l'adresse%Program Files%\Amazon\KinesisTap\AWSKinesisTap.exe.config. Pour obtenir des instructions, consultezproxySection dansRéférence aux fichiers de configuration pour le AWS SDK for .NETdans leManuel du développeur du kit SDK AWS pour .NET.

Configuration de la résolution de variables dans d'autres attributs de collecteur

L'exemple suivant illustre une configuration de récepteur qui utilise l'RegionVariable d'environnement pour la valeur de la stratégieRegionpaire clé/valeur d'attribut. PourRoleARN, il spécifie la clé de balise EC2MyRoleARN, qui évalue la valeur associée à cette clé.

"Id": "myCloudWatchLogsSink",
"SinkType": "CloudWatchLogs",
"LogGroup": "EC2Logs",
"LogStream": "logs-{instance_id}"
"Region": "{env:Region}"
"RoleARN": "{ec2tag:MyRoleARN}"

Configuration des points de terminaison régionaux AWS STS lors de l'utilisation de la propriété RoleARN dans les puits AWS

Cette fonctionnalité ne s'applique que si vous utilisez KinesiStap sur Amazon EC2 et que vous utilisez l'RoleARNdes puits AWS pour assumer un rôle IAM externe pour s'authentifier auprès des services AWS de destination.

En définissantUseSTSRegionalEndpointssurtrue, vous pouvez spécifier qu'un agent utilise le point de terminaison régional (par exemple,https://sts.us-east-1.amazonaws.com) au lieu du point de terminaison global (par exemple,https://sts.amazonaws.com). L'utilisation d'un point de terminaison STS régional réduit la latence aller-retour pour l'opération et limite l'impact des défaillances dans le service de point de terminaison global.

Configuration du point de terminaison VPC pour les puits AWS

Vous pouvez spécifier un point de terminaison VPC dans la configuration du récepteur pourCloudWatchLogs,CloudWatch,KinesisStreams, etKinesisFirehosetypes d'évier. Un point de terminaison de VPC permet une connexion privée entre votre VPC et les services AWS pris en charge ou les services de point de terminaison VPC gérés par AWS PrivateLink sans nécessiter une passerelle Internet, un périphérique NAT et une connexion VPN ou une connexion AWS Direct Connect. Les instances de votre VPC ne requièrent pas d'adresses IP publiques pour communiquer avec les ressources du service. Le trafic entre votre VPC et les autres services ne quitte pas le réseau Amazon. Pour de plus amples informations, veuillez consulterPoints de terminaison d'un VPCdans leGuide de l'utilisateur Amazon VPC.

Vous spécifiez le point de terminaison VPC à l'aide de laServiceURLcomme illustré dans l'exemple suivant d'unCloudWatchLogsconfiguration de l'évier. Définissez la valeur deServiceURLà la valeur affichée sur leDétails du point de terminaison du VPCÀ l'aide de la console Amazon VPC.

{
    "Id": "myCloudWatchLogsSink",
    "SinkType": "CloudWatchLogs",
    "LogGroup": "EC2Logs",
    "LogStream": "logs-{instance_id}",
    "ServiceURL":"https://vpce-ab1c234de56-ab7cdefg.logs.us-east-1.vpce.amazonaws.com"
}

Configuration d'un autre moyen de proxy

Cette fonctionnalité vous permet de configurer un serveur proxy dans une configuration de collecteur à l'aide de la prise en charge du proxy intégrée au kit SDK AWS au lieu de .NET. Auparavant, la seule façon de configurer l'agent pour qu'il utilise un proxy était d'utiliser une fonctionnalité native de .NET, qui acheminait automatiquement toutes les requêtes HTTP/S via le proxy défini dans le fichier proxy.

Si vous utilisez actuellement l'agent avec un serveur proxy, vous n'avez pas besoin de changer pour utiliser cette méthode.

Vous pouvez utiliser la stratégieProxyHostandProxyPortPour configurer un proxy alternatif, comme illustré dans l'exemple suivant.

{
    "Id": "myCloudWatchLogsSink",
    "SinkType": "CloudWatchLogs",
    "LogGroup": "EC2Logs",
    "LogStream": "logs-{instance_id}",
    "Region": "us-west-2",
    "ProxyHost": "myproxy.mydnsdomain.com",
    "ProxyPort": "8080"
}