CloudWatch Référence de l'agent de journalisation

Spécifie l'emplacement où est stocké le fichier d'état.

(Facultatif) Spécifie l'emplacement du fichier de configuration de la journalisation de l'agent. Si vous ne spécifiez pas de fichier de configuration de la journalisation de l'agent ici, le fichier par défaut awslogs.conf est utilisé. L'emplacement du fichier par défaut est /var/awslogs/etc/awslogs.conf si vous avez installé l'agent à l'aide d'un script, et /etc/awslogs/awslogs.conf si vous avez installé l'agent avec rpm. Le fichier est au format de fichier de configuration Python (https://docs.pylogging-config-fileformatthon.org/2/library/logging.config.html#). Il est possible de personnaliser les enregistreurs suivants.

cwlogs.push
cwlogs.push.reader
cwlogs.push.publisher
cwlogs.push.event
cwlogs.push.batch
cwlogs.push.stream
cwlogs.push.watcher

L'exemple ci-dessous modifie le niveau du lecteur et de l'éditeur WARNING alors que la valeur par défaut estINFO.

[loggers]
keys=root,cwlogs,reader,publisher
            
[handlers]
keys=consoleHandler
            
[formatters]
keys=simpleFormatter
           
[logger_root]
level=INFO
handlers=consoleHandler
            
[logger_cwlogs]
level=INFO
handlers=consoleHandler
qualname=cwlogs.push
propagate=0
            
[logger_reader]
level=WARNING
handlers=consoleHandler
qualname=cwlogs.push.reader
propagate=0
            
[logger_publisher]
level=WARNING
handlers=consoleHandler
qualname=cwlogs.push.publisher
propagate=0
            
[handler_consoleHandler]
class=logging.StreamHandler
level=INFO
formatter=simpleFormatter
args=(sys.stderr,)
            
[formatter_simpleFormatter]
format=%(asctime)s - %(name)s - %(levelname)s - %(process)d - %(threadName)s - %(message)s

Lorsqu'il est défini sur true (par défaut), active le codage de contenu HTTP gzip pour envoyer des charges utiles compressées à CloudWatch Logs. Cela permet de réduire CPU l'utilisation, de diminuer NetworkOut et de diminuer le temps de latence de vente. Pour désactiver cette fonctionnalité, ajoutez use_gzip_http_content_encoding = false dans la section [general] du fichier de configuration de l'agent CloudWatch Logs, puis redémarrez l'agent.

Spécifie le groupe de journaux de destination. Un groupe de journaux est créé automatiquement s'il n'en existe pas déjà. Les noms des groupes de journaux peuvent comporter entre 1 et 512 caractères. Les caractères autorisés sont : a-z, A-Z, 0-9, « _ » (trait de soulignement), « - » (tiret), « / » (barre oblique) et « . » (point).

Spécifie le flux de journaux de destination. Vous pouvez définir un nom de flux de journal à l'aide d'une chaîne littérale, de variables prédéfinies ({instance_id}, {hostname} et {ip_address}), ou d'une combinaison de celles-ci. Un flux de journaux est créé automatiquement s'il n'en existe pas déjà.

Spécifie la façon dont l'horodatage est extrait des journaux. L'horodatage est utilisé pour récupérer les événements de journaux et générer des métriques. L'heure actuelle est utilisée pour chaque événement de journal si datetime_format n'est pas fourni. Si la valeur datetime_format fournie n'est pas valide pour un message de journal donné, l'horodatage du dernier événement de journal dont l'horodatage a été analysé avec succès sera utilisé. En cas d'absence d'événements de journaux précédents, l'heure actuelle est utilisée.

Les codes datetime_format courants sont répertoriées ci-dessous. Vous pouvez également utiliser n'importe quel code datetime_format pris en charge par Python, datetime.strptime(). Le décalage de fuseau horaire (%z) est également pris en charge même s'il n'est pas pris en charge avant python 3.2, [+-] HHMM sans deux points (:). Pour plus d'informations, consultez strftime() and strptime() Behavior.

%y : année sans siècle sous forme de nombre décimal auquel est ajouté un zéro. 00, 01, ..., 99

%Y : année avec siècle sous forme de nombre décimal.1970, 1988, 2001, 2013

%b : mois sous forme du nom abrégé dans la langue locale. jan, fév, ..., déc (fr_FR);

%B : mois sous forme du nom complet dans la langue locale. janvier, février, ..., décembre (fr_FR);

%m : mois sous forme de nombre décimal auquel est ajouté un zéro. 01, 02, ..., 12

%d : jour du mois sous forme de nombre décimal auquel est ajouté un zéro. 01, 02, ..., 31

%H : heure (au format 24 heures) sous forme de nombre décimal auquel est ajouté un zéro. 00, 01, ..., 23

%I : heure (au format 12 heures) sous forme de nombre décimal auquel est ajouté un zéro. 01, 02, ..., 12

%p : équivalent de AM ou PM dans les paramètres régionaux.

%M : minute sous forme de nombre décimal auquel est ajouté un zéro. 00, 01, ..., 59

%S : seconde sous forme de nombre décimal auquel est ajouté un zéro. 00, 01, ..., 59

%f : microseconde sous forme de nombre décimal auquel est ajouté un zéro, à gauche. 000000, ..., 999999

%z : UTC décalage sous la forme + HHMM ou -HHMM. +0000, -0400, +1030

Exemples de formats :

Syslog: '%b %d %H:%M:%S', e.g. Jan 23 20:59:29

Log4j: '%d %b %Y %H:%M:%S', e.g. 24 Jan 2014 05:00:00

ISO8601: '%Y-%m-%dT%H:%M:%S%z', e.g. 2014-02-20T05:20:20+0000

Spécifie le fuseau horaire de l'horodatage de l'événement de journal. Les deux valeurs prises en charge sont UTC etLOCAL. La valeur par défaut estLOCAL, qui est utilisée si le fuseau horaire ne peut pas être déduit sur la base de datetime_format.

Spécifie les fichiers journaux que vous souhaitez transférer vers CloudWatch Logs. file peut pointer vers un fichier spécifique ou plusieurs fichiers (à l'aide de caractères génériques tels que /var/log/system.log*). Seul le dernier fichier est transféré dans CloudWatch Logs en fonction de l'heure de modification du fichier. Nous vous recommandons d'utiliser des caractères génériques pour spécifier une série de fichiers du même type, comme access_log.2014-06-01-01, access_log.2014-06-01-02 et ainsi de suite, mais pas pour différents types de fichiers, comme access_log_80 et access_log_443. Pour spécifier plusieurs types de fichiers, ajoutez une autre entrée de flux de journaux dans le fichier de configuration, afin que chaque type de fichier journal soit envoyé dans un flux de journal différent. Les fichiers zippés ne sont pas pris en charge.

Spécifie la plage de lignes pour identifier un fichier. Les valeurs valides sont soit un nombre, soit deux nombres séparés par un tiret, par exemple, « 1 », « 2-5 ». La valeur par défaut est « 1 ». La première ligne est utilisée pour calculer l'empreinte. Les lignes d'empreintes digitales ne sont envoyées à CloudWatch Logs que si toutes les lignes spécifiées sont disponibles.

Spécifie le modèle pour identifier le début d'un message de journal. Un message de journal est composé de plusieurs lignes : une ligne correspondant au modèle et les lignes suivantes qui ne correspondent pas au modèle. Les valeurs valides sont les expressions régulières ou {datetime_format}. Lorsque vous utilisez {datetime_format}, l'option datetime_format doit être spécifiée. La valeur par défaut est « ^[^\s] ». Ainsi, toute ligne commençant par un caractère autre qu'un espace ferme le message de journal précédent et commence un nouveau message de journal.

Spécifie l'endroit où commencer à lire les données (start_of_file ou end_of_file). La valeur par défaut est start_of_file. Utilisé uniquement si aucun état n'est conservé pour ce flux de journaux.

Spécifie l'encodage du fichier journal pour que le fichier puisse être lu correctement. La valeur par défaut est utf_8. L'encodage pris en charge par Python codecs.decode() peut être utilisé ici.

Voici une liste d'encodages courants :

ascii, big5, big5hkscs, cp037, cp424, cp437, cp500, cp720, cp737, cp775, cp850, cp852, cp855, cp856, cp857, cp858, cp860, cp861, cp862, cp863, cp864, cp865, cp866, cp869, cp874, cp875, cp932, cp949, cp950, cp1006, cp1026, cp1140, cp1250, cp1251, cp1252, cp1253, cp1254, cp1255, cp1256, cp1257, cp1258, euc_jp, euc_jis_2004, euc_jisx0213, euc_kr, gb2312, gbk, gb18030, hz, iso2022_jp, iso2022_jp_1, iso2022_jp_2, iso2022_jp_2004, iso2022_jp_3, iso2022_jp_ext, iso2022_kr, latin_1, iso8859_2, iso8859_3, iso8859_4, iso8859_5, iso8859_6, iso8859_7, iso8859_8, iso8859_9, iso8859_10, iso8859_13, iso8859_14, iso8859_15, iso8859_16, johab, koi8_r, koi8_u, mac_cyrillic, mac_greek, mac_iceland, mac_latin2, mac_roman, mac_turkish, ptcp154, shift_jis, shift_jis_2004, shift_jisx0213, utf_32, utf_32_be, utf_32_le, utf_16, utf_16_be, utf_16_le, utf_7, utf_8, utf_8_sig

Spécifie la durée du regroupement des événements de journaux. La valeur minimale est 5 000 m et la valeur par défaut est 5 000 ms.

Spécifie le nombre maximal d'événements de journaux dans un lot. La valeur maximale est 10 000. La valeur par défaut est 10 000.

Spécifie la taille maximale des événements de journaux dans un lot, en octets. La taille maximale est 1 048 576 octets. La valeur par défaut est 1 048 576 octets. Cette taille est calculée comme la somme de tous les messages d'événement en UTF -8, plus 26 octets pour chaque événement du journal.

Les mécanismes de rotation de fichier suivants sont pris en charge :

L'empreinte (ID de la source) du fichier est calculée en hachant la clé du flux de journal et la première ligne du contenu du fichier. Pour remplacer ce comportement, l'option file_fingerprint_lines peut être utilisée. Lorsque la rotation de fichier se produit, le nouveau fichier doit comporter le nouveau contenu et aucun contenu ne doit être ajouté à l'ancien fichier. L'agent transfère le nouveau fichier une fois qu'il a terminé de lire l'ancien.

Si vous avez utilisé un script de configuration pour installer l'agent CloudWatch Logs, vous pouvez utiliser /var/awslogs/bin/awslogs-version.sh pour vérifier la version de l'agent que vous utilisez. Vous pouvez ainsi afficher la version de l'agent et ses principales dépendances. Si vous avez utilisé yum pour installer l'agent CloudWatch Logs, vous pouvez utiliser « yum info awslogs » et « yum info aws-cli-plugin-cloudwatch -logs » pour vérifier la version de l'agent Logs et du plugin. CloudWatch

Les événements de journaux contiennent deux propriétés : l'horodatage du moment où l'événement s'est produit et le message brut du journal. Par défaut toute ligne commençant par un caractère autre qu'un espace ferme le message de journal précédent, le cas échéant, et commence un nouveau message de journal. Pour remplacer ce comportement, multi_line_start_pattern peut être utilisé et n'importe quelle ligne correspondant au modèle commence un nouveau message de journal. Le modèle peut être n'importe quelle expression régulière ou « {datetime_format} ». Par exemple, si la première ligne de chaque message de journal contient un horodatage comme « 2014-01-02T13:13:01Z », multi_line_start_pattern peut être défini sur « \d{4}-\d{2}-\d{2}T\d{2}:\d{2}:\d{2}Z ». Pour simplifier la configuration, la variable « {datetime_format} » peut être utilisée si l'option datetime_format a été spécifiée. Pour le même exemple, si l'option datetime_format est définie sur « %Y-%m-%dT%H:%M:%S%z », alors multi_line_start_pattern peut simplement être « {datetime_format} ».

L'heure actuelle est utilisée pour chaque événement de journal si datetime_format n'est pas fourni. Si la valeur datetime_format fournie n'est pas valide pour un message de journal donné, l'horodatage du dernier événement de journal dont l'horodatage a été analysé avec succès sera utilisé. En cas d'absence d'événements de journaux précédents, l'heure actuelle est utilisée. Un message d'avertissement est enregistré lorsqu'un événement de journal utilise l'heure actuelle ou l'heure de l'événement de journal précédent.

Les horodatages sont utilisés pour récupérer les événements de journaux et générer des métriques. Ainsi, si vous spécifiez un format incorrect, les événements des journaux peuvent ne plus être récupérables et générer des métriques incorrectes.

Lorsque l'une des conditions suivantes est remplie, un lot devient plein et est publié :

Pour respecter la contrainte de l'opération PutLogEvents, un événement de journal ou un lot peut être ignoré à cause des problèmes suivants.

Non, à condition que le fichier d'état soit disponible et qu'aucune rotation de fichier ne se soit produite depuis la dernière exécution. L'agent CloudWatch Logs peut partir de l'endroit où il s'est arrêté et continuer à transmettre les données du journal.

La configuration de plusieurs sources de journal pour envoyer des données dans un flux de journal unique n'est pas prise en charge.

L'agent CloudWatch Logs nécessite les PutLogEvents opérations CreateLogGroup CreateLogStreamDescribeLogStreams,, et. Si vous utilisez le dernier agent, DescribeLogStreams n'est pas nécessaire. Consultez l'exemple de stratégie IAM ci-dessous.

{
"Version": "2012-10-17",
"Statement": [
  {
    "Effect": "Allow",
    "Action": [
      "logs:CreateLogGroup",
      "logs:CreateLogStream",
      "logs:PutLogEvents",
      "logs:DescribeLogStreams"
    ],
    "Resource": [
      "arn:aws:logs:*:*:*"
    ]
  }
 ]
}

Dans votre IAM politique, vous pouvez limiter l'agent aux seules opérations suivantes :DescribeLogStreams,PutLogEvents.

Avant de révoquer les autorisations CreateLogStream et CreateLogGroup à partir de l'agent, veillez à créer à la fois les groupes de journaux et les flux de journaux que vous souhaitez que l'agent utilise. L'agent de journaux ne peut pas créer de flux de journaux dans un groupe de journaux que vous avez créé, sauf s'il dispose des autorisations CreateLogGroup et CreateLogStream.

Le journal d'installation de l'agent est enregistré à l'adresse /var/log/awslogs-agent-setup.log et le journal de l'agent à l'adresse /var/log/awslogs.log.