Fichiers journaux de base de données RDS for PostgreSQL

RDS for PostgreSQL consigne les activités de base de données dans le fichier journal PostgreSQL par défaut. Pour une instance de base de données PostgreSQL sur site, ces messages sont stockés localement dans log/postgresql.log. Pour une instance de base de données RDS for PostgreSQL, le fichier journal est disponible sur l'instance Amazon RDS. Vous devez également utiliser la console Amazon RDS pour consulter ou télécharger son contenu. Le niveau de journalisation par défaut capture les échecs de connexion, les erreurs de serveur fatales, les blocages et les échecs de requête.

Pour plus d'informations sur l'affichage, le téléchargement et la consultation des journaux de base de données basés sur des fichiers, consultez Surveillance des fichiers journaux Amazon RDS. Pour en savoir plus sur les journaux PostgreSQL, consultez la section Working with Amazon RDS and Aurora PostgreSQL logs: Part 1 (Utilisation des journaux Amazon RDS et Aurora PostgreSQL : Partie 1) et Working with Amazon RDS and Aurora PostgreSQL logs: Part 2 (Utilisation des journaux Amazon RDS et Aurora PostgreSQL : Partie 2).

Outre les journaux PostgreSQL standard décrits dans cette rubrique, RDS for PostgreSQL prend également en charge l'extension PostgreSQL Audit (pgAudit). La plupart des secteurs réglementés et des agences gouvernementales doivent conserver un journal d'audit ou une piste d'audit des modifications apportées aux données afin de se conformer aux exigences légales. Pour plus d'informations sur l'installation et l'utilisation de pgAudit, consultez Utilisation de pgAudit pour journaliser l'activité de la base de données.

Paramètres qui affectent le comportement de journalisation

Vous pouvez personnaliser le comportement de journalisation de votre instance de base de données RDS for PostgreSQL en modifiant divers paramètres. Dans le tableau suivant, vous trouverez les paramètres qui affectent combien de temps les journaux sont stockés, quand effectuer la rotation du journal et s'il convient de fournir en sortie le journal au format CSV (valeurs séparées par des virgules). Vous pouvez également trouver le texte de sortie envoyé à STDERR, entre autres paramètres. Pour modifier les valeurs des paramètres modifiables, utilisez un groupe de paramètres de base de données pour votre Instance RDS for PostgreSQL. Pour plus d'informations, consultez Utilisation de groupes de paramètres de base de données dans une instance de base de données. Comme indiqué dans le tableau, log_line_prefix ne peut pas être modifié.

Pour identifier les problèmes d'application, vous pouvez rechercher dans le journal les échecs de requête, les échecs de connexion, les interblocages et les erreurs fatales du serveur. Par exemple, supposons que vous avez converti une application héritée d'Oracle vers Amazon RDS for PostgreSQL, mais que certaines requêtes n'ont pas été converties correctement. Ces requêtes mal formatées génèrent des messages d'erreur que vous pouvez trouver dans les journaux pour aider à identifier les problèmes. Pour plus d'informations sur la journalisation des requêtes, consultez Activer la journalisation des requêtes pour votre instance de base de données RDS for PostgreSQL..

Dans les rubriques suivantes, vous pouvez trouver des informations sur la manière de définir les différents paramètres qui contrôlent les détails de base de vos journaux PostgreSQL.

Définition de la période de conservation des journaux

Le paramètre rds.log_retention_period indique la durée pendant laquelle votre instance de base de données RDS for PostgreSQL conserve ses fichiers journaux. La valeur par défaut est de 3 jours (4 320 minutes), mais vous pouvez définir une valeur comprise entre 1 jour (1 440 minutes) et 7 jours (10 080 minutes). Assurez-vous que votre instance de base de données RDS for PostgreSQL dispose d'un espace de stockage suffisant pour contenir les fichiers journaux pendant cette période.

Nous vous recommandons de publier régulièrement vos CloudWatch journaux sur Amazon Logs afin de pouvoir consulter et analyser les données système longtemps après leur suppression de votre cluster de base de données . Instance de base de données RDS for PostgreSQL. Pour plus d’informations, consultez Publication de journaux PostgreSQL sur Amazon Logs CloudWatch .

Définition de la rotation des fichiers journaux

Amazon RDS crée de nouveaux fichiers journaux toutes les heures, par défaut. Le timing est contrôlé par le paramètre log_rotation_age. Ce paramètre a une valeur par défaut de 60 (minutes), mais vous pouvez le régler sur une valeur comprise entre 1 minute et 24 heures (1 440 minutes). Au moment de la rotation, un fichier journal distinct est créé. Le fichier est nommé selon le modèle spécifié par le paramètre log_filename.

Les fichiers journaux peuvent également faire l'objet d'une rotation en fonction de leur taille, comme indiqué dans le paramètre log_rotation_size. Ce paramètre indique que le journal doit faire l'objet d'une rotation lorsqu'il atteint la taille spécifiée (en kilo-octets). Pour une instance de base de données RDS for PostgreSQL, la valeur log_rotation_size n'est pas définie, c'est-à-dire qu'il n'y a pas de valeur spécifiée. Toutefois, vous pouvez définir ce paramètre entre 0 et 2 097 151 Ko (kilo-octets).

Les noms de fichier journal sont basés sur le modèle de nom de fichier spécifié dans le paramètre log_filename. Les valeurs disponibles pour ce paramètre sont les suivantes :

Pour plus d'informations, consultez log_rotation_age et log_rotation_size dans la documentation de PostgreSQL.

Définition de la destination du journal (stderr, csvlog)

Par défaut, Amazon RDS PostgreSQL génère des journaux au format d'erreur standard (stderr). Ce format correspond au réglage par défaut du paramètre log_destination. Chaque message est préfixé selon le modèle spécifié dans le paramètre log_line_prefix. Pour plus d’informations, consultez Compréhension du paramètre log_line_prefix.

RDS for PostgreSQL peut également générer les journaux au format csvlog. La valeur csvlog permet d'analyser les données du journal en tant que données CSV (valeurs séparées par des virgules). Par exemple, supposons que vous utilisez l'extension log_fdw pour travailler avec vos journaux en tant que tables externes. La table externe créée sur les fichiers journaux stderr contient une seule colonne avec les données des événements de journal. En ajoutant csvlog au paramètre log_destination, vous obtenez le fichier journal au format CSV avec des démarcations pour les différentes colonnes de la table externe. Vous pouvez désormais trier et analyser vos journaux plus facilement. Pour savoir comment utiliser log_fdw avec csvlog, consultez Utilisation de l'extension log_fdw pour accéder au journal de base de données à l'aide de SQL.

Si vous spécifiez csvlog pour ce paramètre, sachez que les deux fichiers stderr et csvlog sont générés. Assurez-vous de surveiller le stockage consommé par les journaux, en tenant compte de rds.log_retention_period et des autres paramètres qui affectent le stockage et la rotation des journaux. Utiliser stderr et csvlog fait plus que doubler le stockage consommé par les journaux.

Si vous ajoutez csvlog à log_destination et que vous souhaitez revenir au paramètre stderr seul, vous devez réinitialiser le paramètre. Pour ce faire, ouvrez la console Amazon RDS, puis ouvrez le groupe de paramètres personnalisé de la base de données pour votre instance. Choisissez le paramètre log_destination, choisissez Edit parameter (Modifier le paramètre), puis Reset (Réinitialiser).

Pour plus d'informations sur la configuration de la journalisation, consultez Working with Amazon RDS and Aurora PostgreSQL logs: Part 1 (Utiliser les journaux d'Amazon RDS et Aurora PostgreSQL : partie 1).

Compréhension du paramètre log_line_prefix

Le format du journal stderr précède chaque message du journal des détails spécifiés par le paramètre log_line_prefix, comme suit.

%t:%r:%u@%d:[%p]:t

Vous ne pouvez pas modifier ce paramètre. Chaque entrée de journal envoyée à stderr inclut les informations suivantes.

Activer la journalisation des requêtes pour votre instance de base de données RDS for PostgreSQL.

Vous pouvez collecter des informations plus détaillées sur les activités de votre base de données, notamment les requêtes, les requêtes en attente de verrouillage, les points de contrôle et de nombreux autres détails en définissant certains des paramètres répertoriés dans le tableau suivant. Cette rubrique se concentre sur la journalisation des requêtes.

Utilisation de la journalisation pour détecter les requêtes lentes

Vous pouvez journaliser les instructions et les requêtes SQL pour favoriser la recherche des requêtes lentes. Vous pouvez activer cette fonctionnalité en modifiant les valeurs des paramètres log_statement et log_min_duration, comme indiqué dans cette section. Avant d'activer la journalisation des requêtes pour votre instance de base de données RDS for PostgreSQL, vous devez être conscient de l'exposition possible à des mots de passe dans les journaux et de la manière d'atténuer les risques. Pour plus d’informations, consultez Atténuation du risque d'exposition des mots de passe lors de l'utilisation de la journalisation de requêtes.

Vous trouverez ci-dessous des informations de référence sur les paramètres log_statement et log_min_duration.

Atténuation du risque d'exposition des mots de passe lors de l'utilisation de la journalisation de requêtes

Nous vous recommandons de garder log_statement sur none pour éviter de dévoiler les mots de passe. Si vous avez réglé log_statement sur all, ddl ou mod, nous vous recommandons de suivre une ou plusieurs des étapes suivantes.

Publication de journaux PostgreSQL sur Amazon Logs CloudWatch

Pour stocker vos enregistrements de journal PostgreSQL dans un espace de stockage hautement durable, vous pouvez utiliser Amazon Logs. CloudWatch Avec CloudWatch Logs, vous pouvez également effectuer une analyse en temps réel des données des journaux et les utiliser CloudWatch pour consulter les métriques et créer des alarmes. Par exemple, si vous définissez log_statement sur ddl, vous pouvez configurer une alarme pour vous alerter chaque fois qu'une instruction DDL est exécutée. Vous pouvez choisir de télécharger vos journaux PostgreSQL dans Logs pendant le processus de création CloudWatch de votre instance de base de données RDS pour PostgreSQL. Si vous avez choisi de ne pas télécharger de journaux à ce moment-là, vous pouvez modifier ultérieurement votre instance pour commencer à charger les journaux à partir de ce moment. En d'autres termes, les journaux existants ne sont pas chargés. Seuls les nouveaux journaux sont chargés lorsqu'ils sont créés sur votre instance de base de données RDS for PostgreSQL modifiée.

Toutes les versions de RDS pour PostgreSQL actuellement disponibles prennent en charge la publication de fichiers journaux dans Logs. CloudWatch Pour plus d'informations, consultez Mises à jour d'Amazon RDS for PostgreSQL dans les notes de mise à jour d'Amazon RDS for PostgreSQL.

Pour utiliser les CloudWatch journaux, configurez votre instance de base de données RDS pour PostgreSQL afin de publier les données des journaux dans un groupe de journaux.

Vous pouvez publier les types de CloudWatch journaux suivants dans Logs for RDS pour PostgreSQL :

Une fois la configuration terminée, Amazon RDS publie les événements du journal dans les flux de journaux au sein d'un groupe de CloudWatch journaux. Par exemple, les données de journaux PostgreSQL sont stockés dans le groupe de journaux /aws/rds/instance/my_instance/postgresql. Pour consulter vos journaux, ouvrez la CloudWatch console à l'adresse https://console.aws.amazon.com/cloudwatch/.

aws rds modify-db-instance \
    --db-instance-identifier mydbinstance \
    --cloudwatch-logs-export-configuration '{"EnableLogTypes":["postgresql", "upgrade"]}'
   

aws rds modify-db-instance ^
    --db-instance-identifier mydbinstance ^
    --cloudwatch-logs-export-configuration '{"EnableLogTypes":["postgresql","upgrade"]}'
				

aws rds create-db-instance \
    --db-instance-identifier mydbinstance \
    --enable-cloudwatch-logs-exports '["postgresql","upgrade"]' \
    --db-instance-class db.m4.large \
    --engine postgres 
    			

aws rds create-db-instance ^
    --db-instance-identifier mydbinstance ^
    --enable-cloudwatch-logs-exports '["postgresql","upgrade"]' ^
    --db-instance-class db.m4.large ^
    --engine postgres