Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Exportation des journaux d'analyse des requêtes

AWS Clean Rooms exécute des requêtes SQL sur Apache Spark. Lorsqu'une requête échoue ou s'exécute lentement, les journaux Spark de cette requête contiennent les détails d'exécution dont vous avez besoin pour en trouver la cause. Ils montrent quelle étape a échoué, comment le travail a été réparti entre les tâches, quelle quantité de mémoire a été utilisée et où le temps a été consacré.

Une requête parcourt les données fournies par plusieurs membres de la collaboration. Les journaux Spark bruts peuvent donc révéler des informations sur les données d'un autre membre, telles que les noms des tables, les emplacements de stockage et les valeurs des données. Pour cette raison, AWS Clean Rooms ne vous donne pas les journaux bruts. Au lieu de cela, il produit une copie expurgée dans laquelle les données des clients et les métadonnées des membres sont expurgées. AWS Clean Rooms exporte cette copie vers un compartiment Amazon S3 dont vous êtes propriétaire. Vous analysez ensuite les journaux exportés à l'aide de l'outil de votre choix, tel que Spark History Server.

Conditions préalables

Avant de pouvoir exporter des journaux pour une requête, toutes les conditions suivantes doivent être remplies :

L'exportation des journaux n'est pas disponible pour toutes les requêtes. Pour les cas qui ne sont pas pris en charge, voirConsidérations et restrictions.

Il n'est pas nécessaire de créer un rôle IAM pour l'exportation des journaux. AWS Clean Rooms écrit les journaux exportés en utilisant votre propre identité, de sorte qu'il n'écrit les journaux que lorsque vos propres autorisations le permettent déjà. Conformément à la règle du moindre privilège, accordez l'accès en écriture uniquement au compartiment et au préfixe de clé que vous utilisez pour les journaux exportés.

Exportation de journaux pour une requête

L'exportation des journaux est asynchrone. Lorsque vous démarrez une exportation, AWS Clean Rooms renvoie immédiatement les données avec un identifiant d'exportation et un statut égal àIN_PROGRESS, puis expurgée et copie les journaux en arrière-plan.

Avant de commencer l'exportation, AWS Clean Rooms écrit un objet de zéro octet nommé validationSuccess dans votre compartiment de destination pour confirmer qu'il peut y écrire. Si cette vérification échoue, la demande échoue immédiatement avec une erreur de validation au lieu d'échouer plus tard en arrière-plan.

Console

Pour exporter les journaux d'une requête (console)

1. Connectez-vous à la AWS Clean Rooms console Console de gestion AWS et ouvrez-la.

2. Dans le volet de navigation de gauche, choisissez Collaborations.

3. Choisissez la collaboration qui contient la requête.

4. Choisissez l'onglet Analyse.

5. Effectuez l’une des actions suivantes :

   • Dans le tableau des requêtes, sélectionnez la requête, choisissez Actions, puis choisissez Exporter les journaux d'analyse des requêtes.

   • Choisissez la requête pour ouvrir sa page de détails, puis choisissez Exporter les journaux d'analyse.

6. Dans la boîte de dialogue, choisissez le compartiment Amazon S3 de destination et, éventuellement, un préfixe de clé.

7. Cliquez sur Exporter.

Si l'option Exporter les journaux d'analyse des requêtes n'est pas disponible, la console explique pourquoi. Le tableau suivant répertorie les messages et explique comment les résoudre.

Message	Résolution
La requête doit atteindre l'état terminal pour que les journaux puissent être exportés.	Attendez la fin de l'exécution de la requête.
Il n'est pas possible d'exporter les journaux d'analyse des requêtes.	Demandez à un membre de la collaboration de soumettre une demande de modification pour ajouter cette fonctionnalité à votre adhésion.
L'exportation de journaux n'est pas prise en charge pour les requêtes qui utilisent la confidentialité différentielle.	Aucune. L'exportation du journal n'est pas disponible pour ces requêtes.
Seul le lanceur de requêtes ou le payeur de la requête peut exporter les journaux d'analyse.	Demandez au membre qui a exécuté ou payé la requête d'exporter les journaux.

La page des détails de la requête comprend un tableau d'historique des exportations répertoriant chaque exportation et son statut. Choisissez une exportation qui a échoué pour voir l'erreur, ou choisissez Afficher la destination pour ouvrir les journaux exportés dans Amazon S3.

API

Pour exporter les journaux d'une requête (API)

Appelez StartAnalysisLogExport en spécifiant l'adhésion, la requête protégée et votre destination.

aws cleanrooms start-analysis-log-export \
    --membership-identifier membership-id \
    --analysis-id protected-query-id \
    --analysis-type PROTECTED_QUERY \
    --result-configuration '{
        "outputConfiguration": {
            "s3": {
                "bucket": "amzn-s3-demo-bucket",
                "keyPrefix": "query-logs/"
            }
        }
    }'

La réponse renvoie un analysisLogExport objet contenant un analysisLogExportId et status unIN_PROGRESS.

Pour vérifier une exportation, appelez GetAnalysisLogExport avec l'identifiant d'adhésion et l'identifiant d'exportation, puis interrogez jusqu'à ce que le statut soit SUCCESS ouFAILED. Lorsqu'une exportation échoue, la réponse inclut un error champ contenant un code et un message.

aws cleanrooms get-analysis-log-export \
    --membership-identifier membership-id \
    --analysis-log-export-identifier analysis-log-export-id

Pour répertorier les exportations d'un abonnement, appelezListAnalysisLogExports. Vous pouvez filtrer les résultats par requête à l'aide deanalysisIdentifier, et selon l'état de l'exportation à l'aide destatus. Le status filtre accepte IN_PROGRESSSUCCESS, ouFAILED, et prend une valeur à la fois. Il s'agit des statuts de l'exportation elle-même, et non de la requête dont vous avez exporté les journaux. Les résultats sont paginés.

aws cleanrooms list-analysis-log-exports \
    --membership-identifier membership-id \
    --analysis-identifier protected-query-id \
    --status SUCCESS

Une seule exportation peut être active à la fois pour une requête et une destination données. Si vous démarrez une exportation alors qu'une autre exportation pour la même requête et la même destination Amazon S3 est toujours en cours, la demande échoue avec une erreur de validation. Pour exporter deux fois la même requête à la fois, utilisez un préfixe de clé différent pour la deuxième exportation.

Vous exportez indépendamment des autres membres. Si vous et un autre membre en avez la capacité et avez tous deux exécuté ou payé pour la même requête, chacun de vous peut exporter les journaux vers sa propre destination.

Où sont écrits les journaux exportés

AWS Clean Rooms écrit les journaux exportés sous le compartiment et le préfixe de clé que vous spécifiez, en utilisant la structure suivante :

s3://your-bucket/key-prefix/collaboration=collaboration-id/analysis=protected-query-id/analysis-log-export-id/

Comme le chemin inclut l'ID d'exportation, le fait d'exporter la même requête plusieurs fois ne remplace pas les journaux d'une exportation précédente.

Un export contient le journal des événements Spark expurgé pour la requête. Ce journal est un ensemble d'enregistrements JSON structurés couvrant les tâches, les étapes, les tâches, les horaires et les plans de requêtes. Spark écrit lui-même ce format de journal des événements. Vous pouvez effectuer une exportation avec n'importe quel outil qui lit les journaux d'événements Spark, y compris votre propre outil. AWS Clean Rooms ne fournit pas de visualiseur pour les journaux exportés. Dans le répertoire d'exportation, les enregistrements suivent la structure utilisée par Spark pour un journal des événements évolutif. Un répertoire nommé eventlog_v2_protected-query-id contient un ou plusieurs events_ fichiers et un appstatus_ fichier qui indique que l'application a été terminée. Les noms de répertoire et de fichier utilisent l'ID de requête protégé plutôt qu'un AWS Clean Rooms identifiant interne.

Spark History Server est l'un de ces outils. Pour afficher une exportation dans Spark History Server, pointez une instance vers le eventlog_v2_ répertoire de la requête. Par exemple, une exportation d'une requête 6ba7b810-9dad-11d1-80b4-00c04fd430c8 vers le bucket amzn-s3-demo-bucket avec le préfixe clé query-logs/ produit les résultats suivants.

s3://amzn-s3-demo-bucket/query-logs/
  collaboration=f47ac10b-58cc-4372-a567-0e02b2c3d479/
    analysis=6ba7b810-9dad-11d1-80b4-00c04fd430c8/
      a1b2c3d4-e5f6-7890-abcd-ef1234567890/
        eventlog_v2_6ba7b810-9dad-11d1-80b4-00c04fd430c8/
          events_1_6ba7b810-9dad-11d1-80b4-00c04fd430c8
          appstatus_6ba7b810-9dad-11d1-80b4-00c04fd430c8

Dans cet exemple, définissez le répertoire des journaux du Spark History Server comme suit. Le fait de pointer sur le eventlog_v2_ répertoire affiche uniquement la requête que vous avez exportée. La lecture des journaux directement depuis Amazon S3 nécessite le connecteur S3A, utilisez donc le s3a:// schéma. Les informations d'identification utilisées par Spark History Server nécessitent un accès en lecture au bucket.

spark.history.fs.logDirectory s3a://amzn-s3-demo-bucket/query-logs/collaboration=f47ac10b-58cc-4372-a567-0e02b2c3d479/analysis=6ba7b810-9dad-11d1-80b4-00c04fd430c8/a1b2c3d4-e5f6-7890-abcd-ef1234567890/eventlog_v2_6ba7b810-9dad-11d1-80b4-00c04fd430c8/

Utilisez la version 3.5.0 ou ultérieure de Spark History Server. Vous êtes responsable de la configuration et de l'exécution de votre propre instance. Pour plus d'informations sur l'exécution d'une instance de Spark History Server, consultez la section Affichage après coup sur le site Web d'Apache Spark.

Résolution des problèmes d'exportation du journal

Considérations et restrictions

Pour les quotas qui s'appliquent à l'exportation de journaux, y compris le nombre d'exportations pouvant être exécutées simultanément, voirQuotas pour AWS Clean Rooms.