Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Résolution des problèmes liés à l'IA générative pour Apache Spark in AWS Glue
| Le dépannage génératif basé sur l'IA pour Apache Spark Preview est disponible pour les tâches exécutées sur AWS Glue 4.0 et dans les AWS régions suivantes : USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Oregon), USA Ouest (Californie du Nord), Europe (Irlande), Europe (Stockholm), Asie-Pacifique (Tokyo), Asie-Pacifique (Mumbai) et Asie-Pacifique (Sydney). Les fonctionnalités de prévisualisation sont susceptibles d'être modifiées. |
La résolution des problèmes liés à l'IA générative pour les tâches Apache Spark dans AWS Glue est une nouvelle fonctionnalité qui aide les ingénieurs de données et les scientifiques à diagnostiquer et à résoudre facilement les problèmes liés à leurs applications Spark. Utilisant les technologies d'apprentissage automatique et d'IA générative, cette fonctionnalité analyse les problèmes liés aux tâches Spark et fournit une analyse détaillée des causes profondes ainsi que des recommandations pratiques pour les résoudre.
Comment fonctionne la résolution des problèmes liés à l'IA générative pour Apache Spark ?
Pour les tâches Spark qui ont échoué, Generative AI Troubleshooting analyse les métadonnées des tâches ainsi que les indicateurs et journaux précis associés à la signature d'erreur de votre tâche afin de générer une analyse des causes premières, et recommande des solutions spécifiques et les meilleures pratiques pour aider à remédier aux échecs de tâches.
Configuration de la résolution des problèmes liés à l'IA générative pour Apache Spark pour vos tâches
Note
Lors de la version préliminaire, cette fonctionnalité permet de résoudre les problèmes liés aux tâches AWS Glue 4.0 qui échouent dans les 30 premières minutes suivant leur exécution.
Configuration des autorisations IAM
L'octroi d'autorisations à l'utilisateur APIs utilisé par Spark Troubleshooting pour vos tâches dans AWS Glue nécessite les autorisations IAM appropriées. Vous pouvez obtenir des autorisations en associant la AWS politique personnalisée suivante à votre identité IAM (comme un utilisateur, un rôle ou un groupe).
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "glue:StartCompletion", "glue:GetCompletion" ], "Resource": [ "arn:aws:glue:*:*:completion/*" ] } ] }
Note
Pendant la version préliminaire, Spark Troubleshooting n' APIs est pas disponible via le AWS SDK que vous pouvez utiliser par programmation. APIs Les deux éléments suivants sont utilisés dans la politique IAM pour permettre cette expérience via la console AWS Glue Studio : StartCompletion etGetCompletion.
Attribution d’autorisations
Pour activer l’accès, ajoutez des autorisations à vos utilisateurs, groupes ou rôles :
-
Pour les utilisateurs et les groupes dans IAM Identity Center : créez un ensemble d'autorisations. Suivez les instructions de la section Création d'un ensemble d'autorisations dans le guide de l'utilisateur d'IAM Identity Center.
-
Pour les utilisateurs gérés dans IAM via un fournisseur d'identité : créez un rôle pour la fédération des identités. Suivez les instructions de la section Création d'un rôle pour un fournisseur d'identité tiers (fédération) dans le guide de l'utilisateur IAM.
-
Pour les utilisateurs IAM : créez un rôle que votre utilisateur peut assumer. Suivez les instructions de la section Création d'un rôle pour un utilisateur IAM dans le guide de l'utilisateur IAM.
Exécution d'une analyse de résolution des problèmes à la suite d'un échec d'exécution
Vous pouvez accéder à la fonctionnalité de résolution des problèmes via plusieurs chemins dans la console AWS Glue. Voici comment commencer :
Option 1 : depuis la page Liste des tâches
-
Ouvrez la console AWS Glue à l'adresse https://console.aws.amazon.com/glue/
. -
Dans le volet de navigation, sélectionnez ETL Jobs.
-
Localisez votre tâche qui a échoué dans la liste des tâches.
-
Sélectionnez l'onglet Exécutions dans la section des détails de la tâche.
-
Cliquez sur le job qui a échoué que vous souhaitez analyser.
-
Choisissez Résoudre les problèmes avec l'IA pour démarrer l'analyse.
-
Lorsque l'analyse de résolution des problèmes est terminée, vous pouvez consulter l'analyse des causes premières et les recommandations dans l'onglet Analyse de résolution des problèmes en bas de l'écran.
Option 2 : utilisation de la page Job Run Monitoring
-
Accédez à la page de surveillance de l'exécution des Job.
-
Localisez l'exécution de votre tâche qui a échoué.
-
Choisissez le menu déroulant Actions.
-
Choisissez Résoudre les problèmes avec l'IA.
Option 3 : depuis la page Détails du Job Run
-
Accédez à la page des détails de l'exécution de votre tâche qui a échoué en cliquant sur Afficher les détails d'une exécution échouée dans l'onglet Exécutions ou en sélectionnant l'exécution du travail sur la page de surveillance des exécutions de tâches.
-
Sur la page des détails de l'exécution des tâches, recherchez l'onglet Analyse des problèmes.
Catégories de résolution des problèmes prises en charge (version préliminaire)
Ce service se concentre sur trois catégories principales de problèmes que les ingénieurs de données et les développeurs rencontrent fréquemment dans leurs applications Spark :
-
Erreurs de configuration et d'accès aux ressources : lors de l'exécution d'applications Spark dans AWS Glue, les erreurs de configuration des ressources et d'accès figurent parmi les problèmes les plus courants mais les plus difficiles à diagnostiquer. Ces erreurs se produisent souvent lorsque votre application Spark tente d'interagir avec AWS des ressources mais rencontre des problèmes d'autorisation, des ressources manquantes ou des problèmes de configuration.
-
Problèmes de mémoire liés au pilote Spark et à l'exécuteur : les erreurs liées à la mémoire dans les tâches Apache Spark peuvent être complexes à diagnostiquer et à résoudre. Ces erreurs se produisent souvent lorsque vos exigences en matière de traitement des données dépassent les ressources de mémoire disponibles, que ce soit sur le nœud pilote ou sur les nœuds exécuteurs.
-
Problèmes de capacité du disque Spark : les erreurs liées au stockage dans les tâches AWS Glue Spark apparaissent souvent lors d'opérations de remaniement, de fuite de données ou lors de transformations de données à grande échelle. Ces erreurs peuvent être particulièrement délicates car elles peuvent ne pas se manifester avant que votre tâche ne soit en cours d'exécution pendant un certain temps, ce qui peut entraîner une perte de temps et de ressources de calcul précieux.
Note
Avant de mettre en œuvre les modifications suggérées dans votre environnement de production, examinez attentivement les modifications suggérées. Le service fournit des recommandations basées sur des modèles et des meilleures pratiques, mais votre cas d'utilisation spécifique peut nécessiter des considérations supplémentaires.
