Séances interactives API

• Structure de séance

• SessionCommand structure

• Structure de la déclaration

• StatementOutput structure

• StatementOutputData structure

• ConnectionsList structure

Champs

• Id— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  L'ID de la séance.

• CreatedOn – Horodatage.

  Date et heure de création de la séance.

• Status— UTF-8 chaîne (valeurs valides : PROVISIONING | READY | FAILED | TIMEOUT | STOPPING |STOPPED).

  Statut d'une séance.

• ErrorMessage – Chaîne de description, d’une longueur maximale de 2 048 octets, correspondant au URI address multi-line string pattern.

  Le message d'erreur affiché pendant la séance.

• Description – Chaîne de description, d’une longueur maximale de 2 048 octets, correspondant au URI address multi-line string pattern.

  Description de la séance.

• Role— UTF-8 chaîne d'une longueur d'au moins 20 ou de plus de 2048 octets, correspondant à. Custom string pattern #51

  Nom ou Amazon Resource Name (ARN) du rôle IAM associé à la séance.

• Command – Un objet SessionCommand.

  La commande Object.see. SessionCommand

• DefaultArguments – Tableau de mappage de paires valeur-clé, avec 75 paires au maximum.

  Chaque clé est une UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 128 octets, correspondant àCustom string pattern #52.

  Chaque valeur est une UTF-8 chaîne, d'une longueur maximale de 4 096 octets, correspondant à. URI address multi-line string pattern

  Tableau de mappage de paires valeur-clé. Le maximum est de 75 paires.

• Connections – Un objet ConnectionsList.

  Nombre de connexions utilisées pour la séance.

• Progress – Nombre (double).

  La progression de l'exécution du code de la séance.

• MaxCapacity – Nombre (double).

  Le nombre d'unités de traitement des AWS Glue données (DPU) qui peuvent être attribuées lors de l'exécution de la tâche. Une DPU est une mesure relative de la puissance de traitement consistant en 4 vCPU de capacité de calcul et 16 Go de mémoire.

• SecurityConfiguration— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  Le nom de la SecurityConfiguration structure à utiliser avec la session.

• GlueVersion— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àCustom string pattern #45.

  La AWS Glue version détermine les versions d'Apache Spark et de Python qui sont prises AWS Glue en charge. La GlueVersion valeur doit être supérieure à 2,0.

• DataAccessId— UTF-8 chaîne d'une longueur d'au moins 1 et d'au plus 36 octets.

  ID d'accès aux données de la séance.

• PartitionId— UTF-8 chaîne d'une longueur d'au moins 1 et d'au plus 36 octets.

  L'ID de partition de la séance.

• NumberOfWorkers : nombre (entier).

  Nombre d'utilisateurs d'une WorkerType définie pour la séance.

• WorkerType— UTF-8 chaîne (valeurs valides : Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" |Z.2X="").

  Type de travail prédéfini qui est alloué lorsqu'une session est exécutée. Accepte une valeur de G.1X, G.2X, G.4X ou G.8X pour les sessions Spark. Accepte la valeur Z.2X pour les sessions Ray.

• CompletedOn – Horodatage.

  La date et heure à laquelle cette session s'est terminée.

• ExecutionTime – Nombre (double).

  La durée totale de la session.

• DPUSeconds – Nombre (double).

  Les DPU consommés par la session (formule ExecutionTime :* MaxCapacity).

• IdleTimeout : nombre (entier).

  Le nombre de minutes d'inactivité avant l'expiration de la session.

• ProfileName— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  Le nom d'un profil AWS Glue d'utilisation associé à la session.

• SessionType— UTF-8 chaîne (valeurs valides : LIVY="" |SPARK_CONNECT="").

  Type de session.

Champs

• Name— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  Spécifie le nom du SessionCommand. Il peut s'agir de « gluetel » ou de « gluestreaming ».

• PythonVersion— UTF-8 chaîne, correspondant àCustom string pattern #46.

  Spécifie la version de Python utilisée. La version de Python indique la version prise en charge pour les tâches de type Spark.

Champs

• Id : nombre (entier).

  ID de la déclaration.

• Code— UTF-8 ficelle.

  Code d'exécution de la déclaration.

• State— UTF-8 chaîne (valeurs valides : WAITING | RUNNING | AVAILABLE | CANCELLING | CANCELLED |ERROR).

  État pendant que la demande est exécutée.

• Output – Un objet StatementOutput.

  Le résultat en JSON.

• Progress – Nombre (double).

  La progression de l'exécution du code.

• StartedOn – Nombre (long).

  Date et heure Unix de démarrage de la définition de tâche.

• CompletedOn – Nombre (long).

  Date et heure Unix auxquelles la définition de tâche a été terminée.

Champs

• Data – Un objet StatementOutputData.

  Résultat de l'exécution de code.

• ExecutionCount : nombre (entier).

  Nombre d'exécution du résultat.

• Status— UTF-8 chaîne (valeurs valides : WAITING | RUNNING | AVAILABLE | CANCELLING | CANCELLED |ERROR).

  Statut du résultat de l'exécution de code.

• ErrorName— UTF-8 ficelle.

  Nom de l'erreur dans le résultat.

• ErrorValue— UTF-8 ficelle.

  Valeur de l'erreur du résultat.

• Traceback— Un tableau de UTF-8 chaînes.

  Le retraçage du résultat.

Champs

• TextPlain— UTF-8 ficelle.

  Résultat de l'exécution de code au format texte.

Champs

• Connections— Tableau de UTF-8 chaînes, pas plus de 1 000 chaînes.

  Liste de connexions utilisées par la tâche.

• CreateSession action (Python : create_session)

• StopSession action (Python : stop_session)

• DeleteSession action (Python : delete_session)

• GetSession action (Python : get_session)

• ListSessions action (Python : list_sessions)

• RunStatement action (Python : run_statement)

• CancelStatement action (Python : cancel_statement)

• GetStatement action (Python : get_statement)

• ListStatements action (Python : list_statements)

• GetGlueIdentityCenterConfiguration action (Python : get_glue_identity_center_configuration)

• UpdateGlueIdentityCenterConfiguration action (Python : update_glue_identity_center_configuration)

• CreateGlueIdentityCenterConfiguration action (Python : create_glue_identity_center_configuration)

• DeleteGlueIdentityCenterConfiguration action (Python : delete_glue_identity_center_configuration)

Demande

Demande de création d'une nouvelle séance.

• Id— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  L'ID de la séance demandée

• Description – Chaîne de description, d’une longueur maximale de 2 048 octets, correspondant au URI address multi-line string pattern.

  Description de la séance.

• Role— Obligatoire : UTF-8 chaîne d'au moins 20 octets ou plus de 2 048 octets, correspondant à. Custom string pattern #51

  Un ARN de rôle IAM

• Command – Obligatoire : un objet SessionCommand.

  La commande SessionCommand qui exécute cette tâche.

• Timeout – Nombre (entier), au moins égal à 1.

  Nombre de minutes avant l'expiration de la séance. La valeur par défaut pour les tâches ETL Spark est de 48 heures (2 880 minutes). Consultez la documentation pour les autres types de tâches.

• IdleTimeout – Nombre (entier), au moins égal à 1.

  Nombre de minutes d'inactivité avant l'expiration de la séance. La valeur par défaut pour les tâches ETL Spark est la valeur du délai d'expiration. Consultez la documentation pour les autres types de tâches.

• DefaultArguments – Tableau de mappage de paires valeur-clé, avec 75 paires au maximum.

  Chaque clé est une UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 128 octets, correspondant àCustom string pattern #52.

  Chaque valeur est une UTF-8 chaîne, d'une longueur maximale de 4 096 octets, correspondant à. URI address multi-line string pattern

  Tableau de mappage de paires valeur-clé. Le maximum est de 75 paires.

• Connections – Un objet ConnectionsList.

  Nombre de connexions à utiliser pour la séance.

• MaxCapacity – Nombre (double).

  Le nombre d'unités de traitement des AWS Glue données (DPU) qui peuvent être attribuées lors de l'exécution de la tâche. Une DPU est une mesure relative de la puissance de traitement consistant en 4 vCPU de capacité de calcul et 16 Go de mémoire.

• NumberOfWorkers : nombre (entier).

  Nombre d'utilisateurs d'une WorkerType définie pour la séance.

• WorkerType— UTF-8 chaîne (valeurs valides : Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" |Z.2X="").

  Type de travail prédéfini qui est alloué lorsqu'une tâche est exécutée. Accepte une valeur de G.1X, G.2X G.4X, ou G.8X pour les tâches Spark. Accepte la valeur Z.2X des blocs-notes Ray.

  • Pour le type de travailleur G.1X, chaque travailleur mappe vers 1 DPU (4 vCPU, 16 Go de mémoire) avec 94 Go d’espace disque, et fournit 1 exécuteur par travailleur. Nous recommandons ce type de travailleur pour les charges de travail telles que les transformations de données, les jointures et les requêtes, afin de proposer un moyen évolutif et rentable d'exécuter la plupart des tâches.

  • Pour le type de travailleur G.2X, chaque travailleur mappe vers 2 DPU (8 vCPU, 32 Go de mémoire) avec 138 Go d’espace disque, et fournit 1 exécuteur par travailleur. Nous recommandons ce type de travailleur pour les charges de travail telles que les transformations de données, les jointures et les requêtes, afin de proposer un moyen évolutif et rentable d'exécuter la plupart des tâches.

  • Pour le type de travailleur G.4X, chaque travailleur mappe vers 4 DPU (16 vCPU, 64 Go de mémoire) avec 256 Go d’espace disque, et fournit 1 exécuteur par travailleur. Nous recommandons ce type de travailleur pour les tâches dont les charges de travail contiennent les transformations, les agrégations, les jointures et les requêtes les plus exigeantes. Ce type de travailleur n'est disponible que pour les jobs Spark ETL AWS Glue version 3.0 ou ultérieure dans les AWS régions suivantes : États-Unis Est (Ohio), États-Unis Est (Virginie du Nord), États-Unis Ouest (Oregon), Asie-Pacifique (Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Tokyo), Canada (Centre), Europe (Francfort), Europe (Irlande) et Europe (Stockholm).

  • Pour le type de travailleur G.8X, chaque travailleur mappe vers 8 DPU (32 vCPU, 128 Go de mémoire) avec 512 Go d’espace disque, et fournit 1 exécuteur par travailleur. Nous recommandons ce type de travailleur pour les tâches dont les charges de travail contiennent les transformations, les agrégations, les jointures et les requêtes les plus exigeantes. Ce type de worker n'est disponible que pour les jobs Spark ETL de AWS Glue version 3.0 ou ultérieure, dans les mêmes AWS régions que celles prises en charge pour ce type de G.4X worker.

  • Pour le type de Z.2X worker, chaque worker est mappé à 2 processeurs virtuels M-DPU (8 vCPU, 64 Go de mémoire) avec un disque de 128 Go, et fournit jusqu'à 8 serveurs Ray sur la base de l'autoscaler.

• SecurityConfiguration— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  Le nom de la SecurityConfiguration structure à utiliser avec la session

• GlueVersion— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àCustom string pattern #45.

  La AWS Glue version détermine les versions d'Apache Spark et de Python qui sont prises AWS Glue en charge. La GlueVersion valeur doit être supérieure à 2,0.

• DataAccessId— UTF-8 chaîne d'une longueur d'au moins 1 et d'au plus 36 octets.

  ID d'accès aux données de la séance.

• PartitionId— UTF-8 chaîne d'une longueur d'au moins 1 et d'au plus 36 octets.

  ID de partition de la séance.

• Tags – Tableau de mappage de paires clé-valeur, avec 50 paires au maximum.

  Chaque clé est une UTF-8 chaîne d'une longueur d'au moins 1 et d'au plus 128 octets.

  Chaque valeur est une UTF-8 chaîne ne dépassant pas 256 octets.

  Carte des paires de valeurs clés (balises) appartenant à la séance.

• RequestOrigin— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 128 octets, correspondant àCustom string pattern #52.

  Origine de la demande.

• ProfileName— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  Le nom d'un profil AWS Glue d'utilisation associé à la session.

• SessionType— UTF-8 chaîne (valeurs valides : LIVY="" |SPARK_CONNECT="").

  Type de session à créer.

Réponse

• Session – Un objet Session.

  Retourne l'objet de séance dans la réponse.

Erreurs

• AccessDeniedException

• IdempotentParameterMismatchException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• ValidationException

• AlreadyExistsException

• ResourceNumberLimitExceededException

• OperationNotSupportedException

Demande

• Id— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  ID de la séance à arrêter.

• RequestOrigin— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 128 octets, correspondant àCustom string pattern #52.

  Origine de la demande.

Réponse

• Id— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  Retourne l'ID de la séance arrêtée.

Erreurs

• AccessDeniedException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• IllegalSessionStateException

• ConcurrentModificationException

Demande

• Id— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  ID de la séance à supprimer.

• RequestOrigin— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 128 octets, correspondant àCustom string pattern #52.

  Nom de l'origine de la demande de suppression de séance.

Réponse

• Id— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  Renvoie l'ID de la séance supprimée.

Erreurs

• AccessDeniedException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• IllegalSessionStateException

• ConcurrentModificationException

Demande

• Id— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  L’ID de la séance.

• RequestOrigin— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 128 octets, correspondant àCustom string pattern #52.

  Origine de la demande.

Réponse

• Session – Un objet Session.

  L'objet récupéré est renvoyé dans la réponse.

Erreurs

• AccessDeniedException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

Demande

• NextToken— UTF-8 chaîne ne dépassant pas 400 000 octets.

  Jeton pour l'ensemble de résultats suivant, ou null s'il n'y a pas de résultats supplémentaires.

• MaxResults – Nombre (entier), compris entre 1 et 1 000.

  Nombre maximal de résultats.

• Tags – Tableau de mappage de paires clé-valeur, avec 50 paires au maximum.

  Chaque clé est une UTF-8 chaîne d'une longueur d'au moins 1 et d'au plus 128 octets.

  Chaque valeur est une UTF-8 chaîne ne dépassant pas 256 octets.

  Balises appartenant à la séance.

• RequestOrigin— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 128 octets, correspondant àCustom string pattern #52.

  Origine de la demande.

Réponse

• Ids— Un tableau de UTF-8 chaînes.

  Retourne l'ID de la séance

• Sessions : un tableau d’objets Session.

  Retourne l'objet de la séance.

• NextToken— UTF-8 chaîne ne dépassant pas 400 000 octets.

  Jeton pour l'ensemble de résultats suivant, ou null s'il n'y a pas de résultats supplémentaires.

Erreurs

• AccessDeniedException

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

Demande

• SessionId— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  ID de séance de la déclaration à exécuter.

• Code— Obligatoire : UTF-8 chaîne ne dépassant pas 68 000 octets.

  Code de la déclaration à exécuter.

• RequestOrigin— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 128 octets, correspondant àCustom string pattern #52.

  Origine de la demande.

Réponse

• Id : nombre (entier).

  Renvoie l'ID de la déclaration exécutée.

Erreurs

• EntityNotFoundException

• AccessDeniedException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• ValidationException

• ResourceNumberLimitExceededException

• OperationNotSupportedException

• SessionBusyException

• IllegalSessionStateException

Demande

• SessionId— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  ID de séance de la déclaration à annuler.

• Id – Obligatoire : nombre (entier).

  ID de la déclaration à annuler.

• RequestOrigin— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 128 octets, correspondant àCustom string pattern #52.

  Origine de la demande d'annuler la déclaration.

Réponse

• Paramètres d’absence de réponse.

Erreurs

• AccessDeniedException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• IllegalSessionStateException

Demande

• SessionId— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  ID de séance de la déclaration.

• Id – Obligatoire : nombre (entier).

  L'ID de la déclaration.

• RequestOrigin— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 128 octets, correspondant àCustom string pattern #52.

  Origine de la demande.

Réponse

• Statement – Un objet Instruction.

  Renvoie la déclaration.

Erreurs

• AccessDeniedException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• IllegalSessionStateException

Demande

• SessionId— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  ID de séance des déclarations.

• RequestOrigin— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 128 octets, correspondant àCustom string pattern #52.

  Origine de la demande de liste des déclarations.

• NextToken— UTF-8 chaîne ne dépassant pas 400 000 octets.

  Jeton de continuation, s’il s’agit d’un appel de continuation.

Réponse

• Statements : un tableau d’objets Instruction.

  Renvoie la liste des déclarations.

• NextToken— UTF-8 chaîne ne dépassant pas 400 000 octets.

  Jeton de continuation, si toutes les déclarations n'ont pas encore été retournées.

Erreurs

• AccessDeniedException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• IllegalSessionStateException

Demande

• Aucun paramètre de demande.

Réponse

Réponse contenant les détails de configuration AWS Glue d'Identity Center.

• ApplicationArn— UTF-8 chaîne d'une longueur d'au moins 10 et d'au plus 1224 octets.

  Le nom de ressource Amazon (ARN) de l'application Identity Center associée à la AWS Glue configuration.

• InstanceArn— UTF-8 chaîne d'une longueur d'au moins 10 et d'au plus 1224 octets.

  Le nom de ressource Amazon (ARN) de l'instance Identity Center associée à la AWS Glue configuration.

• Scopes— Un tableau de UTF-8 chaînes.

  Liste des étendues d'Identity Center qui définissent les autorisations et les niveaux d'accès pour la AWS Glue configuration.

• UserBackgroundSessionsEnabled : booléen.

  Indique si les utilisateurs peuvent exécuter des sessions en arrière-plan lorsqu'ils utilisent l'authentification Identity Center avec AWS Glue des services.

Erreurs

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• AccessDeniedException

• ConcurrentModificationException

Demande

Demande de mise à jour d'une configuration AWS Glue Identity Center existante.

• Scopes— Un tableau de UTF-8 chaînes comprenant au moins 1 ou plus de 50 chaînes.

  Liste des étendues d'Identity Center qui définissent les autorisations et les niveaux d'accès mis à jour pour la AWS Glue configuration.

• UserBackgroundSessionsEnabled : booléen.

  Spécifie si les utilisateurs peuvent exécuter des sessions en arrière-plan lorsqu'ils utilisent l'authentification Identity Center avec AWS Glue des services.

Réponse

• Paramètres d’absence de réponse.

Erreurs

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• AccessDeniedException

• ConcurrentModificationException

Demande

Demande de création d'une nouvelle configuration AWS Glue Identity Center.

• InstanceArn— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 10 ou de plus de 1224 octets.

  Le nom de ressource Amazon (ARN) de l'instance Identity Center à associer à la AWS Glue configuration.

• Scopes— Un tableau de UTF-8 chaînes comprenant au moins 1 ou plus de 50 chaînes.

  Liste des étendues d'Identity Center qui définissent les autorisations et les niveaux d'accès pour la AWS Glue configuration.

• UserBackgroundSessionsEnabled : booléen.

  Spécifie si les utilisateurs peuvent exécuter des sessions en arrière-plan lorsqu'ils utilisent l'authentification Identity Center avec AWS Glue des services.

Réponse

Réponse suite à la création d'une nouvelle configuration AWS Glue Identity Center.

• ApplicationArn— UTF-8 chaîne d'une longueur d'au moins 10 et d'au plus 1224 octets.

  Le nom de ressource Amazon (ARN) de l'application Identity Center qui a été créée pour la AWS Glue configuration.

Erreurs

• InvalidInputException

• AlreadyExistsException

• InternalServiceException

• OperationTimeoutException

• AccessDeniedException

• ConcurrentModificationException

Demande

• Aucun paramètre de demande.

Réponse

• Paramètres d’absence de réponse.

Erreurs

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• AccessDeniedException

• ConcurrentModificationException