API de points de terminaison de développement

• DevEndpoint structure

• DevEndpointCustomLibraries structure

Champs

• EndpointName— UTF-8 ficelle.

  Le nom de l'DevEndpoint.

• RoleArn— UTF-8 chaîne, correspondant àAWS IAM ARN string pattern.

  Amazon Resource Name (ARN) du rôle IAM utilisé dans ce DevEndpoint.

• SecurityGroupIds— Un tableau de UTF-8 chaînes.

  Liste d'identifiants de groupe de sécurité utilisés dans ce DevEndpoint.

• SubnetId— UTF-8 ficelle.

  ID de sous-réseau pour ce DevEndpoint.

• YarnEndpointAddress— UTF-8 ficelle.

  Adresse du point de terminaison YARN utilisée par ce DevEndpoint.

• PrivateAddress— UTF-8 ficelle.

  Adresse IP privée pour accéder au DevEndpoint au sein d'un VPC si le DevEndpoint est créé dans celui-ci. Le champ PrivateAddress est présent uniquement lorsque vous créez le DevEndpoint au sein de votre VPC.

• ZeppelinRemoteSparkInterpreterPort : nombre (entier).

  Port Apache Zeppelin pour l'interpréteur Apache Spark à distance.

• PublicAddress— UTF-8 ficelle.

  Adresse IP publique utilisée par ce DevEndpoint. Le champ PublicAddress est présent uniquement lorsque vous créez un DevEndpoint de cloud privé non virtuel.

• Status— UTF-8 ficelle.

  Statut actuel de ce DevEndpoint.

• WorkerType— UTF-8 chaîne (valeurs valides : Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" |Z.2X="").

  Type de travail prédéfini qui est alloué au point de terminaison de développement. Accepte la valeur Standard G.1X, ou G.2X.

  • Pour le type de travail Standard, chaque travail fournit 4 vCPU, 16 Go de mémoire et 50 Go de disque, ainsi que 2 exécuteurs par travail.

  • Pour le type de travail G.1X, chaque travail mappe vers 1 DPU (4 vCPU, 16 Go de mémoire et 64 Go de disque), et fournit 1 exécuteur par travail. Nous vous recommandons ce type d’employé pour les tâches utilisant beaucoup de mémoire.

  • Pour le type de travail G.2X, chaque travail mappe vers 2 DPU (8 vCPU, 32 Go de mémoire et 128 Go de disque), et fournit 1 exécuteur par travail. Nous vous recommandons ce type d’employé pour les tâches utilisant beaucoup de mémoire.

  Problème connu : lorsqu'un point de terminaison de développement est créé avec la configuration G.2X WorkerType, les pilotes Spark pour le point de terminaison de développement s'exécutent sur 4 vCPU, 16 Go de mémoire et un disque de 64 Go.

• GlueVersion— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àCustom string pattern #45.

  La version de Glue détermine les versions d'Apache Spark et de Python prises AWS Glue en charge. La version Python indique la version prise en charge pour l'exécution de vos scripts ETL sur les points de terminaison de développement.

  Pour plus d'informations sur les AWS Glue versions disponibles et les versions correspondantes de Spark et Python, consultez la section Version de Glue dans le guide du développeur.

  Points de terminaison de développement créés sans spécifier de version de Glue par défaut : Glue 0.9.

  Vous pouvez spécifier une version de Python prise en charge pour les points de terminaison de développement en utilisant le paramètre Arguments dans les API CreateDevEndpoint ou UpdateDevEndpoint. Si aucun argument n'est fourni, la version utilisée par défaut est Python 2.

• NumberOfWorkers : nombre (entier).

  Nombre de travaux d'un workerType défini qui sont alloués au point de terminaison de développement.

  Le nombre maximal de travaux que vous pouvez définir est de 299 pour G.1X et de 149 pour G.2X.

• NumberOfNodes : nombre (entier).

  Le nombre d'unités de traitement des AWS Glue données (DPU) qui y sont allouées. DevEndpoint

• AvailabilityZone— UTF-8 ficelle.

  La zone de AWS disponibilité où DevEndpoint il se trouve.

• VpcId— UTF-8 ficelle.

  ID du cloud privé virtuel (VPC) utilisé par ce DevEndpoint.

• ExtraPythonLibsS3Path— UTF-8 ficelle.

  Chemin(s) d'accès à une ou plusieurs bibliothèques Python dans un compartiment Amazon S3 qui doit être chargé dans votre DevEndpoint. Plusieurs valeurs doivent être des chemins entiers séparés par une virgule.

  Note

  Vous pouvez uniquement utiliser des bibliothèques Python pur avec un DevEndpoint. Les bibliothèques reposant sur des extensions C, par exemple la bibliothèque d'analyse des données Python pandas, ne sont actuellement pas prises en charge.

• ExtraJarsS3Path— UTF-8 ficelle.

  Chemin d'accès à un ou plusieurs fichiers Java .jar dans un compartiment S3 qui doit être chargé dans votre DevEndpoint.

  Note

  Vous ne pouvez utiliser que des Java/Scala bibliothèques pures avec unDevEndpoint.

• FailureReason— UTF-8 ficelle.

  Raison d'un échec actuel dans ce DevEndpoint.

• LastUpdateStatus— UTF-8 ficelle.

  Statut de la dernière mise à jour.

• CreatedTimestamp – Horodatage.

  Le moment auquel cela DevEndpoint a été créé.

• LastModifiedTimestamp – Horodatage.

  Moment auquel ce DevEndpoint a été modifié pour la dernière fois.

• PublicKey— UTF-8 ficelle.

  Clé publique à utiliser par ce DevEndpoint pour l'authentification. Cet attribut est fourni à des fins de rétrocompatibilité, car l'attribut dont l'utilisation est recommandée sont les clés publiques.

• PublicKeys— Un tableau de UTF-8 chaînes, pas plus de 5 chaînes.

  Liste de clés publiques à utiliser par le DevEndpoints pour authentification. L'utilisation de cet attribut est plus recommandé qu'une simple clé publique, car les clés publiques vous permettent d'avoir une clé privée différente pour chaque client.

  Note

  Si vous avez déjà créé un point de terminaison avec une clé publique, vous devez supprimer cette clé pour être en mesure de définir une liste de clés publiques. Appelez l'opération d'API UpdateDevEndpoint avec le contenu de la clé publique dans l'attribut deletePublicKeys et la liste des nouvelles clés dans l'attribut addPublicKeys.

• SecurityConfiguration— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  Nom de la structure SecurityConfiguration à utiliser avec ce DevEndpoint.

• Arguments – tableau de mappage de paires clé-valeur, avec 100 paires au maximum.

  Chaque touche est une UTF-8 chaîne.

  Chaque valeur est une UTF-8 chaîne.

  Mappage des arguments utilisés pour configurer le DevEndpoint.

  Les arguments valides sont les suivants :

  • "--enable-glue-datacatalog": ""

  Vous pouvez spécifier une version de Python prise en charge pour les points de terminaison de développement en utilisant le paramètre Arguments dans les API CreateDevEndpoint ou UpdateDevEndpoint. Si aucun argument n'est fourni, la version utilisée par défaut est Python 2.

Champs

• ExtraPythonLibsS3Path— UTF-8 ficelle.

  Chemins d'accès à une ou plusieurs bibliothèques Python dans un compartiment Amazon Simple Storage Service (Amazon S3) qui doivent être chargées dans votre DevEndpoint. Plusieurs valeurs doivent être des chemins entiers séparés par une virgule.

  Note

  Vous pouvez uniquement utiliser des bibliothèques Python pur avec un DevEndpoint. Les bibliothèques reposant sur des extensions C, par exemple la bibliothèque d'analyse des données Python pandas, ne sont actuellement pas prises en charge.

• ExtraJarsS3Path— UTF-8 ficelle.

  Chemin d'accès à un ou plusieurs fichiers Java .jar dans un compartiment S3 qui doit être chargé dans votre DevEndpoint.

  Note

  Vous ne pouvez utiliser que des Java/Scala bibliothèques pures avec unDevEndpoint.

• CreateDevEndpoint action (Python : create_dev_endpoint)

• UpdateDevEndpoint action (Python : update_dev_endpoint)

• DeleteDevEndpoint action (Python : delete_dev_endpoint)

• GetDevEndpoint action (Python : get_dev_endpoint)

• GetDevEndpoints action (Python : get_dev_endpoints)

• BatchGetDevEndpoints action (Python : batch_get_dev_endpoints)

• ListDevEndpoints action (Python : list_dev_endpoints)

Demande

• EndpointName— Obligatoire : UTF-8 chaîne.

  Nom à affecter au nouveau DevEndpoint.

• RoleArn— Obligatoire : UTF-8 chaîne correspondant àAWS IAM ARN string pattern.

  Rôle IAM pour le DevEndpoint.

• SecurityGroupIds— Un tableau de UTF-8 chaînes.

  ID de groupe de sécurité pour les groupes de sécurité utilisés par le nouveau DevEndpoint.

• SubnetId— UTF-8 ficelle.

  ID de sous-réseau pour le nouveau DevEndpoint à utiliser.

• PublicKey— UTF-8 ficelle.

  Clé publique à utiliser par ce DevEndpoint pour l'authentification. Cet attribut est fourni à des fins de rétrocompatibilité, car l'attribut dont l'utilisation est recommandée sont les clés publiques.

• PublicKeys— Un tableau de UTF-8 chaînes, pas plus de 5 chaînes.

  Liste de clés publiques à utiliser par les points de terminaison de développement pour authentification. L'utilisation de cet attribut est plus recommandé qu'une simple clé publique, car les clés publiques vous permettent d'avoir une clé privée différente pour chaque client.

  Note

  Si vous avez déjà créé un point de terminaison avec une clé publique, vous devez supprimer cette clé pour être en mesure de définir une liste de clés publiques. Appelez l'API UpdateDevEndpoint avec le contenu de la clé publique dans l'attribut deletePublicKeys et la liste des nouvelles clés dans l'attribut addPublicKeys.

• NumberOfNodes : nombre (entier).

  Le nombre d'unités de traitement des AWS Glue données (DPU) à y affecter. DevEndpoint

• WorkerType— UTF-8 chaîne (valeurs valides : Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" |Z.2X="").

  Type de travail prédéfini qui est alloué au point de terminaison de développement. Accepte la valeur Standard G.1X, ou G.2X.

  • Pour le type de travail Standard, chaque travail fournit 4 vCPU, 16 Go de mémoire et 50 Go de disque, ainsi que 2 exécuteurs par travail.

  • Pour le type de travail G.1X, chaque travail mappe vers 1 DPU (4 vCPU, 16 Go de mémoire et 64 Go de disque), et fournit 1 exécuteur par travail. Nous vous recommandons ce type d’employé pour les tâches utilisant beaucoup de mémoire.

  • Pour le type de travail G.2X, chaque travail mappe vers 2 DPU (8 vCPU, 32 Go de mémoire et 128 Go de disque), et fournit 1 exécuteur par travail. Nous vous recommandons ce type d’employé pour les tâches utilisant beaucoup de mémoire.

  Problème connu : lorsqu'un point de terminaison de développement est créé avec la configuration G.2X WorkerType, les pilotes Spark pour le point de terminaison de développement s'exécutent sur 4 vCPU, 16 Go de mémoire et un disque de 64 Go.

• GlueVersion— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àCustom string pattern #45.

  La version de Glue détermine les versions d'Apache Spark et de Python prises AWS Glue en charge. La version Python indique la version prise en charge pour l'exécution de vos scripts ETL sur les points de terminaison de développement.

  Pour plus d'informations sur les AWS Glue versions disponibles et les versions correspondantes de Spark et Python, consultez la section Version de Glue dans le guide du développeur.

  Points de terminaison de développement créés sans spécifier de version de Glue par défaut : Glue 0.9.

  Vous pouvez spécifier une version de Python prise en charge pour les points de terminaison de développement en utilisant le paramètre Arguments dans les API CreateDevEndpoint ou UpdateDevEndpoint. Si aucun argument n'est fourni, la version utilisée par défaut est Python 2.

• NumberOfWorkers : nombre (entier).

  Nombre de travaux d'un workerType défini qui sont alloués au point de terminaison de développement.

  Le nombre maximal de travaux que vous pouvez définir est de 299 pour G.1X et de 149 pour G.2X.

• ExtraPythonLibsS3Path— UTF-8 ficelle.

  Chemin(s) d'accès à une ou plusieurs bibliothèques Python dans un compartiment Amazon S3 qui doit être chargé dans votre DevEndpoint. Plusieurs valeurs doivent être des chemins entiers séparés par une virgule.

  Note

  Vous pouvez uniquement utiliser des bibliothèques Python pur avec un DevEndpoint. Les bibliothèques reposant sur des extensions C, par exemple la bibliothèque d'analyse des données Python pandas, ne sont pas encore prises en charge.

• ExtraJarsS3Path— UTF-8 ficelle.

  Chemin d'accès à un ou plusieurs fichiers Java .jar dans un compartiment S3 qui doit être chargé dans votre DevEndpoint.

• SecurityConfiguration— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  Nom de la structure SecurityConfiguration à utiliser avec ce DevEndpoint.

• Tags – tableau de mappage de paires clé-valeur, avec 50 paires au maximum.

  Chaque clé est une UTF-8 chaîne d'une longueur d'au moins 1 et d'au plus 128 octets.

  Chaque valeur est une UTF-8 chaîne ne dépassant pas 256 octets.

  Balises à utiliser avec ce DevEndpoint. Vous pouvez utiliser des balises pour limiter l'accès au DevEndpoint. Pour plus d'informations sur les tags in AWS Glue, voir AWS Tags in AWS Glue dans le guide du développeur.

• Arguments – Tableau de mappage de paires clé-valeur, 100 paires au maximum.

  Chaque touche est une UTF-8 chaîne.

  Chaque valeur est une UTF-8 chaîne.

  Mappage des arguments utilisés pour configurer le DevEndpoint.

Réponse

• EndpointName— UTF-8 ficelle.

  Nom attribué au nouveau DevEndpoint.

• Status— UTF-8 ficelle.

  Statut actuel du nouveau DevEndpoint.

• SecurityGroupIds— Un tableau de UTF-8 chaînes.

  Groupes de sécurité affectés au nouveau DevEndpoint.

• SubnetId— UTF-8 ficelle.

  ID de sous-réseau affecté au nouveau DevEndpoint.

• RoleArn— UTF-8 chaîne, correspondant àAWS IAM ARN string pattern.

  Amazon Resource Name (ARN) du rôle affecté au nouveau DevEndpoint.

• YarnEndpointAddress— UTF-8 ficelle.

  Adresse du point de terminaison YARN utilisé par ce DevEndpoint.

• ZeppelinRemoteSparkInterpreterPort : nombre (entier).

  Port Apache Zeppelin pour l'interpréteur Apache Spark à distance.

• NumberOfNodes : nombre (entier).

  Le nombre d'unités de traitement des AWS Glue données (DPU) qui y sont allouées. DevEndpoint

• WorkerType— UTF-8 chaîne (valeurs valides : Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" |Z.2X="").

  Type de travail prédéfini qui est alloué au point de terminaison de développement. Il peut s'agir d'une valeur de Standard G.1X, ou G.2X.

• GlueVersion— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àCustom string pattern #45.

  La version de Glue détermine les versions d'Apache Spark et de Python prises AWS Glue en charge. La version Python indique la version prise en charge pour l'exécution de vos scripts ETL sur les points de terminaison de développement.

  Pour plus d'informations sur les AWS Glue versions disponibles et les versions correspondantes de Spark et Python, consultez la section Version de Glue dans le guide du développeur.

• NumberOfWorkers : nombre (entier).

  Nombre de travaux d'un workerType défini qui sont alloués au point de terminaison de développement.

• AvailabilityZone— UTF-8 ficelle.

  La zone de AWS disponibilité où DevEndpoint il se trouve.

• VpcId— UTF-8 ficelle.

  ID du cloud privé virtuel (VPC) utilisé par ce DevEndpoint.

• ExtraPythonLibsS3Path— UTF-8 ficelle.

  Chemin(s) d'accès à une ou plusieurs bibliothèques Python dans un compartiment S3 qui sera chargé dans votre DevEndpoint.

• ExtraJarsS3Path— UTF-8 ficelle.

  Chemi(s)n d'accès à un ou plusieurs fichiers Java .jar dans un compartiment S3 qui sera chargé dans votre DevEndpoint.

• FailureReason— UTF-8 ficelle.

  Raison d'un échec actuel dans ce DevEndpoint.

• SecurityConfiguration— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  Nom de la structure SecurityConfiguration utilisée avec ce DevEndpoint.

• CreatedTimestamp – Horodatage.

  Moment où ce DevEndpoint a été créé.

• Arguments – tableau de mappage de paires clé-valeur, avec 100 paires au maximum.

  Chaque touche est une UTF-8 chaîne.

  Chaque valeur est une UTF-8 chaîne.

  Mappage des arguments utilisés pour configurer ce DevEndpoint.

  Les arguments valides sont les suivants :

  • "--enable-glue-datacatalog": ""

  Vous pouvez spécifier une version de Python prise en charge pour les points de terminaison de développement en utilisant le paramètre Arguments dans les API CreateDevEndpoint ou UpdateDevEndpoint. Si aucun argument n'est fourni, la version utilisée par défaut est Python 2.

Erreurs

• AccessDeniedException

• AlreadyExistsException

• IdempotentParameterMismatchException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• ValidationException

• ResourceNumberLimitExceededException

Demande

• EndpointName— Obligatoire : UTF-8 chaîne.

  Nom du DevEndpoint à mettre à jour.

• PublicKey— UTF-8 ficelle.

  Clé publique pour le DevEndpoint à utiliser.

• AddPublicKeys— Un tableau de UTF-8 chaînes, pas plus de 5 chaînes.

  Liste des clés publiques pour le DevEndpoint à utiliser.

• DeletePublicKeys— Un tableau de UTF-8 chaînes, pas plus de 5 chaînes.

  Liste de clés publiques à supprimer du DevEndpoint.

• CustomLibraries – Un objet DevEndpointCustomLibraries.

  Bibliothèques Python ou Java personnalisées à charger dans le DevEndpoint.

• UpdateEtlLibraries : booléen.

  True si la liste des bibliothèques personnalisées à charger dans le point de terminaison de développement doit être mise à jour, sinon False.

• DeleteArguments— Un tableau de UTF-8 chaînes.

  Liste des clés d'argument à supprimer du mappage d'arguments utilisé pour configurer le DevEndpoint.

• AddArguments – tableau de mappage de paires clé-valeur, avec 100 paires au maximum.

  Chaque touche est une UTF-8 chaîne.

  Chaque valeur est une UTF-8 chaîne.

  Mappage d'arguments à ajouter au mappage d'arguments utilisé pour configurer le DevEndpoint.

  Les arguments valides sont les suivants :

  • "--enable-glue-datacatalog": ""

  Vous pouvez spécifier une version de Python prise en charge pour les points de terminaison de développement en utilisant le paramètre Arguments dans les API CreateDevEndpoint ou UpdateDevEndpoint. Si aucun argument n'est fourni, la version utilisée par défaut est Python 2.

Réponse

• Paramètres d’absence de réponse.

Erreurs

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• ValidationException

Demande

• EndpointName— Obligatoire : UTF-8 chaîne.

  Le nom de l'DevEndpoint.

Réponse

• Paramètres d’absence de réponse.

Erreurs

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

Demande

• EndpointName— Obligatoire : UTF-8 chaîne.

  Nom du DevEndpoint pour lequel des informations seront récupérées.

Réponse

• DevEndpoint – Un objet DevEndpoint.

  Définition d'un DevEndpoint.

Erreurs

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

Demande

• MaxResults – Nombre (entier), compris entre 1 et 1 000.

  Taille maximale des informations à renvoyer.

• NextToken— UTF-8 ficelle.

  Jeton de continuation, s’il s’agit d’un appel de continuation.

Réponse

• DevEndpoints : un tableau d’objets DevEndpoint.

  Liste des définitions de DevEndpoint.

• NextToken— UTF-8 ficelle.

  Jeton de continuation, si toutes les définitions de DevEndpoint n'ont pas encore été renvoyées.

Erreurs

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

Demande

• customerAccountId— UTF-8 ficelle.

  L'identifiant AWS du compte.

• DevEndpointNames— Obligatoire : un tableau de UTF-8 chaînes, pas moins de 1 ni plus de 25 chaînes.

  Liste de noms de DevEndpoint, qui peuvent être les noms renvoyés à partir de l'opération ListDevEndpoint.

Réponse

• DevEndpoints : un tableau d’objets DevEndpoint.

  Liste des définitions de DevEndpoint.

• DevEndpointsNotFound— Un tableau de UTF-8 chaînes, pas moins de 1 ni plus de 25 chaînes.

  Liste des DevEndpoints introuvables.

Erreurs

• AccessDeniedException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

Demande

• NextToken— UTF-8 ficelle.

  Jeton de continuation, s’il s’agit d’une requête de continuation.

• MaxResults – Nombre (entier), compris entre 1 et 1 000.

  La taille maximale d’une liste à renvoyer.

• Tags – tableau de mappage de paires clé-valeur, avec 50 paires au maximum.

  Chaque clé est une UTF-8 chaîne d'une longueur d'au moins 1 et d'au plus 128 octets.

  Chaque valeur est une UTF-8 chaîne ne dépassant pas 256 octets.

  Spécifie de renvoyer uniquement les ressources balisées.

Réponse

• DevEndpointNames— Un tableau de UTF-8 chaînes.

  Noms de tous les DevEndpoint dans le compte ou les DevEndpoint avec les balises spécifiées.

• NextToken— UTF-8 ficelle.

  Jeton continuation, si la liste renvoyée ne contient pas la dernière métrique disponible.

Erreurs

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException