API endpoint di sviluppo
L'API di endpoint di sviluppo descrive l'API AWS Glue relativa al testing utilizzando un DevEndpoint personalizzato.
Tipi di dati
Struttura DevEndpoint
Un endpoint di sviluppo in cui uno sviluppatore può eseguire in remoto il debug, la trasformazione e il caricamento degli script ETL.
Campi
-
EndpointName: stringa UTF-8.Nome della
DevEndpoint. -
RoleArn: stringa UTF-8, corrispondente a AWS IAM ARN string pattern.Amazon Resource Name (ARN) del ruolo IAM utilizzato in questo
DevEndpoint. -
SecurityGroupIds: una matrice di stringhe UTF-8.Un elenco degli identificatori dei gruppi di sicurezza utilizzati in questo
DevEndpoint. -
SubnetId: stringa UTF-8.La sottorete ID per questo
DevEndpoint. -
YarnEndpointAddress: stringa UTF-8.L'indirizzo dell'endpoint YARN utilizzato da questo
DevEndpoint. -
PrivateAddress: stringa UTF-8.Un indirizzo IP privato per accedere
DevEndpointall'interno di un VPC se in uno di essi viene creatoDevEndpointIl campoPrivateAddressè presente solo quando viene creatoDevEndpointall'interno del VPC. -
ZeppelinRemoteSparkInterpreterPort: numero (intero).La porta Apache Zeppelin per l'interprete Apache Spark remoto.
-
PublicAddress: stringa UTF-8.L'indirizzo IP pubblico utilizzato da questo
DevEndpoint. Il campoPublicAddressè presente solo quando si crea unDevEndpointnon VPC. -
Status: stringa UTF-8.Lo stato corrente di questo
DevEndpoint. -
WorkerType: stringa UTF-8 (valori validi:Standard=""|G.1X=""|G.2X=""|G.025X=""|G.4X=""|G.8X=""|Z.2X="").Il tipo di worker predefinito allocato all'endpoint di sviluppo. Accetta un valore Standard, G.1X o G.2X.
-
Per il tipo di worker
Standard, ciascun worker fornisce 4 vCPU, 16 GB di memoria, disco da 50 GB e 2 esecutori. -
Per il tipo di worker
G.1X, ciascun worker si mappa a 1 DPU (4 vCPU, 16 GB di memoria, disco da 64 GB) e fornisce 1 esecutore. Consigliamo questo tipo di worker per i processi ad alto consumo di memoria. -
Per il tipo di worker
G.2X, ciascun worker si mappa a 2 DPU (8 vCPU, 32 GB di memoria, disco da 128 GB) e fornisce 1 esecutore. Consigliamo questo tipo di worker per i processi ad alto consumo di memoria.
Problema noto: quando viene creato un endpoint di sviluppo con la configurazione
G.2XWorkerType, i driver Spark per l'endpoint di sviluppo verranno eseguiti su 4 vCPU, 16 GB di memoria e un disco da 64 GB. -
-
GlueVersion: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Custom string pattern #47.La versione Glue determina le versioni di Apache Spark e Python supportate da AWS Glue. La versione Python indica la versione supportata per l'esecuzione degli script ETL sugli endpoint di sviluppo.
Per ulteriori informazioni sulle versioni di AWS Glue disponibili e sulle versioni di Spark e Python corrispondenti, consulta la sezione relativa alla versione Glue nella guida per gli sviluppatori.
Endpoint di sviluppo creati senza specificare una versione Glue impostata in modo predefinito su Glue 0.9.
Puoi specificare una versione del supporto Python per gli endpoint di sviluppo utilizzando il parametro
Argumentsnelle APIUpdateDevEndpointoCreateDevEndpoint. Se non vengono forniti argomenti, per impostazione predefinita la versione è Python 2. -
NumberOfWorkers: numero (intero).Il numero di worker di un
workerTypedefinito allocati all'endpoint di sviluppo.Il numero massimo di worker che è possibile definire è 299
G.1Xe 149 perG.2X. -
NumberOfNodes: numero (intero).Il numero di unità di elaborazione dati (DPU) di AWS Glue allocato per questo
DevEndpoint. -
AvailabilityZone: stringa UTF-8.La zona di disponibilità AWS in cui si trova
DevEndpoint. -
VpcId: stringa UTF-8.L'ID del Virtual Private Cloud (VPC) utilizzato da questo
DevEndpoint. -
ExtraPythonLibsS3Path: stringa UTF-8.Percorsi a una o più librerie Python in un bucket Amazon S3 che devono essere caricati nel
DevEndpoint. I valori multipli devono essere percorsi completi separati da virgola.Nota
Con un
DevEndpointè possibile utilizzare solo librerie Python pure. Le librerie che si basano sulle estensioni C, come la libreria di analisi dati Python pandas, non sono ancora supportate. -
ExtraJarsS3Path: stringa UTF-8.Percorsi a uno o più file
.jarJava in un bucket S3 che devono essere caricati nelDevEndpoint.Nota
Con un
DevEndpointè possibile utilizzare solo librerie Java/Scala pure. -
FailureReason: stringa UTF-8.Il motivo di un errore corrente in questo
DevEndpoint. -
LastUpdateStatus: stringa UTF-8.Lo stato dell'ultimo aggiornamento.
-
CreatedTimestamp: timestamp.Il momento in cui è stato creato il DevEndpoint.
-
LastModifiedTimestamp: timestamp.Il momento dell'ultima modifica di questo
DevEndpoint. -
PublicKey: stringa UTF-8.La chiave pubblica che deve essere utilizzata da questo
DevEndpointper l'autenticazione. Questo attributo viene fornito per la compatibilità con le versioni precedenti, in quanto l'attributo consigliato da usare è quello delle chiavi pubbliche. -
PublicKeys: una matrice di stringhe UTF-8, non più di 5 stringhe.Elenco di chiavi pubbliche che devono essere utilizzate da
DevEndpointsper l'autenticazione. L'uso di questo attributo è preferibile rispetto a una singola chiave pubblica, perché le chiavi pubbliche permettono di avere una chiave privata diversa per ogni client.Nota
Se è già stato creato un endpoint con una chiave pubblica, è necessario rimuovere tale chiave per poter impostare un elenco di chiavi pubbliche. Chiama l'operazione API
UpdateDevEndpointcon il contenuto della chiave pubblica nell'attributodeletePublicKeyse l'elenco delle nuove chiavi nell'attributoaddPublicKeys. -
SecurityConfiguration: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.Nome della struttura
SecurityConfigurationda utilizzare con questoDevEndpoint. -
Arguments– Una matrice di mappe con coppie chiave-valore, non superiore alle 100 coppie.Ogni chiave è una stringa UTF-8.
Ogni valore è una stringa UTF-8.
Mappa di argomenti usati per configurare
DevEndpoint.Gli argomenti validi sono:
-
"--enable-glue-datacatalog": ""
Puoi specificare una versione del supporto Python per gli endpoint di sviluppo utilizzando il parametro
Argumentsnelle APIUpdateDevEndpointoCreateDevEndpoint. Se non vengono forniti argomenti, per impostazione predefinita la versione è Python 2. -
Struttura DevEndpointCustomLibraries
Librerie personalizzate da caricare in un endpoint di sviluppo.
Campi
-
ExtraPythonLibsS3Path: stringa UTF-8.I percorsi a una o più librerie Python in un bucket Amazon Simple Storage Service (Amazon S3) che devono essere caricati nel
DevEndpoint. I valori multipli devono essere percorsi completi separati da virgola.Nota
Con un
DevEndpointè possibile utilizzare solo librerie Python pure. Le librerie che si basano sulle estensioni C, come la libreria di analisi dati Python pandas, non sono ancora supportate. -
ExtraJarsS3Path: stringa UTF-8.Percorsi a uno o più file
.jarJava in un bucket S3 che devono essere caricati nelDevEndpoint.Nota
Con un
DevEndpointè possibile utilizzare solo librerie Java/Scala pure.
Operazioni
Operazione CreateDevEndpoint (Python: create_dev_endpoint)
Crea un nuovo endpoint di sviluppo.
Richiesta
-
EndpointName. Obbligatorio: stringa UTF-8.Il nome da assegnare al nuovo
DevEndpoint. -
RoleArn: obbligatorio: stringa UTF-8, corrispondente a AWS IAM ARN string pattern.Il ruolo IAM per il
DevEndpoint. -
SecurityGroupIds: una matrice di stringhe UTF-8.Gli ID del gruppo di sicurezza per i gruppi di sicurezza che devono essere utilizzati dal nuovo
DevEndpoint. -
SubnetId: stringa UTF-8.La sottorete ID per il nuovo
DevEndpointda utilizzare. -
PublicKey: stringa UTF-8.La chiave pubblica che deve essere utilizzata da questo
DevEndpointper l'autenticazione. Questo attributo viene fornito per la compatibilità con le versioni precedenti, in quanto l'attributo consigliato da usare è quello delle chiavi pubbliche. -
PublicKeys: una matrice di stringhe UTF-8, non più di 5 stringhe.Elenco di chiavi pubbliche che devono essere usate dagli endpoint di sviluppo per l'autenticazione. L'uso di questo attributo è preferibile rispetto a una singola chiave pubblica, perché le chiavi pubbliche permettono di avere una chiave privata diversa per ogni client.
Nota
Se è già stato creato un endpoint con una chiave pubblica, è necessario rimuovere tale chiave per poter impostare un elenco di chiavi pubbliche. Chiama l'API
UpdateDevEndpointcon il contenuto della chiave pubblica nell'attributodeletePublicKeyse l'elenco delle nuove chiavi nell'attributoaddPublicKeys. -
NumberOfNodes: numero (intero).Il numero di unità di elaborazione dati (DPU) di AWS Glue da allocare per questo
DevEndpoint. -
WorkerType: stringa UTF-8 (valori validi:Standard=""|G.1X=""|G.2X=""|G.025X=""|G.4X=""|G.8X=""|Z.2X="").Il tipo di worker predefinito allocato all'endpoint di sviluppo. Accetta un valore Standard, G.1X o G.2X.
-
Per il tipo di worker
Standard, ciascun worker fornisce 4 vCPU, 16 GB di memoria, disco da 50 GB e 2 esecutori. -
Per il tipo di worker
G.1X, ciascun worker si mappa a 1 DPU (4 vCPU, 16 GB di memoria, disco da 64 GB) e fornisce 1 esecutore. Consigliamo questo tipo di worker per i processi ad alto consumo di memoria. -
Per il tipo di worker
G.2X, ciascun worker si mappa a 2 DPU (8 vCPU, 32 GB di memoria, disco da 128 GB) e fornisce 1 esecutore. Consigliamo questo tipo di worker per i processi ad alto consumo di memoria.
Problema noto: quando viene creato un endpoint di sviluppo con la configurazione
G.2XWorkerType, i driver Spark per l'endpoint di sviluppo verranno eseguiti su 4 vCPU, 16 GB di memoria e un disco da 64 GB. -
-
GlueVersion: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Custom string pattern #47.La versione Glue determina le versioni di Apache Spark e Python supportate da AWS Glue. La versione Python indica la versione supportata per l'esecuzione degli script ETL sugli endpoint di sviluppo.
Per ulteriori informazioni sulle versioni di AWS Glue disponibili e sulle versioni di Spark e Python corrispondenti, consulta la sezione relativa alla versione Glue nella guida per gli sviluppatori.
Endpoint di sviluppo creati senza specificare una versione Glue impostata in modo predefinito su Glue 0.9.
Puoi specificare una versione del supporto Python per gli endpoint di sviluppo utilizzando il parametro
Argumentsnelle APIUpdateDevEndpointoCreateDevEndpoint. Se non vengono forniti argomenti, per impostazione predefinita la versione è Python 2. -
NumberOfWorkers: numero (intero).Il numero di worker di un
workerTypedefinito allocati all'endpoint di sviluppo.Il numero massimo di worker che è possibile definire è 299
G.1Xe 149 perG.2X. -
ExtraPythonLibsS3Path: stringa UTF-8.Percorsi a una o più librerie Python in un bucket Amazon S3 che devono essere caricati nel
DevEndpoint. I valori multipli devono essere percorsi completi separati da virgola.Nota
Con un
DevEndpointè possibile utilizzare solo librerie Python pure. Le librerie che si basano sulle estensioni C, come la libreria di analisi dati Python pandas, non sono ancora supportate. -
ExtraJarsS3Path: stringa UTF-8.Percorsi a uno o più file
.jarJava in un bucket S3 che devono essere caricati nelDevEndpoint. -
SecurityConfiguration: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.Nome della struttura
SecurityConfigurationda utilizzare con questoDevEndpoint. -
Tags– Una matrice di mappe con coppie chiave-valore, non superiore alle 50 coppie.Ogni chiave è una stringa UTF-8, non inferiore a 1 o superiore a 128 byte di lunghezza.
Ogni valore è una stringa UTF-8, lunga non più di 256 byte.
I tag da usare con questo DevEndpoint. Puoi usare i tag per limitare l'accesso al DevEndpoint. Per ulteriori informazioni sui tag in AWS Glue, consulta Tag AWS in AWS Glue nella guida per gli sviluppatori.
-
Arguments– Una matrice di mappe con coppie chiave-valore, non superiore alle 100 coppie.Ogni chiave è una stringa UTF-8.
Ogni valore è una stringa UTF-8.
Mappa di argomenti usati per configurare
DevEndpoint.
Risposta
-
EndpointName: stringa UTF-8.Il nome assegnato al nuovo
DevEndpoint. -
Status: stringa UTF-8.Lo stato corrente del nuovo
DevEndpoint. -
SecurityGroupIds: una matrice di stringhe UTF-8.I gruppi di sicurezza assegnati al nuovo
DevEndpoint. -
SubnetId: stringa UTF-8.L'ID di sottorete assegnato al nuovo
DevEndpoint. -
RoleArn: stringa UTF-8, corrispondente a AWS IAM ARN string pattern.L'Amazon Resource Name (ARN) del ruolo assegnato al nuovo
DevEndpoint. -
YarnEndpointAddress: stringa UTF-8.L'indirizzo dell'endpoint YARN utilizzato da questo
DevEndpoint. -
ZeppelinRemoteSparkInterpreterPort: numero (intero).La porta Apache Zeppelin per l'interprete Apache Spark remoto.
-
NumberOfNodes: numero (intero).Il numero di unità di elaborazione dati (DPU) di AWS Glue allocato per questo DevEndpoint.
-
WorkerType: stringa UTF-8 (valori validi:Standard=""|G.1X=""|G.2X=""|G.025X=""|G.4X=""|G.8X=""|Z.2X="").Il tipo di worker predefinito allocato all'endpoint di sviluppo. Può essere un valore Standard, G.1X o G.2X.
-
GlueVersion: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Custom string pattern #47.La versione Glue determina le versioni di Apache Spark e Python supportate da AWS Glue. La versione Python indica la versione supportata per l'esecuzione degli script ETL sugli endpoint di sviluppo.
Per ulteriori informazioni sulle versioni di AWS Glue disponibili e sulle versioni di Spark e Python corrispondenti, consulta la sezione relativa alla versione Glue nella guida per gli sviluppatori.
-
NumberOfWorkers: numero (intero).Il numero di worker di un
workerTypedefinito allocati all'endpoint di sviluppo. -
AvailabilityZone: stringa UTF-8.La zona di disponibilità AWS in cui si trova
DevEndpoint. -
VpcId: stringa UTF-8.L'ID del Virtual Private Cloud (VPC) utilizzato da questo
DevEndpoint. -
ExtraPythonLibsS3Path: stringa UTF-8.Percorsi a una o più librerie Python in un bucket S3 che verranno caricati nel
DevEndpoint. -
ExtraJarsS3Path: stringa UTF-8.Percorsi a uno o più file
.jarJava in un bucket S3 che devono essere caricati nelDevEndpoint. -
FailureReason: stringa UTF-8.Il motivo di un errore corrente in questo
DevEndpoint. -
SecurityConfiguration: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.Nome della struttura
SecurityConfigurationda utilizzare con questoDevEndpoint. -
CreatedTimestamp: timestamp.Il momento in cui questo
DevEndpointè stato creato. -
Arguments– Una matrice di mappe con coppie chiave-valore, non superiore alle 100 coppie.Ogni chiave è una stringa UTF-8.
Ogni valore è una stringa UTF-8.
Mappa di argomenti usati per configurare questo
DevEndpoint.Gli argomenti validi sono:
-
"--enable-glue-datacatalog": ""
Puoi specificare una versione del supporto Python per gli endpoint di sviluppo utilizzando il parametro
Argumentsnelle APIUpdateDevEndpointoCreateDevEndpoint. Se non vengono forniti argomenti, per impostazione predefinita la versione è Python 2. -
Errori
AccessDeniedExceptionAlreadyExistsExceptionIdempotentParameterMismatchExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputExceptionValidationExceptionResourceNumberLimitExceededException
Operazione UpdateDevEndpoint (Python: update_dev_endpoint)
Aggiorna un endpoint di sviluppo specificato.
Richiesta
-
EndpointName. Obbligatorio: stringa UTF-8.Nome del
DevEndpointda aggiornare. -
PublicKey: stringa UTF-8.La chiave pubblica che deve essere utilizzata da
DevEndpoint. -
AddPublicKeys: una matrice di stringhe UTF-8, non più di 5 stringhe.L'elenco delle chiavi pubbliche che devono essere utilizzate da
DevEndpoint. -
DeletePublicKeys: una matrice di stringhe UTF-8, non più di 5 stringhe.Elenco di chiavi pubbliche da eliminare da
DevEndpoint. -
CustomLibraries: un oggetto DevEndpointCustomLibraries.Librerie Python o Java personalizzate da caricare nel
DevEndpoint. -
UpdateEtlLibraries: booleano.Truese l'elenco di librerie personalizzate da caricare nell'endpoint di sviluppo deve essere aggiornato, in caso contrarioFalse. -
DeleteArguments: una matrice di stringhe UTF-8.L'elenco delle chiavi di argomento da eliminare dalla mappa di argomenti utilizzati per configurare il
DevEndpoint. -
AddArguments– Una matrice di mappe con coppie chiave-valore, non superiore alle 100 coppie.Ogni chiave è una stringa UTF-8.
Ogni valore è una stringa UTF-8.
La mappa di argomenti da aggiungere alla mappa di argomenti utilizzati per configurare il
DevEndpoint.Gli argomenti validi sono:
-
"--enable-glue-datacatalog": ""
Puoi specificare una versione del supporto Python per gli endpoint di sviluppo utilizzando il parametro
Argumentsnelle APIUpdateDevEndpointoCreateDevEndpoint. Se non vengono forniti argomenti, per impostazione predefinita la versione è Python 2. -
Risposta
Nessun parametro di risposta.
Errori
EntityNotFoundExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputExceptionValidationException
Operazione DeleteDevEndpoint (Python: delete_dev_endpoint)
Elimina un endpoint di sviluppo specificato.
Richiesta
-
EndpointName. Obbligatorio: stringa UTF-8.Nome della
DevEndpoint.
Risposta
Nessun parametro di risposta.
Errori
EntityNotFoundExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputException
Operazione GetDevEndpoint (Python: get_dev_endpoint)
Recupera informazioni su un endpoint di sviluppo specificato.
Nota
Quando viene creato un endpoint di sviluppo in un virtual private cloud (VPC), AWS Glue restituisce solo un indirizzo IP privato e il campo dell'indirizzo IP pubblico non è popolato. Quando crei un endpoint non di sviluppo non VPC, AWS Glue restituisce solo un indirizzo IP pubblico.
Richiesta
-
EndpointName. Obbligatorio: stringa UTF-8.Nome del
DevEndpointper cui recuperare le informazioni.
Risposta
-
DevEndpoint: un oggetto DevEndpoint.Una definizione del
DevEndpoint.
Errori
EntityNotFoundExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputException
Operazione GetDevEndpoints (Python: get_dev_endpoints)
Recupera tutti gli endpoint di sviluppo in questo account AWS.
Nota
Quando viene creato un endpoint di sviluppo in un virtual private cloud (VPC), AWS Glue restituisce solo un indirizzo IP pubblico e il campo dell'indirizzo IP pubblico non è popolato. Quando crei un endpoint non di sviluppo non VPC, AWS Glue restituisce solo un indirizzo IP pubblico.
Richiesta
-
MaxResults: numero (intero), non inferiore a 1 o superiore a 1000.La dimensione massima di informazioni da restituire.
-
NextToken: stringa UTF-8.Un token di continuazione, se si tratta di una chiamata di continuazione.
Risposta
-
DevEndpoints: una matrice di oggetti DevEndpoint.Un elenco di definizioni di
DevEndpoint. -
NextToken: stringa UTF-8.Un token di continuazione, se non sono ancora state restituite tutte le definizioni di
DevEndpoint.
Errori
EntityNotFoundExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputException
Operazione BatchGetDevEndpoints (Python: batch_get_dev_endpoints)
Restituisce un elenco di metadati di risorse per un elenco di nomi di endpoint di sviluppo. Dopo aver chiamato l'operazione ListDevEndpoints, puoi chiamare questa operazione per accedere ai dati a cui sono state concesse le autorizzazioni. Questa operazione supporta tutte le autorizzazioni IAM, tra cui le condizioni di autorizzazione che utilizzano i tag.
Richiesta
-
customerAccountId: stringa UTF-8.ID dell'account AWS.
-
DevEndpointNames. Obbligatorio: una serie di stringhe UTF-8, non inferiore a 1 o superiore a 25 stringhe.L'elenco dei nomi di
DevEndpointche potrebbero essere i nomi restituiti dall'operazioneListDevEndpoint.
Risposta
-
DevEndpoints: una matrice di oggetti DevEndpoint.Un elenco di definizioni di
DevEndpoint. -
DevEndpointsNotFound– Una serie di stringhe UTF-8, non inferiore a 1 o superiore a 25 stringhe.Un elenco di
DevEndpointsnon trovati.
Errori
AccessDeniedExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputException
Operazione ListDevEndpoints (Python: list_dev_endpoints)
Recupera i nomi di tutte le risorse DevEndpoint in questo account AWS oppure le risorse con il tag specificato. Questa operazione consente di vedere quali risorse sono disponibili nel proprio account e i relativi nomi.
L'operazione accetta il campo facoltativo Tags che si può utilizzare come filtro per la risposta in modo che le risorse con tag possano essere recuperate come gruppo. Se si sceglie di utilizzare il filtro dei tag, potranno essere recuperate solo le risorse con tag.
Richiesta
-
NextToken: stringa UTF-8.Token di continuazione, se si tratta di una richiesta di continuazione.
-
MaxResults: numero (intero), non inferiore a 1 o superiore a 1000.La dimensione massima di un elenco da restituire.
-
Tags– Una matrice di mappe con coppie chiave-valore, non superiore alle 50 coppie.Ogni chiave è una stringa UTF-8, non inferiore a 1 o superiore a 128 byte di lunghezza.
Ogni valore è una stringa UTF-8, lunga non più di 256 byte.
Specifica che vengono restituite solo le risorse con tag.
Risposta
-
DevEndpointNames: una matrice di stringhe UTF-8.I nomi di tutti i
DevEndpointnell'account oppure iDevEndpointcon i tag specificati. -
NextToken: stringa UTF-8.Token di continuazione, se l'elenco restituito non contiene l'ultimo parametro disponibile.
Errori
InvalidInputExceptionEntityNotFoundExceptionInternalServiceExceptionOperationTimeoutException