API de sesiones interactivas
La API de sesiones interactivas describe la API AWS Glue relacionada con el uso de sesiones interactivas AWS Glue para crear y probar scripts de extracción, transformación y carga (ETL) para la integración de datos.
Tipos de datos
Estructura de sesión
El período en el que se ejecuta un entorno en tiempo de ejecución de Spark remoto.
Campos
-
Id: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de la sesión.
-
CreatedOn: marca temporal.La fecha y hora en que se creó la sesión.
-
Status: cadena UTF-8 (valores válidos:PROVISIONING|READY|FAILED|TIMEOUT|STOPPING|STOPPED).El estado de la sesión.
-
ErrorMessage: cadena de descripción de un máximo de 2048 bytes de largo, que coincide con el URI address multi-line string pattern.El mensaje de error que se muestra durante la sesión.
-
Description: cadena de descripción de un máximo de 2048 bytes de largo, que coincide con el URI address multi-line string pattern.La descripción de la sesión.
-
Role: cadena UTF-8, con 20 bytes como mínimo o más de 2048 bytes de largo, que coincide con el Custom string pattern #26.El nombre o nombre de recurso de Amazon (ARN) del rol de IAM asociado a la sesión.
-
Command: un objeto SessionCommand.El objeto de comando. Consulte SessionCommand.
-
DefaultArguments: matriz de asignación de pares de clave-valor, con 75 pares como máximo.Cada clave es una cadena UTF-8 con 1 byte de largo como mínimo y 128 bytes de largo como máximo, que coincide con Custom string pattern #27.
Cada valor es una cadena UTF-8, con 4096 bytes de largo como máximo, que coincide con URI address multi-line string pattern.
Una matriz de mapas de pares clave-valor. El máximo es de 75 pares.
-
Connections: un objeto ConnectionsList.El número de conexiones utilizadas para la sesión.
-
Progress: número (doble).El progreso de la ejecución del código de la sesión.
-
MaxCapacity: número (doble).El número de unidades de procesamiento de datos (DPU) de AWS Glue que se pueden asignar cuando se ejecute el trabajo. Una DPU es una medida relativa de la potencia de procesamiento que consta de 4 vCPU de capacidad de computación y 16 GB de memoria.
-
SecurityConfiguration: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre de la estructura SecurityConfiguration que se va a utilizar con la sesión.
-
GlueVersion: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Custom string pattern #20.La versión de AWS Glue determina las versiones de Apache Spark y Python que admite AWS Glue. La GlueVersion debe ser superior a 2.0.
-
DataAccessId: cadena UTF-8, con 1 byte como mínimo o más de 36 bytes de largo.El ID de acceso a datos de la sesión.
-
PartitionId: cadena UTF-8, con 1 byte como mínimo o más de 36 bytes de largo.El ID de partición de la sesión.
-
NumberOfWorkers: número (entero).El número de trabajadores de una
WorkerTypedefinida para usar para la sesión. -
WorkerType: cadena UTF-8 (valores válidos:Standard=""|G.1X=""|G.2X=""|G.025X=""|G.4X=""|G.8X=""|Z.2X="").El tipo de trabajador predefinido que se asigna cuando se ejecuta una sesión. Acepta un valor de
G.1X,G.2X,G.4XoG.8Xpara las sesiones de Spark. Acepta el valorZ.2Xpara las sesiones de Ray. -
CompletedOn: marca temporal.La fecha y la hora en que se completó la ejecución de esta sesión.
-
ExecutionTime: número (doble).El tiempo total de duración de la sesión.
-
DPUSeconds: número (doble).Las DPU consumidas por la sesión (fórmula: ExecutionTime * MaxCapacity).
-
IdleTimeout: número (entero).Número de minutos sin actividad antes de que se agote el tiempo de espera de la sesión.
-
ProfileName: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre de un perfil de utilización de AWS Glue asociado a la sesión.
Estructura SessionCommand
El SessionCommand que ejecuta este trabajo.
Campos
-
Name: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.Especifica el nombre del SessionCommand. Puede ser “glueetl” o “gluestreaming”.
-
PythonVersion: cadena UTF-8 que coincide con el Custom string pattern #21.Especifica la versión de Python. La versión de Python indica la versión admitida para trabajos de tipo Spark.
Estructura de instrucción
La instrucción o solicitud de que se produzca una acción concreta en una sesión.
Campos
-
Id: número (entero).El ID de la instrucción.
-
Code: cadena UTF-8.El código de ejecución de la instrucción.
-
State: cadena UTF-8 (valores válidos:WAITING|RUNNING|AVAILABLE|CANCELLING|CANCELLED|ERROR).El estado mientras se ejecuta la solicitud.
-
Output: un objeto StatementOutput.El resultado en JSON.
-
Progress: número (doble).El progreso de ejecución del código.
-
StartedOn: número (largo).La fecha y hora unix en que se inició la definición del trabajo.
-
CompletedOn: número (largo).La fecha y hora unix en que se completó la definición del trabajo.
Estructura SchetumentOutput
El resultado de la ejecución de código en formato JSON.
Campos
-
Data: un objeto StatementOutputData.El resultado de la ejecución de código.
-
ExecutionCount: número (entero).El recuento de ejecución del resultado.
-
Status: cadena UTF-8 (valores válidos:WAITING|RUNNING|AVAILABLE|CANCELLING|CANCELLED|ERROR).El estado del resultado de ejecución de código.
-
ErrorName: cadena UTF-8.El nombre del error en el resultado.
-
ErrorValue: cadena UTF-8.El valor de error del resultado.
-
Traceback: matriz de cadenas UTF-8.El seguimiento del resultado.
Estructura StatementOutputData
El resultado de la ejecución de código en formato JSON.
Campos
-
TextPlain: cadena UTF-8.El resultado de la ejecución de código en formato de texto.
Estructura ConnectionsList
Especifica las conexiones que utiliza un flujo de trabajo.
Campos
-
Connections: matriz de cadenas UTF-8.Lista de conexiones que utiliza el flujo de trabajo.
Operaciones
Acción CreateSession (Python: create_session)
Crea una nueva sesión.
Solicitud
Solicitud para crear una nueva sesión.
-
Id: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de la solicitud de sesión.
-
Description: cadena de descripción de un máximo de 2048 bytes de largo, que coincide con el URI address multi-line string pattern.La descripción de la sesión.
-
Role: obligatorio: cadena UTF-8, con 20 bytes de largo o más de 2048 bytes de largo, que coincide con el Custom string pattern #26.El ARN del rol de IAM
-
Command: obligatorio: objeto SessionCommand.El
SessionCommandque pone en marcha el trabajo. -
Timeout: número (entero), como mínimo 1.Número de minutos que deben transcurrir para que se agote el tiempo de espera de la sesión. El valor predeterminado para los trabajos de ETL de Spark es de 48 horas (2880 minutos): la duración máxima de la sesión para este tipo de trabajo. Consulte la documentación para otros tipos de trabajo.
-
IdleTimeout: número (entero), como mínimo 1.Número de minutos sin actividad que deben transcurrir para que se agote el tiempo de espera de la sesión. El valor predeterminado para los trabajos de ETL de Spark es el valor de Tiempo de espera. Consulte la documentación para otros tipos de trabajo.
-
DefaultArguments: matriz de asignación de pares de clave-valor, con 75 pares como máximo.Cada clave es una cadena UTF-8 con 1 byte de largo como mínimo y 128 bytes de largo como máximo, que coincide con Custom string pattern #27.
Cada valor es una cadena UTF-8, con 4096 bytes de largo como máximo, que coincide con URI address multi-line string pattern.
Una matriz de mapas de pares clave-valor. El máximo es de 75 pares.
-
Connections: un objeto ConnectionsList.Número de conexiones que se van a utilizar para la sesión.
-
MaxCapacity: número (doble).El número de unidades de procesamiento de datos (DPU) de AWS Glue que se pueden asignar cuando se ejecute el trabajo. Una DPU es una medida relativa de la potencia de procesamiento que consta de 4 vCPU de capacidad de computación y 16 GB de memoria.
-
NumberOfWorkers: número (entero).El número de trabajadores de una
WorkerTypedefinida para usar para la sesión. -
WorkerType: cadena UTF-8 (valores válidos:Standard=""|G.1X=""|G.2X=""|G.025X=""|G.4X=""|G.8X=""|Z.2X="").El tipo de proceso de trabajo predefinido que se asigna cuando se ejecuta un trabajo. Acepta un valor de G.1X, G.2X, G.4X o G.8X para los trabajos de Spark. Acepta el valor Z.2X para los portátiles Ray.
-
Para el tipo de trabajador
G.1X, cada trabajador se asocia a 1 DPU (4 vCPU, 16 GB de memoria) con un disco de 84 GB (aproximadamente 34 GB libres) y proporciona 1 ejecutor por trabajador. Recomendamos este tipo de trabajador para cargas de trabajo como transformaciones de datos, uniones y consultas, ya que ofrece una forma escalable y rentable de ejecutar la mayoría de los trabajos. -
Para el tipo de trabajador
G.2X, cada trabajador se asocia a 2 DPU (8 vCPU, 32 GB de memoria) con un disco de 128 GB (aproximadamente 77 GB libres) y proporciona 1 ejecutor por trabajador. Recomendamos este tipo de trabajador para cargas de trabajo como transformaciones de datos, uniones y consultas, ya que ofrece una forma escalable y rentable de ejecutar la mayoría de los trabajos. -
Para el tipo de trabajador
G.4X, cada trabajador se asocia a 4 DPU (16 vCPU, 64 GB de memoria) con un disco de 256 GB (aproximadamente 235 GB libres) y proporciona 1 ejecutor por trabajador. Recomendamos este tipo de trabajador para los trabajos cuyas cargas de trabajo contengan las transformaciones, agregaciones, uniones y consultas más exigentes. Este tipo de trabajador solo está disponible para los trabajos de Spark ETL de la versión 3.0 de AWS Glue o posteriores en las siguientes regiones de AWS: Este de EE. UU. (Ohio), Este de EE. UU. (Norte de Virginia), Oeste de EE. UU. (Oregón), Asia Pacífico (Singapur), Asia Pacífico (Sídney), Asia Pacífico (Tokio), Canadá (centro), Europa (Fráncfort), Europa (Irlanda) y Europa (Estocolmo). -
Para el tipo de trabajador
G.8X, cada trabajador se asocia a 8 DPU (32 GB vCPU, 128 GB de memoria) con un disco de 512 GB (aproximadamente 487 GB libres) y proporciona 1 ejecutor por trabajador. Recomendamos este tipo de trabajador para los trabajos cuyas cargas de trabajo contengan las transformaciones, agregaciones, uniones y consultas más exigentes. Este tipo de trabajador solo está disponible para los trabajos ETL de Spark de la versión 3.0 de AWS Glue o posteriores, en las mismas regiones de AWS compatibles con el tipo de trabajadorG.4X. -
Para el tipo de trabajador
Z.2X, cada trabajador se asigna a 2 M-DPU (8 vCPU, 64 GB de memoria) con un disco de 128 GB (aproximadamente 120 GB libres) y proporciona hasta 8 trabajadores de Ray en función del escalador automático.
-
-
SecurityConfiguration: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre de la estructura SecurityConfiguration que se va a utilizar con la sesión
-
GlueVersion: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Custom string pattern #20.La versión de AWS Glue determina las versiones de Apache Spark y Python que admite AWS Glue. La GlueVersion debe ser superior a 2.0.
-
DataAccessId: cadena UTF-8, con 1 byte como mínimo o más de 36 bytes de largo.El ID de acceso a datos de la sesión.
-
PartitionId: cadena UTF-8, con 1 byte como mínimo o más de 36 bytes de largo.El ID de partición de la sesión.
-
Tags: matriz de mapas de pares de clave-valor, con 50 pares como máximo.Cada clave es una cadena UTF-8 con una longitud de entre 1 y 128 bytes.
Cada valor es una cadena UTF-8 que no tiene más de 256 bytes de largo.
El mapa de pares de valor de clave (etiquetas) pertenecientes a la sesión.
-
RequestOrigin: cadena UTF-8, con 1 byte de largo como mínimo y 128 bytes de largo como máximo, que coincide con el Custom string pattern #27.El origen de la solicitud.
-
ProfileName: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre de un perfil de utilización de AWS Glue asociado a la sesión.
Respuesta
-
Session: un objeto Sesión.Arroja el objeto de la sesión en la respuesta.
Errores
AccessDeniedExceptionIdempotentParameterMismatchExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputExceptionValidationExceptionAlreadyExistsExceptionResourceNumberLimitExceededException
Acción StopSession (Python: stop_session)
Detiene la sesión.
Solicitud
-
Id: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de la sesión que se va a detener.
-
RequestOrigin: cadena UTF-8, con 1 byte de largo como mínimo y 128 bytes de largo como máximo, que coincide con el Custom string pattern #27.El origen de la solicitud.
Respuesta
-
Id: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.Arroja el ID de la sesión detenida.
Errores
AccessDeniedExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputExceptionIllegalSessionStateExceptionConcurrentModificationException
Acción DeleteSession (Python: delete_session)
Elimina la sesión.
Solicitud
-
Id: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de la sesión que se va a eliminar.
-
RequestOrigin: cadena UTF-8, con 1 byte de largo como mínimo y 128 bytes de largo como máximo, que coincide con el Custom string pattern #27.El nombre del origen de la solicitud de eliminación de sesión.
Respuesta
-
Id: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.Arroja el ID de la sesión eliminada.
Errores
AccessDeniedExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputExceptionIllegalSessionStateExceptionConcurrentModificationException
Acción GetSession (Python: get_session)
Recupera la sesión.
Solicitud
-
Id: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.Token de continuación si todavía no se arrojaron todas las instrucciones.
-
RequestOrigin: cadena UTF-8, con 1 byte de largo como mínimo y 128 bytes de largo como máximo, que coincide con el Custom string pattern #27.El origen de la solicitud.
Respuesta
-
Session: un objeto Sesión.Se recupera el objeto de la sesión en la respuesta.
Errores
AccessDeniedExceptionEntityNotFoundExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputException
Acción ListSessions (Python: list_sessions)
Recupere una lista de sesiones.
Solicitud
-
NextToken: cadena UTF-8 de 400 000 bytes de largo como máximo.El token para el próximo conjunto de resultados o nulo si no hay más resultados.
-
MaxResults: número (entero) que no es inferior a 1 ni es superior a 1000.El número máximo de resultados.
-
Tags: matriz de mapas de pares de clave-valor, con 50 pares como máximo.Cada clave es una cadena UTF-8 con una longitud de entre 1 y 128 bytes.
Cada valor es una cadena UTF-8 que no tiene más de 256 bytes de largo.
Etiquetas pertenecientes a la sesión.
-
RequestOrigin: cadena UTF-8, con 1 byte de largo como mínimo y 128 bytes de largo como máximo, que coincide con el Custom string pattern #27.El origen de la solicitud.
Respuesta
-
Ids: matriz de cadenas UTF-8.Arroja el ID de la sesión.
-
Sessions: matriz de objetos Sesión.Arroja el objeto de la sesión.
-
NextToken: cadena UTF-8 de 400 000 bytes de largo como máximo.El token para el próximo conjunto de resultados o nulo si no hay más resultados.
Errores
AccessDeniedExceptionInvalidInputExceptionInternalServiceExceptionOperationTimeoutException
Acción RunStatement (Python: run_statement)
Pone en marcha la instrucción.
Solicitud
-
SessionId: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de sesión de la instrucción que se ejecutará.
-
Code: obligatorio: cadena UTF-8, de 68 000 bytes de largo como máximo.El código de instrucción que se pondrá en marcha.
-
RequestOrigin: cadena UTF-8, con 1 byte de largo como mínimo y 128 bytes de largo como máximo, que coincide con el Custom string pattern #27.El origen de la solicitud.
Respuesta
-
Id: número (entero).Arroja el ID de la instrucción que se puso en marcha.
Errores
EntityNotFoundExceptionAccessDeniedExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputExceptionValidationExceptionResourceNumberLimitExceededExceptionIllegalSessionStateException
Acción CancelStatement (Python: cancel_statement)
Cancela la instrucción.
Solicitud
-
SessionId: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de sesión de la instrucción que se va a cancelar.
-
Id– Obligatorio: número (entero).El ID de la instrucción que se va a cancelar.
-
RequestOrigin: cadena UTF-8, con 1 byte de largo como mínimo y 128 bytes de largo como máximo, que coincide con el Custom string pattern #27.El origen de la solicitud de cancelación de la instrucción.
Respuesta
Sin parámetros de respuesta.
Errores
AccessDeniedExceptionEntityNotFoundExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputExceptionIllegalSessionStateException
Acción GetStatement (Python: get_statement)
Recupera la instrucción.
Solicitud
-
SessionId: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de sesión de la instrucción.
-
Id– Obligatorio: número (entero).El ID de la instrucción.
-
RequestOrigin: cadena UTF-8, con 1 byte de largo como mínimo y 128 bytes de largo como máximo, que coincide con el Custom string pattern #27.El origen de la solicitud.
Respuesta
-
Statement: un objeto Instrucción.Arroja la instrucción.
Errores
AccessDeniedExceptionEntityNotFoundExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputExceptionIllegalSessionStateException
Acción ListStatements (Python: list_statement)
Muestra las instrucciones de la sesión.
Solicitud
-
SessionId: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de sesión de las instrucciones.
-
RequestOrigin: cadena UTF-8, con 1 byte de largo como mínimo y 128 bytes de largo como máximo, que coincide con el Custom string pattern #27.El origen de la solicitud de enumeración de instrucciones.
-
NextToken: cadena UTF-8 de 400 000 bytes de largo como máximo.Token de continuación si se trata de una llamada de continuidad.
Respuesta
-
Statements: matriz de objetos Instrucción.Arroja la lista de instrucciones.
-
NextToken: cadena UTF-8 de 400 000 bytes de largo como máximo.Token de continuación si todavía no se arrojaron todas las instrucciones.
Errores
AccessDeniedExceptionEntityNotFoundExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputExceptionIllegalSessionStateException
