# AWS Glue Ejemplos de usando AWS CLI
En los siguientes ejemplos de código se muestra cómo realizar acciones e implementar escenarios comunes usando AWS Command Line Interface con AWS Glue.
Las *acciones* son extractos de código de programas más grandes y deben ejecutarse en contexto. Mientras las acciones muestran cómo llamar a las distintas funciones de servicio, es posible ver las acciones en contexto en los escenarios relacionados.
En cada ejemplo se incluye un enlace al código de origen completo, con instrucciones de configuración y ejecución del código en el contexto.
**Topics**
+ [Acciones](#actions)
## Acciones
### `batch-stop-job-run`
En el siguiente ejemplo de código, se muestra cómo utilizar `batch-stop-job-run`.
**AWS CLI**
**Para detener las ejecuciones de trabajos**
En el siguiente ejemplo de `batch-stop-job-run`, se detienen las ejecuciones de un trabajo.
```
aws glue batch-stop-job-run \
--job-name "my-testing-job" \
--job-run-id jr_852f1de1f29fb62e0ba4166c33970803935d87f14f96cfdee5089d5274a61d3f
```
Salida:
```
{
"SuccessfulSubmissions": [
{
"JobName": "my-testing-job",
"JobRunId": "jr_852f1de1f29fb62e0ba4166c33970803935d87f14f96cfdee5089d5274a61d3f"
}
],
"Errors": [],
"ResponseMetadata": {
"RequestId": "66bd6b90-01db-44ab-95b9-6aeff0e73d88",
"HTTPStatusCode": 200,
"HTTPHeaders": {
"date": "Fri, 16 Oct 2020 20:54:51 GMT",
"content-type": "application/x-amz-json-1.1",
"content-length": "148",
"connection": "keep-alive",
"x-amzn-requestid": "66bd6b90-01db-44ab-95b9-6aeff0e73d88"
},
"RetryAttempts": 0
}
}
```
Para obtener más información, consulte [Ejecuciones de trabajo](https://docs.aws.amazon.com/glue/latest/dg/aws-glue-api-jobs-runs.html) en la *Guía para desarrolladores de AWS Glue*.
+ Para obtener más información sobre la API, consulte [BatchStopJobRun](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/glue/batch-stop-job-run.html) en la *Referencia de comandos de la AWS CLI*.
### `create-connection`
En el siguiente ejemplo de código, se muestra cómo utilizar `create-connection`.
**AWS CLI**
**Para crear una conexión para los almacenes de datos de AWS Glue**
En el siguiente ejemplo de `create-connection`, se crea una conexión en el catálogo de datos de AWS Glue que proporciona información de conexión para un almacén de datos de Kafka.
```
aws glue create-connection \
--connection-input '{ \
"Name":"conn-kafka-custom", \
"Description":"kafka connection with ssl to custom kafka", \
"ConnectionType":"KAFKA", \
"ConnectionProperties":{ \
"KAFKA_BOOTSTRAP_SERVERS":":", \
"KAFKA_SSL_ENABLED":"true", \
"KAFKA_CUSTOM_CERT": "s3://bucket/prefix/cert-file.pem" \
}, \
"PhysicalConnectionRequirements":{ \
"SubnetId":"subnet-1234", \
"SecurityGroupIdList":["sg-1234"], \
"AvailabilityZone":"us-east-1a"} \
}' \
--region us-east-1
--endpoint https://glue.us-east-1.amazonaws.com
```
Este comando no genera ninguna salida.
Para obtener más información, consulte [Defining Connections in the AWS Glue Data Catalog](https://docs.aws.amazon.com/glue/latest/dg/populate-add-connection.html) en la *Guía del desarrollador de AWS Glue*.
+ Para obtener más información sobre la API, consulte [CreateConnection](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/glue/create-connection.html) en la *Referencia de comandos de la AWS CLI*.
### `create-database`
En el siguiente ejemplo de código, se muestra cómo utilizar `create-database`.
**AWS CLI**
**Para crear una base de datos**
En el siguiente ejemplo de `create-database`, se crea una base de datos en el catálogo de datos de AWS Glue.
```
aws glue create-database \
--database-input "{\"Name\":\"tempdb\"}" \
--profile my_profile \
--endpoint https://glue.us-east-1.amazonaws.com
```
Este comando no genera ninguna salida.
Para obtener más información, consulte [Definición de una base de datos en su Catálogo de datos](https://docs.aws.amazon.com/glue/latest/dg/define-database.html) en la *Guía para desarrolladores de AWS Glue*.
+ Para obtener información sobre la API, consulte [CreateDatabase](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/glue/create-database.html) en la *Referencia de comandos de la AWS CLI*.
### `create-job`
En el siguiente ejemplo de código, se muestra cómo utilizar `create-job`.
**AWS CLI**
**Creación de un trabajo a fin de transformar datos**
El siguiente ejemplo de `create-job` crea un trabajo de streaming que ejecuta un script almacenado en S3.
```
aws glue create-job \
--name my-testing-job \
--role AWSGlueServiceRoleDefault \
--command '{ \
"Name": "gluestreaming", \
"ScriptLocation": "s3://amzn-s3-demo-bucket/folder/" \
}' \
--region us-east-1 \
--output json \
--default-arguments '{ \
"--job-language":"scala", \
"--class":"GlueApp" \
}' \
--profile my-profile \
--endpoint https://glue.us-east-1.amazonaws.com
```
Contenido de `test_script.scala`:
```
import com.amazonaws.services.glue.ChoiceOption
import com.amazonaws.services.glue.GlueContext
import com.amazonaws.services.glue.MappingSpec
import com.amazonaws.services.glue.ResolveSpec
import com.amazonaws.services.glue.errors.CallSite
import com.amazonaws.services.glue.util.GlueArgParser
import com.amazonaws.services.glue.util.Job
import com.amazonaws.services.glue.util.JsonOptions
import org.apache.spark.SparkContext
import scala.collection.JavaConverters._
object GlueApp {
def main(sysArgs: Array[String]) {
val spark: SparkContext = new SparkContext()
val glueContext: GlueContext = new GlueContext(spark)
// @params: [JOB_NAME]
val args = GlueArgParser.getResolvedOptions(sysArgs, Seq("JOB_NAME").toArray)
Job.init(args("JOB_NAME"), glueContext, args.asJava)
// @type: DataSource
// @args: [database = "tempdb", table_name = "s3-source", transformation_ctx = "datasource0"]
// @return: datasource0
// @inputs: []
val datasource0 = glueContext.getCatalogSource(database = "tempdb", tableName = "s3-source", redshiftTmpDir = "", transformationContext = "datasource0").getDynamicFrame()
// @type: ApplyMapping
// @args: [mapping = [("sensorid", "int", "sensorid", "int"), ("currenttemperature", "int", "currenttemperature", "int"), ("status", "string", "status", "string")], transformation_ctx = "applymapping1"]
// @return: applymapping1
// @inputs: [frame = datasource0]
val applymapping1 = datasource0.applyMapping(mappings = Seq(("sensorid", "int", "sensorid", "int"), ("currenttemperature", "int", "currenttemperature", "int"), ("status", "string", "status", "string")), caseSensitive = false, transformationContext = "applymapping1")
// @type: SelectFields
// @args: [paths = ["sensorid", "currenttemperature", "status"], transformation_ctx = "selectfields2"]
// @return: selectfields2
// @inputs: [frame = applymapping1]
val selectfields2 = applymapping1.selectFields(paths = Seq("sensorid", "currenttemperature", "status"), transformationContext = "selectfields2")
// @type: ResolveChoice
// @args: [choice = "MATCH_CATALOG", database = "tempdb", table_name = "my-s3-sink", transformation_ctx = "resolvechoice3"]
// @return: resolvechoice3
// @inputs: [frame = selectfields2]
val resolvechoice3 = selectfields2.resolveChoice(choiceOption = Some(ChoiceOption("MATCH_CATALOG")), database = Some("tempdb"), tableName = Some("my-s3-sink"), transformationContext = "resolvechoice3")
// @type: DataSink
// @args: [database = "tempdb", table_name = "my-s3-sink", transformation_ctx = "datasink4"]
// @return: datasink4
// @inputs: [frame = resolvechoice3]
val datasink4 = glueContext.getCatalogSink(database = "tempdb", tableName = "my-s3-sink", redshiftTmpDir = "", transformationContext = "datasink4").writeDynamicFrame(resolvechoice3)
Job.commit()
}
}
```
Salida:
```
{
"Name": "my-testing-job"
}
```
Para obtener más información, consulte [Creación de trabajos en AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/author-job.html) en la *Guía para desarrolladores de AWS Glue*.
+ Para obtener más información sobre la API, consulte [CreateJob](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/glue/create-job.html) en la *Referencia de comandos de la AWS CLI*.
### `create-table`
En el siguiente ejemplo de código, se muestra cómo utilizar `create-table`.
**AWS CLI**
**Ejemplo 1: creación de una tabla para un flujo de datos de Kinesis**
En el siguiente ejemplo de `create-table`, se crea una tabla en el catálogo de datos de AWS Glue que describe un flujo de datos de Kinesis.
```
aws glue create-table \
--database-name tempdb \
--table-input '{"Name":"test-kinesis-input", "StorageDescriptor":{ \
"Columns":[ \
{"Name":"sensorid", "Type":"int"}, \
{"Name":"currenttemperature", "Type":"int"}, \
{"Name":"status", "Type":"string"}
], \
"Location":"my-testing-stream", \
"Parameters":{ \
"typeOfData":"kinesis","streamName":"my-testing-stream", \
"kinesisUrl":"https://kinesis.us-east-1.amazonaws.com" \
}, \
"SerdeInfo":{ \
"SerializationLibrary":"org.openx.data.jsonserde.JsonSerDe"} \
}, \
"Parameters":{ \
"classification":"json"} \
}' \
--profile my-profile \
--endpoint https://glue.us-east-1.amazonaws.com
```
Este comando no genera ninguna salida.
Para obtener más información, consulte [Definición de tablas en el Catálogo de datos de AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/tables-described.html) en la *Guía para desarrolladores de AWS Glue*.
**Ejemplo 2: creación de una tabla para un almacén de datos de Kafka**
En el siguiente ejemplo de `create-table`, se crea una tabla en el catálogo de datos de AWS Glue que describe un almacén de datos de Kafka.
```
aws glue create-table \
--database-name tempdb \
--table-input '{"Name":"test-kafka-input", "StorageDescriptor":{ \
"Columns":[ \
{"Name":"sensorid", "Type":"int"}, \
{"Name":"currenttemperature", "Type":"int"}, \
{"Name":"status", "Type":"string"}
], \
"Location":"glue-topic", \
"Parameters":{ \
"typeOfData":"kafka","topicName":"glue-topic", \
"connectionName":"my-kafka-connection"
}, \
"SerdeInfo":{ \
"SerializationLibrary":"org.apache.hadoop.hive.serde2.OpenCSVSerde"} \
}, \
"Parameters":{ \
"separatorChar":","} \
}' \
--profile my-profile \
--endpoint https://glue.us-east-1.amazonaws.com
```
Este comando no genera ninguna salida.
Para obtener más información, consulte [Definición de tablas en el Catálogo de datos de AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/tables-described.html) en la *Guía para desarrolladores de AWS Glue*.
**Ejemplo 3: creación de una tabla para un almacén de datos de AWS S3**
En el siguiente ejemplo de `create-table`, se crea una tabla en el catálogo de datos de AWS Glue que describe un almacén de datos de AWS Simple Storage Service (AWS S3).
```
aws glue create-table \
--database-name tempdb \
--table-input '{"Name":"s3-output", "StorageDescriptor":{ \
"Columns":[ \
{"Name":"s1", "Type":"string"}, \
{"Name":"s2", "Type":"int"}, \
{"Name":"s3", "Type":"string"}
], \
"Location":"s3://bucket-path/", \
"SerdeInfo":{ \
"SerializationLibrary":"org.openx.data.jsonserde.JsonSerDe"} \
}, \
"Parameters":{ \
"classification":"json"} \
}' \
--profile my-profile \
--endpoint https://glue.us-east-1.amazonaws.com
```
Este comando no genera ninguna salida.
Para obtener más información, consulte [Definición de tablas en el Catálogo de datos de AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/tables-described.html) en la *Guía para desarrolladores de AWS Glue*.
+ Para obtener información sobre la API, consulte [CreateTable](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/glue/create-table.html) en la *Referencia de comandos de la AWS CLI*.
### `delete-job`
En el siguiente ejemplo de código, se muestra cómo utilizar `delete-job`.
**AWS CLI**
**Eliminación de un trabajo**
En el siguiente ejemplo de `delete-job`, se elimina un trabajo que ya no necesite.
```
aws glue delete-job \
--job-name my-testing-job
```
Salida:
```
{
"JobName": "my-testing-job"
}
```
Para obtener más información, consulte [Uso de trabajos en la consola de AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/console-jobs.html) en la *Guía para desarrolladores de AWS Glue*.
+ Para obtener más información sobre la API, consulte [DeleteJob](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/glue/delete-job.html) en la *Referencia de comandos de la AWS CLI*.
### `get-databases`
En el siguiente ejemplo de código, se muestra cómo utilizar `get-databases`.
**AWS CLI**
**Enumeración de las definiciones de algunas o todas las bases de datos del Catálogo de datos de AWS Glue**
El siguiente ejemplo de `get-databases` devuelve información sobre las bases de datos del Catálogo de datos.
```
aws glue get-databases
```
Salida:
```
{
"DatabaseList": [
{
"Name": "default",
"Description": "Default Hive database",
"LocationUri": "file:/spark-warehouse",
"CreateTime": 1602084052.0,
"CreateTableDefaultPermissions": [
{
"Principal": {
"DataLakePrincipalIdentifier": "IAM_ALLOWED_PRINCIPALS"
},
"Permissions": [
"ALL"
]
}
],
"CatalogId": "111122223333"
},
{
"Name": "flights-db",
"CreateTime": 1587072847.0,
"CreateTableDefaultPermissions": [
{
"Principal": {
"DataLakePrincipalIdentifier": "IAM_ALLOWED_PRINCIPALS"
},
"Permissions": [
"ALL"
]
}
],
"CatalogId": "111122223333"
},
{
"Name": "legislators",
"CreateTime": 1601415625.0,
"CreateTableDefaultPermissions": [
{
"Principal": {
"DataLakePrincipalIdentifier": "IAM_ALLOWED_PRINCIPALS"
},
"Permissions": [
"ALL"
]
}
],
"CatalogId": "111122223333"
},
{
"Name": "tempdb",
"CreateTime": 1601498566.0,
"CreateTableDefaultPermissions": [
{
"Principal": {
"DataLakePrincipalIdentifier": "IAM_ALLOWED_PRINCIPALS"
},
"Permissions": [
"ALL"
]
}
],
"CatalogId": "111122223333"
}
]
}
```
Para obtener más información, consulte [Definición de una base de datos en su Catálogo de datos](https://docs.aws.amazon.com/glue/latest/dg/define-database.html) en la *Guía para desarrolladores de AWS Glue*.
+ Para obtener más información sobre la API, consulte [GetDatabases](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/glue/get-databases.html) en la *Referencia de comandos de la AWS CLI*.
### `get-job-run`
En el siguiente ejemplo de código, se muestra cómo utilizar `get-job-run`.
**AWS CLI**
**Obtención de información sobre una ejecución de trabajo**
El siguiente ejemplo de `get-job-run` recupera información sobre una ejecución de trabajo.
```
aws glue get-job-run \
--job-name "Combine legistators data" \
--run-id jr_012e176506505074d94d761755e5c62538ee1aad6f17d39f527e9140cf0c9a5e
```
Salida:
```
{
"JobRun": {
"Id": "jr_012e176506505074d94d761755e5c62538ee1aad6f17d39f527e9140cf0c9a5e",
"Attempt": 0,
"JobName": "Combine legistators data",
"StartedOn": 1602873931.255,
"LastModifiedOn": 1602874075.985,
"CompletedOn": 1602874075.985,
"JobRunState": "SUCCEEDED",
"Arguments": {
"--enable-continuous-cloudwatch-log": "true",
"--enable-metrics": "",
"--enable-spark-ui": "true",
"--job-bookmark-option": "job-bookmark-enable",
"--spark-event-logs-path": "s3://aws-glue-assets-111122223333-us-east-1/sparkHistoryLogs/"
},
"PredecessorRuns": [],
"AllocatedCapacity": 10,
"ExecutionTime": 117,
"Timeout": 2880,
"MaxCapacity": 10.0,
"WorkerType": "G.1X",
"NumberOfWorkers": 10,
"LogGroupName": "/aws-glue/jobs",
"GlueVersion": "2.0"
}
}
```
Para obtener más información, consulte [Ejecuciones de trabajo](https://docs.aws.amazon.com/glue/latest/dg/aws-glue-api-jobs-runs.html) en la *Guía para desarrolladores de AWS Glue*.
+ Para obtener más información sobre la API, consulte [GetJobRuns](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/glue/get-job-run.html) en la *Referencia de comandos de la AWS CLI*.
### `get-job-runs`
En el siguiente ejemplo de código, se muestra cómo utilizar `get-job-runs`.
**AWS CLI**
**Obtención de información sobre todas las ejecuciones de trabajo para un trabajo**
El siguiente ejemplo de `get-job-runs` recupera información acerca de las ejecuciones de flujo de trabajo para una tarea.
```
aws glue get-job-runs \
--job-name "my-testing-job"
```
Salida:
```
{
"JobRuns": [
{
"Id": "jr_012e176506505074d94d761755e5c62538ee1aad6f17d39f527e9140cf0c9a5e",
"Attempt": 0,
"JobName": "my-testing-job",
"StartedOn": 1602873931.255,
"LastModifiedOn": 1602874075.985,
"CompletedOn": 1602874075.985,
"JobRunState": "SUCCEEDED",
"Arguments": {
"--enable-continuous-cloudwatch-log": "true",
"--enable-metrics": "",
"--enable-spark-ui": "true",
"--job-bookmark-option": "job-bookmark-enable",
"--spark-event-logs-path": "s3://aws-glue-assets-111122223333-us-east-1/sparkHistoryLogs/"
},
"PredecessorRuns": [],
"AllocatedCapacity": 10,
"ExecutionTime": 117,
"Timeout": 2880,
"MaxCapacity": 10.0,
"WorkerType": "G.1X",
"NumberOfWorkers": 10,
"LogGroupName": "/aws-glue/jobs",
"GlueVersion": "2.0"
},
{
"Id": "jr_03cc19ddab11c4e244d3f735567de74ff93b0b3ef468a713ffe73e53d1aec08f_attempt_2",
"Attempt": 2,
"PreviousRunId": "jr_03cc19ddab11c4e244d3f735567de74ff93b0b3ef468a713ffe73e53d1aec08f_attempt_1",
"JobName": "my-testing-job",
"StartedOn": 1602811168.496,
"LastModifiedOn": 1602811282.39,
"CompletedOn": 1602811282.39,
"JobRunState": "FAILED",
"ErrorMessage": "An error occurred while calling o122.pyWriteDynamicFrame.
Access Denied (Service: Amazon S3; Status Code: 403; Error Code: AccessDenied;
Request ID: 021AAB703DB20A2D;
S3 Extended Request ID: teZk24Y09TkXzBvMPG502L5VJBhe9DJuWA9/TXtuGOqfByajkfL/Tlqt5JBGdEGpigAqzdMDM/U=)",
"PredecessorRuns": [],
"AllocatedCapacity": 10,
"ExecutionTime": 110,
"Timeout": 2880,
"MaxCapacity": 10.0,
"WorkerType": "G.1X",
"NumberOfWorkers": 10,
"LogGroupName": "/aws-glue/jobs",
"GlueVersion": "2.0"
},
{
"Id": "jr_03cc19ddab11c4e244d3f735567de74ff93b0b3ef468a713ffe73e53d1aec08f_attempt_1",
"Attempt": 1,
"PreviousRunId": "jr_03cc19ddab11c4e244d3f735567de74ff93b0b3ef468a713ffe73e53d1aec08f",
"JobName": "my-testing-job",
"StartedOn": 1602811020.518,
"LastModifiedOn": 1602811138.364,
"CompletedOn": 1602811138.364,
"JobRunState": "FAILED",
"ErrorMessage": "An error occurred while calling o122.pyWriteDynamicFrame.
Access Denied (Service: Amazon S3; Status Code: 403; Error Code: AccessDenied;
Request ID: 2671D37856AE7ABB;
S3 Extended Request ID: RLJCJw20brV+PpC6GpORahyF2fp9flB5SSb2bTGPnUSPVizLXRl1PN3QZldb+v1o9qRVktNYbW8=)",
"PredecessorRuns": [],
"AllocatedCapacity": 10,
"ExecutionTime": 113,
"Timeout": 2880,
"MaxCapacity": 10.0,
"WorkerType": "G.1X",
"NumberOfWorkers": 10,
"LogGroupName": "/aws-glue/jobs",
"GlueVersion": "2.0"
}
]
}
```
Para obtener más información, consulte [Ejecuciones de trabajo](https://docs.aws.amazon.com/glue/latest/dg/aws-glue-api-jobs-runs.html) en la *Guía para desarrolladores de AWS Glue*.
+ Para obtener detalles de la API, consulte [GetJobRuns](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/glue/get-job-runs.html) en la *Referencia de comandos de AWS CLI*.
### `get-job`
En el siguiente ejemplo de código, se muestra cómo utilizar `get-job`.
**AWS CLI**
**Recuperación de información sobre un trabajo**
El siguiente ejemplo de `get-job` recupera información sobre un trabajo.
```
aws glue get-job \
--job-name my-testing-job
```
Salida:
```
{
"Job": {
"Name": "my-testing-job",
"Role": "Glue_DefaultRole",
"CreatedOn": 1602805698.167,
"LastModifiedOn": 1602805698.167,
"ExecutionProperty": {
"MaxConcurrentRuns": 1
},
"Command": {
"Name": "gluestreaming",
"ScriptLocation": "s3://janetst-bucket-01/Scripts/test_script.scala",
"PythonVersion": "2"
},
"DefaultArguments": {
"--class": "GlueApp",
"--job-language": "scala"
},
"MaxRetries": 0,
"AllocatedCapacity": 10,
"MaxCapacity": 10.0,
"GlueVersion": "1.0"
}
}
```
Para obtener más información, consulte [Trabajos](https://docs.aws.amazon.com/glue/latest/dg/aws-glue-api-jobs-job.html) en la *Guía para desarrolladores de AWS Glue*.
+ Para obtener más información sobre la API, consulte [GetJob](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/glue/get-job.html) en la *Referencia de comandos de la AWS CLI*.
### `get-plan`
En el siguiente ejemplo de código, se muestra cómo utilizar `get-plan`.
**AWS CLI**
**Para obtener el código generado para asignar datos de las tablas de origen a las tablas de destino**
En el siguiente `get-plan`, se recupera el código generado para asignar columnas del origen de datos al destino de datos.
```
aws glue get-plan --mapping '[ \
{ \
"SourcePath":"sensorid", \
"SourceTable":"anything", \
"SourceType":"int", \
"TargetPath":"sensorid", \
"TargetTable":"anything", \
"TargetType":"int" \
}, \
{ \
"SourcePath":"currenttemperature", \
"SourceTable":"anything", \
"SourceType":"int", \
"TargetPath":"currenttemperature", \
"TargetTable":"anything", \
"TargetType":"int" \
}, \
{ \
"SourcePath":"status", \
"SourceTable":"anything", \
"SourceType":"string", \
"TargetPath":"status", \
"TargetTable":"anything", \
"TargetType":"string" \
}]' \
--source '{ \
"DatabaseName":"tempdb", \
"TableName":"s3-source" \
}' \
--sinks '[ \
{ \
"DatabaseName":"tempdb", \
"TableName":"my-s3-sink" \
}]'
--language "scala"
--endpoint https://glue.us-east-1.amazonaws.com
--output "text"
```
Salida:
```
import com.amazonaws.services.glue.ChoiceOption
import com.amazonaws.services.glue.GlueContext
import com.amazonaws.services.glue.MappingSpec
import com.amazonaws.services.glue.ResolveSpec
import com.amazonaws.services.glue.errors.CallSite
import com.amazonaws.services.glue.util.GlueArgParser
import com.amazonaws.services.glue.util.Job
import com.amazonaws.services.glue.util.JsonOptions
import org.apache.spark.SparkContext
import scala.collection.JavaConverters._
object GlueApp {
def main(sysArgs: Array[String]) {
val spark: SparkContext = new SparkContext()
val glueContext: GlueContext = new GlueContext(spark)
// @params: [JOB_NAME]
val args = GlueArgParser.getResolvedOptions(sysArgs, Seq("JOB_NAME").toArray)
Job.init(args("JOB_NAME"), glueContext, args.asJava)
// @type: DataSource
// @args: [database = "tempdb", table_name = "s3-source", transformation_ctx = "datasource0"]
// @return: datasource0
// @inputs: []
val datasource0 = glueContext.getCatalogSource(database = "tempdb", tableName = "s3-source", redshiftTmpDir = "", transformationContext = "datasource0").getDynamicFrame()
// @type: ApplyMapping
// @args: [mapping = [("sensorid", "int", "sensorid", "int"), ("currenttemperature", "int", "currenttemperature", "int"), ("status", "string", "status", "string")], transformation_ctx = "applymapping1"]
// @return: applymapping1
// @inputs: [frame = datasource0]
val applymapping1 = datasource0.applyMapping(mappings = Seq(("sensorid", "int", "sensorid", "int"), ("currenttemperature", "int", "currenttemperature", "int"), ("status", "string", "status", "string")), caseSensitive = false, transformationContext = "applymapping1")
// @type: SelectFields
// @args: [paths = ["sensorid", "currenttemperature", "status"], transformation_ctx = "selectfields2"]
// @return: selectfields2
// @inputs: [frame = applymapping1]
val selectfields2 = applymapping1.selectFields(paths = Seq("sensorid", "currenttemperature", "status"), transformationContext = "selectfields2")
// @type: ResolveChoice
// @args: [choice = "MATCH_CATALOG", database = "tempdb", table_name = "my-s3-sink", transformation_ctx = "resolvechoice3"]
// @return: resolvechoice3
// @inputs: [frame = selectfields2]
val resolvechoice3 = selectfields2.resolveChoice(choiceOption = Some(ChoiceOption("MATCH_CATALOG")), database = Some("tempdb"), tableName = Some("my-s3-sink"), transformationContext = "resolvechoice3")
// @type: DataSink
// @args: [database = "tempdb", table_name = "my-s3-sink", transformation_ctx = "datasink4"]
// @return: datasink4
// @inputs: [frame = resolvechoice3]
val datasink4 = glueContext.getCatalogSink(database = "tempdb", tableName = "my-s3-sink", redshiftTmpDir = "", transformationContext = "datasink4").writeDynamicFrame(resolvechoice3)
Job.commit()
}
}
```
Para obtener más información, consulte [Editing Scripts in AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/edit-script.html) en la *Guía para desarrolladores de AWS Glue*.
+ Para obtener información sobre la API, consulte [GetPlan](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/glue/get-plan.html) en la *Referencia de comandos de la AWS CLI*.
### `get-tables`
En el siguiente ejemplo de código, se muestra cómo utilizar `get-tables`.
**AWS CLI**
**Enumeración de las definiciones de algunas o todas las tablas de la base de datos especificada**
El siguiente ejemplo de `get-tables` devuelve información sobre las tablas de la base de datos especificada.
```
aws glue get-tables --database-name 'tempdb'
```
Salida:
```
{
"TableList": [
{
"Name": "my-s3-sink",
"DatabaseName": "tempdb",
"CreateTime": 1602730539.0,
"UpdateTime": 1602730539.0,
"Retention": 0,
"StorageDescriptor": {
"Columns": [
{
"Name": "sensorid",
"Type": "int"
},
{
"Name": "currenttemperature",
"Type": "int"
},
{
"Name": "status",
"Type": "string"
}
],
"Location": "s3://janetst-bucket-01/test-s3-output/",
"Compressed": false,
"NumberOfBuckets": 0,
"SerdeInfo": {
"SerializationLibrary": "org.openx.data.jsonserde.JsonSerDe"
},
"SortColumns": [],
"StoredAsSubDirectories": false
},
"Parameters": {
"classification": "json"
},
"CreatedBy": "arn:aws:iam::007436865787:user/JRSTERN",
"IsRegisteredWithLakeFormation": false,
"CatalogId": "007436865787"
},
{
"Name": "s3-source",
"DatabaseName": "tempdb",
"CreateTime": 1602730658.0,
"UpdateTime": 1602730658.0,
"Retention": 0,
"StorageDescriptor": {
"Columns": [
{
"Name": "sensorid",
"Type": "int"
},
{
"Name": "currenttemperature",
"Type": "int"
},
{
"Name": "status",
"Type": "string"
}
],
"Location": "s3://janetst-bucket-01/",
"Compressed": false,
"NumberOfBuckets": 0,
"SortColumns": [],
"StoredAsSubDirectories": false
},
"Parameters": {
"classification": "json"
},
"CreatedBy": "arn:aws:iam::007436865787:user/JRSTERN",
"IsRegisteredWithLakeFormation": false,
"CatalogId": "007436865787"
},
{
"Name": "test-kinesis-input",
"DatabaseName": "tempdb",
"CreateTime": 1601507001.0,
"UpdateTime": 1601507001.0,
"Retention": 0,
"StorageDescriptor": {
"Columns": [
{
"Name": "sensorid",
"Type": "int"
},
{
"Name": "currenttemperature",
"Type": "int"
},
{
"Name": "status",
"Type": "string"
}
],
"Location": "my-testing-stream",
"Compressed": false,
"NumberOfBuckets": 0,
"SerdeInfo": {
"SerializationLibrary": "org.openx.data.jsonserde.JsonSerDe"
},
"SortColumns": [],
"Parameters": {
"kinesisUrl": "https://kinesis.us-east-1.amazonaws.com",
"streamName": "my-testing-stream",
"typeOfData": "kinesis"
},
"StoredAsSubDirectories": false
},
"Parameters": {
"classification": "json"
},
"CreatedBy": "arn:aws:iam::007436865787:user/JRSTERN",
"IsRegisteredWithLakeFormation": false,
"CatalogId": "007436865787"
}
]
}
```
Para obtener más información, consulte [Definición de tablas en el Catálogo de datos de AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/tables-described.html) en la *Guía para desarrolladores de AWS Glue*.
+ Para obtener más información sobre la API, consulte [GetTables](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/glue/get-tables.html) en la *Referencia de comandos de laAWS CLI*.
### `start-crawler`
En el siguiente ejemplo de código, se muestra cómo utilizar `start-crawler`.
**AWS CLI**
**Inicio de un rastreador**
El siguiente ejemplo de `start-crawler` inicia un rastreador.
```
aws glue start-crawler --name my-crawler
```
Salida:
```
None
```
Para obtener más información, consulte [Definición de rastreadores](https://docs.aws.amazon.com/glue/latest/dg/add-crawler.html) en la *Guía para desarrolladores de AWS Glue*.
+ Para obtener más información sobre la API, consulte [StartCrawler](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/glue/start-crawler.html) en la *Referencia de comandos de la AWS CLI*.
### `start-job-run`
En el siguiente ejemplo de código, se muestra cómo utilizar `start-job-run`.
**AWS CLI**
**Inicio de la ejecución de un trabajo**
El siguiente ejemplo de `start-job-run` inicia un trabajo.
```
aws glue start-job-run \
--job-name my-job
```
Salida:
```
{
"JobRunId": "jr_22208b1f44eb5376a60569d4b21dd20fcb8621e1a366b4e7b2494af764b82ded"
}
```
Para obtener más información, consulte [Creación de trabajos](https://docs.aws.amazon.com/glue/latest/dg/author-job.html) en la *Guía para desarrolladores de AWS Glue*.
+ Para obtener información sobre la API, consulte [StartJobRun](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/glue/start-job-run.html) en la *Referencia de comandos de la AWS CLI*.