Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Uso del formato ORC en AWS Glue

AWS Glue recupera datos de fuentes y escribe datos en destinos almacenados y transportados en varios formatos de datos. Si los datos se almacenan o se transportan en formato de datos ORC, este documento presenta las características disponibles para utilizar los datos en AWS Glue.

AWS Glue admite el uso del formato ORC. Este formato es un formato de datos basado en columnas y orientado al rendimiento. Para obtener una introducción al formato por parte de la autoridad de normalización, consulte Apache Orc.

Puede utilizar AWS Glue para leer archivos ORC de Amazon S3 y de orígenes de streaming, como también para escribir archivos ORC en Amazon S3. Puede leer y escribir archivos bzip y gzip que contengan archivos ORC de S3. Debe configurar el comportamiento de compresión en el Parámetros de conexión S3 en lugar de en la configuración que se describe en esta página.

En la siguiente tabla se muestran las operaciones comunes de AWS Glue que admiten la opción de formato ORC.

^*Compatible con AWS Glue versión 1.0 y posterior

Ejemplo: leer archivos o carpetas ORC de S3

Requisitos previos: necesitará las rutas de S3 (s3path) de las carpetas o los archivos ORC que desee leer.

Configuración: en las opciones de la función, especifique format="orc". En sus connection_options, utilice la clave paths para especificar su s3path. Puede configurar la forma en que el lector interactúa con S3 en la connection_options. Para obtener más información, consulte Tipos y opciones de conexión para ETL en AWS Glue: Referencia de opción de conexión de Amazon S3.

El siguiente script de ETL de AWS Glue muestra el proceso de lectura de archivos o carpetas ORC de S3:

Python

Para este ejemplo, use el método create_dynamic_frame.from_options.

from pyspark.context import SparkContext
from awsglue.context import GlueContext

sc = SparkContext.getOrCreate()
glueContext = GlueContext(sc)

dynamicFrame = glueContext.create_dynamic_frame.from_options(
    connection_type="s3",
    connection_options={"paths": ["s3://s3path"]},
    format="orc"
)

También puede usar DataFrames en un script (pyspark.sql.DataFrame).

dataFrame = spark.read\
    .orc("s3://s3path")

Scala

Para este ejemplo, use la operación getSourceWithFormat.

import com.amazonaws.services.glue.util.JsonOptions
import com.amazonaws.services.glue.GlueContext
import org.apache.spark.sql.SparkContext

object GlueApp {
  def main(sysArgs: Array[String]): Unit = {
    val spark: SparkContext = new SparkContext()
    val glueContext: GlueContext = new GlueContext(spark)

    val dynamicFrame = glueContext.getSourceWithFormat(
      connectionType="s3",
      format="orc",
      options=JsonOptions("""{"paths": ["s3://s3path"]}""")
    ).getDynamicFrame()
  }
}

También puede usar DataFrames en un script (pyspark.sql.DataFrame).

val dataFrame = spark.read
    .orc("s3://s3path")

Ejemplo: escribir archivos y carpetas ORC en S3

Requisitos previos: necesitará un DataFrame inicializado (dataFrame) o DynamicFrame (dynamicFrame). También necesitará la ruta de salida S3 prevista, s3path.

Configuración: en las opciones de la función, especifique format="orc". En las opciones de conexión, utilice la clave paths para especificar s3path. Puede modificar aún más la forma en que el escritor interactúa con S3 en las connection_options. Para obtener más información, consulte Opciones de formato de datos para entradas y salidas de ETL en AWS Glue: Referencia de opción de conexión de Amazon S3. El siguiente ejemplo de código muestra el proceso:

Python

Para este ejemplo, use el método write_dynamic_frame.from_options.

from pyspark.context import SparkContext
from awsglue.context import GlueContext

sc = SparkContext.getOrCreate()
glueContext = GlueContext(sc)

glueContext.write_dynamic_frame.from_options(
    frame=dynamicFrame,
    connection_type="s3",
    format="orc",
    connection_options={
        "path": "s3://s3path"
    }
)

También puede usar DataFrames en un script (pyspark.sql.DataFrame).

df.write.orc("s3://s3path/")

Scala

Para este ejemplo, use el método getSinkWithFormat.

import com.amazonaws.services.glue.util.JsonOptions
import com.amazonaws.services.glue.{DynamicFrame, GlueContext}
import org.apache.spark.SparkContext

object GlueApp {
  def main(sysArgs: Array[String]): Unit = {
    val spark: SparkContext = new SparkContext()
    val glueContext: GlueContext = new GlueContext(spark)

    glueContext.getSinkWithFormat(
      connectionType="s3",
      options=JsonOptions("""{"path": "s3://s3path"}"""),
      format="orc"
    ).writeDynamicFrame(dynamicFrame)
  }
}

También puede usar DataFrames en un script (pyspark.sql.DataFrame).

df.write.orc("s3://s3path/")

Referencia de configuración de ORC

No hay valores format_options para format="orc". No obstante, se le pueden pasar las opciones que acepte el código SparkSQL subyacente mediante el parámetro de mapa connection_options.