Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Trabajando con una jerarquía de varios catálogos en AWS Pegue el catálogo de datos con Spark en Amazon EMR

Puede registrar su clúster de Amazon EMR para acceder al catálogo de datos de AWS Glue, que pone las tablas y otros recursos del catálogo a disposición de varios consumidores. AWS El catálogo de datos de Glue admite una jerarquía de varios catálogos, que unifica los datos en los lagos de datos de Amazon S3. También proporciona una API del metastore de Hive y una API REST de Apache Iceberg de código abierto para acceder a los datos. Estas características están disponibles para Amazon EMR y otros servicios como Amazon Athena y Amazon Redshift.

Cómo se organizan los recursos del catálogo

Al crear recursos en el catálogo de datos de AWS Glue, puede acceder a ellos desde cualquier motor SQL compatible con la API REST de Apache Iceberg o el metastore de Hive. AWS Lake Formation administra los permisos.

En AWS Glue Data Catalog, los datos se organizan en una jerarquía lógica de catálogos, bases de datos y tablas:

Configuración de un catálogo de datos para usarlo con Amazon EMR

Para comenzar, debe configurar el catálogo para que admita las herramientas de Amazon EMR. El catálogo de datos de AWS Glue proporciona API compatibles con el metaalmacén de Hive y con Iceberg REST.

Configuración de Amazon EMR con un metalmacén de Hive

Para obtener información sobre cómo configurarlo, consulte el soporte del catálogo de datos de AWS Glue para los trabajos de Spark en la Guía del usuario de AWS Glue. En este tema se describe cómo configurar el catálogo de datos de AWS Glue como un metaalmacén de Hive y hacer que esté disponible como punto final. Además, hay documentación de Amazon EMR disponible que muestra cómo especificar el catálogo de datos de AWS Glue como un metaalmacén de Spark, en Use el catálogo de datos de AWS Glue como el metaalmacén de Apache Hive para Spark.

Permisos para acceder a los recursos en AWS Catálogo de datos de Glue

En esta sección, se describen los requisitos de políticas de IAM para usar las herramientas de Amazon EMR con datos del catálogo. Después de registrar su clúster en el catálogo de datos de AWS Glue, necesitará los siguientes permisos para descubrir la creación y los cambios en el catálogo de datos que se creará posteriormente:

En la mayoría de los casos, recomendamos crear un rol de IAM y asignarle los permisos necesarios.

Además, para consultar datos del catálogo, usted debe establecer permisos para el catálogo mediante AWS Lake Formation. Para más información sobre cómo establecer permisos en catálogos de datos mediante AWS Lake Formation, consulte Granting and revoking permissions on Data Catalog resources.

Una vez que configure su clúster y defina los permisos sobre los objetos del catálogo, puede enviar trabajos para consultar y procesar datos.

Configura Spark para acceder a una jerarquía de varios catálogos en AWS Catálogo de datos de Glue

Con EMR 7.5, puedes configurar Spark para usar la jerarquía de varios catálogos de AWS Glue. Una jerarquía de múltiples catálogos permite:

Conexión con varios catálogos al iniciar una sesión de Spark

Los siguientes ejemplos muestran cómo usar las libretas interactivas de Spark Shell, Spark submit o Amazon EMR para trabajar con AWS la jerarquía de varios catálogos de Glue.

spark-shell

1. Conéctese al nodo principal utilizando SSH. Para obtener más información, consulte Conexión al nodo maestro mediante SSH en la Guía de administración de Amazon EMR.

2. Introduzca el siguiente comando para iniciar el shell de Spark. Para usar la PySpark carcasa, spark-shell sustitúyala porpyspark.

   spark-shell \
       --conf spark.sql.catalog.my_catalog=org.apache.iceberg.spark.SparkCatalog \
       --conf spark.sql.catalog.my_catalog.warehouse=s3://amzn-s3-demo-bucket/prefix/
       --conf spark.sql.catalog.my_catalog.type=glue \
       --conf spark.sql.catalog.my_catalog.glue.id=Glue RMS catalog ID \
       --conf spark.sql.defaultCatalog=my_catalog \
       --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions

spark-submit

1. Conéctese al nodo principal utilizando SSH. Para obtener más información, consulte Conexión al nodo maestro mediante SSH en la Guía de administración de Amazon EMR.

2. Ingrese el siguiente comando para iniciar la sesión de Spark para Spark.

   spark-submit \
   --conf spark.sql.catalog.my_catalog=org.apache.iceberg.spark.SparkCatalog \
   --conf spark.sql.catalog.my_catalog.warehouse=s3://amzn-s3-demo-bucket1/prefix \
   --conf spark.sql.catalog.my_catalog.type=glue \
   --conf spark.sql.catalog.my_catalog.glue.id=Glue RMS catalog ID \
   --conf spark.sql.defaultCatalog=my_catalog \
   --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions

EMR Studio notebooks

Para iniciar una sesión de Spark con los Cuadernos de Amazon EMR, configure su sesión de Spark con el comando mágico %%configure de su cuaderno de Amazon EMR, como en el siguiente ejemplo. Para obtener más información, consulte Usar la magia de Cuadernos de Amazon EMR en la Guía de administración de Amazon EMR.

%%configure -f{
"conf":{
    "spark.sql.catalog.my_catalog":"org.apache.iceberg.spark.SparkCatalog",
    "spark.sql.catalog.my_catalog.type":"glue",
    "spark.sql.catalog.my_catalog.glue.id":"Glue RMS catalog ID",
    "spark.sql.catalog.my_catalog.warehouse":"s3://amzn-s3-demo-bucket1/prefix/",
    "spark.sql.defaultCatalog", "my_catalog",
    "spark.sql.extensions":"org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions"
    }
}

CLI

Para inicializar una sesión de Spark mediante la CLI, ejecute el siguiente ejemplo. Para obtener más información sobre cómo especificar una clasificación de configuración mediante la API de Amazon EMR AWS CLI y la API de Amazon, consulte Configurar aplicaciones.

[
  {
    "Classification": "spark-defaults",
    "Properties": {
      "spark.sql.catalog.my_catalog":"org.apache.iceberg.spark.SparkCatalog",
      "spark.sql.catalog.my_catalog.type":"glue",
      "spark.sql.catalog.my_catalog.glue.id":"Glue RMS catalog ID",
      "spark.sql.catalog.my_catalog.warehouse":"s3://amzn-s3-demo-bucket1/prefix/",
      "spark.sql.defaultCatalog", "my_catalog",
      "spark.sql.extensions":"org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions"
    }
  }
]

Inicialice una sesión de Spark en Redshift Managed Storage con AWS Catálogo de datos de Glue

El siguiente ejemplo inicia una sesión de Spark con el Catálogo de datos de AWS Glue.

spark-sql \
  --conf spark.sql.catalog.rms=org.apache.iceberg.spark.SparkCatalog \
  --conf spark.sql.catalog.rms.type=glue \
  --conf spark.sql.catalog.rms.glue.id=Glue RMS catalog ID \
  --conf spark.sql.defaultCatalog=rms
  --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions

En el siguiente ejemplo, se inicializa una sesión de Spark con la API REST de Iceberg y el almacenamiento gestionado de Redshift con AWS Glue Data Catalog.

spark-sql \
  --conf spark.sql.catalog.rms=org.apache.iceberg.spark.SparkCatalog \
  --conf spark.sql.catalog.rms.type=rest \
  --conf spark.sql.catalog.rms.warehouse=glue RMS catalog ID \
  --conf spark.sql.catalog.rms.uri=Glue endpoint URI/iceberg \
  --conf spark.sql.catalog.rms.rest.sigv4-enabled=true \
  --conf spark.sql.catalog.rms.rest.signing-name=glue \
  --conf spark.sql.defaultCatalog=rms \
  --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions

Para obtener más información sobre el uso de una jerarquía de varios catálogos de AWS Glue con Spark Iceberg, consulta Cómo usar un clúster Iceberg con Spark.

Consideraciones y limitaciones para una configuración con varios catálogos