Crea AWS CloudFormation plantillas para Amazon EMR Studio - Amazon EMR

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Crea AWS CloudFormation plantillas para Amazon EMR Studio

Acerca de las plantillas de clústeres de EMR Studio

Puedes crear AWS CloudFormation plantillas para ayudar a los usuarios de EMR Studio a lanzar nuevos EMR clústeres de Amazon en un espacio de trabajo. CloudFormation las plantillas son archivos de texto formateados en JSON oYAML. En una plantilla, se describe una pila de AWS recursos y se indica CloudFormation cómo aprovisionar esos recursos por usted. Para EMR Studio, puedes crear una o más plantillas que describan un EMR clúster de Amazon.

Puedes organizar tus plantillas en AWS Service Catalog. AWS Service Catalog le permite crear y gestionar los servicios de TI más utilizados, denominados productos on AWS. Las plantillas se recopilan como productos en una cartera que se comparte con los usuarios de EMR Studio. Tras crear las plantillas de clúster, los usuarios de Studio pueden lanzar un nuevo clúster para un espacio de trabajo con una de sus plantillas. Los usuarios deben tener permiso para crear nuevos clústeres a partir de plantillas. Puedes configurar los permisos de usuario en las políticas de permisos de EMR Studio.

Para obtener más información sobre CloudFormation las plantillas, consulta Plantillas en la Guía del AWS CloudFormation usuario. Para obtener más información AWS Service Catalog, consulte Qué es AWS Service Catalog.

En el siguiente vídeo se muestra cómo configurar plantillas de clústeres en AWS Service Catalog EMR Studio. También puedes obtener más información en la entrada del blog Crea un entorno de autoservicio para cada línea de negocio con Amazon EMR y Service Catalog.

Parámetros de plantilla opcionales

Puede incluir opciones adicionales en la sección Parameters de la plantilla. Los parámetros permiten a los usuarios de Studio introducir o seleccionar valores personalizados para un clúster. Por ejemplo, puedes añadir un parámetro que permita a los usuarios seleccionar una EMR versión concreta de Amazon. Para obtener más información, consulte Parámetros en la Guía del usuario de AWS CloudFormation .

En la siguiente sección Parameters de ejemplo se definen parámetros de entrada adicionales, como ClusterName, la versión de EmrRelease y ClusterInstanceType.

Parameters: ClusterName: Type: "String" Default: "Cluster_Name_Placeholder" EmrRelease: Type: "String" Default: "emr-6.2.0" AllowedValues: - "emr-6.2.0" - "emr-5.32.0" ClusterInstanceType: Type: "String" Default: "m5.xlarge" AllowedValues: - "m5.xlarge" - "m5.2xlarge"

Al agregar parámetros, los usuarios de Studio ven opciones de formulario adicionales tras seleccionar una plantilla de clúster. La siguiente imagen muestra opciones de formulario adicionales para EmrReleasela versión ClusterName, y InstanceType.

Captura de pantalla de las entradas adicionales en la interfaz de usuario de Studio cuando un usuario selecciona una plantilla de clúster con parámetros.

Requisitos previos

Antes de crear una plantilla de clúster, asegúrese de tener IAM permisos para acceder a la vista de la consola de administrador de Service Catalog. También necesita los IAM permisos necesarios para realizar las tareas administrativas de Service Catalog. Para obtener más información, consulte Conceder permisos a los administradores de Service Catalog.

Instrucciones

Para crear plantillas de EMR clústeres mediante Service Catalog
  1. Cree una o más CloudFormation plantillas. Puede elegir el lugar donde almacena sus plantillas. Como las plantillas son archivos de texto con formato, puede cargarlas en Amazon S3 o guardarlas en su sistema de archivos local. Para obtener más información sobre CloudFormation las plantillas, consulte Plantillas en la Guía del AWS CloudFormation usuario.

    Use las siguientes reglas para asignar un nombre a sus plantillas o compare sus nombres con el patrón [a-zA-Z0-9][a-zA-Z0-9._-]*.

    • El nombre de las plantillas debe comenzar por una letra o un número.

    • Los nombres de plantillas solo pueden constar de letras, números, puntos (.), guiones bajos (_) y guiones (-).

    Cada plantilla de clúster que cree debe incluir las siguientes opciones:

    Parámetros de entrada

    • ClusterName — Un nombre para el clúster que ayude a los usuarios a identificarlo una vez aprovisionado.

    Salida

    • ClusterId— El ID del clúster recién aprovisionadoEMR.

    A continuación se muestra un ejemplo AWS CloudFormation de plantilla en YAML formato para un clúster con dos nodos. En la plantilla de ejemplo se incluyen las opciones de plantilla necesarias y se definen parámetros de entrada adicionales para EmrRelease y ClusterInstanceType.

    awsTemplateFormatVersion: 2010-09-09 Parameters: ClusterName: Type: "String" Default: "Example_Two_Node_Cluster" EmrRelease: Type: "String" Default: "emr-6.2.0" AllowedValues: - "emr-6.2.0" - "emr-5.32.0" ClusterInstanceType: Type: "String" Default: "m5.xlarge" AllowedValues: - "m5.xlarge" - "m5.2xlarge" Resources: EmrCluster: Type: AWS::EMR::Cluster Properties: Applications: - Name: Spark - Name: Livy - Name: JupyterEnterpriseGateway - Name: Hive EbsRootVolumeSize: '10' Name: !Ref ClusterName JobFlowRole: EMR_EC2_DefaultRole ServiceRole: EMR_DefaultRole_V2 ReleaseLabel: !Ref EmrRelease VisibleToAllUsers: true LogUri: Fn::Sub: 's3://aws-logs-${AWS::AccountId}-${AWS::Region}/elasticmapreduce/' Instances: TerminationProtected: false Ec2SubnetId: 'subnet-ab12345c' MasterInstanceGroup: InstanceCount: 1 InstanceType: !Ref ClusterInstanceType CoreInstanceGroup: InstanceCount: 1 InstanceType: !Ref ClusterInstanceType Market: ON_DEMAND Name: Core Outputs: ClusterId: Value: Ref: EmrCluster Description: The ID of the EMR cluster
  2. Crea una cartera para tus plantillas de clústeres en la misma AWS cuenta que tu Studio.

    1. Abre la AWS Service Catalog consola en https://console.aws.amazon.com/servicecatalog/.

    2. En el menú de navegación izquierdo, seleccione Carteras.

    3. En la página Crear cartera, introduzca la información solicitada.

    4. Elija Crear. AWS Service Catalog crea la cartera y muestra los detalles de la cartera.

  3. Utilice los siguientes pasos para agregar plantillas de clústeres como productos de AWS Service Catalog .

    1. Navegue a la página Productos en Administración en la consola de administración de AWS Service Catalog .

    2. Seleccione Cargar un producto nuevo.

    3. Introduzca el nombre del producto y el propietario.

    4. Especifique el archivo de plantilla en Detalles de la versión.

    5. Seleccione Revisar para revisar la configuración del producto y, a continuación, seleccione Crear producto.

  4. Complete los siguientes pasos para agregar sus productos a su cartera.

    1. Navegue a la página Productos en la consola de administración de AWS Service Catalog .

    2. Seleccione su producto, seleccione Acciones y, a continuación, seleccione Agregar producto a la cartera.

    3. Seleccione su cartera y, a continuación, seleccione Agregar producto a la cartera.

  5. Cree una restricción de lanzamiento para sus productos. Una restricción de lanzamiento es una IAM función que especifica los permisos de usuario para lanzar un producto. Puedes personalizar tus restricciones de lanzamiento, pero debes permitir permisos para usar CloudFormation Amazon EMR y AWS Service Catalog. Para obtener más información e instrucciones, consulte Restricciones de lanzamiento de Service Catalog.

  6. Aplique su restricción de lanzamiento a cada producto de su cartera. Debe aplicar la restricción de lanzamiento a cada producto de forma individual.

    1. Seleccione su cartera en la página Carteras de la consola de administración de AWS Service Catalog .

    2. Elija la pestaña Constraints (Restricciones) y elija Create constraint (Crear restricción).

    3. Seleccione su producto y, en Tipo de restricción, Lanzamiento. Elija Continuar.

    4. Seleccione su rol de restricción de lanzamiento en la sección Restricción de lanzamiento y, a continuación, seleccione Crear.

  7. Concede acceso a su cartera.

    1. Seleccione su cartera en la página Carteras de la consola de administración de AWS Service Catalog .

    2. Amplíe la pestaña Grupos, roles y usuarios y seleccione Agregar grupos, roles y usuarios.

    3. Busca tu IAM función de EMR Studio en la pestaña Funciones, selecciona tu función y selecciona Añadir acceso.

      Si usa… Conceder acceso a…
      IAMautenticación Sus usuarios nativos
      IAMfederación ¿Tu IAM papel en la federación
      IAMFederación de Identity Center Su rol de usuario de EMR Studio