As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Configurar EMR CloudFormation modelos da Amazon no Service Catalog

Este tópico pressupõe que os administradores estejam familiarizados com AWS CloudFormationos portfólios e produtos da Amazon. AWS Service Catalog EMR

Para simplificar a criação de EMR clusters da Amazon a partir do Studio, os administradores podem registrar um EMR CloudFormation modelo da Amazon como um produto em um AWS Service Catalogportfólio. Para disponibilizar o modelo aos cientistas de dados, eles devem associar o portfólio à função de SageMaker execução usada no Studio ou no Studio Classic. Por fim, para permitir que os usuários descubram modelos, provisionem clusters e se conectem aos EMR clusters da Amazon a partir do Studio ou do Studio Classic, os administradores precisam definir as permissões de acesso apropriadas.

Os EMR AWS CloudFormation modelos da Amazon podem permitir que os usuários finais personalizem vários aspectos do cluster. Por exemplo, os administradores podem definir uma lista aprovada de tipos de instância que os usuários podem escolher ao criar um cluster.

As instruções a seguir usam end-to-end CloudFormation pilhas para configurar um domínio Studio ou Studio Classic, um perfil de usuário, um portfólio do Service Catalog e preencher um modelo de EMR lançamento da Amazon. As etapas a seguir destacam as configurações específicas que os administradores devem aplicar em sua end-to-end pilha para permitir que o Studio ou o Studio Classic acessem os produtos do Service Catalog e provisionem clusters da AmazonEMR.

Para permitir que cientistas de dados descubram EMR CloudFormation modelos da Amazon e provisionem clusters do Studio ou do Studio Classic, siga estas etapas.

Etapa 0: verifique sua rede e prepare sua CloudFormation pilha

Antes de começar:

Etapa 1: Associar seu portfólio do Service Catalog ao SageMaker

Em seu portfólio do Service Catalog, associe seu ID de portfólio à função de SageMaker execução que acessa seu cluster.

Para fazer isso, adicione a seção a seguir (aqui em YAML formato) à sua pilha. Isso concede à função de SageMaker execução acesso ao portfólio especificado do Service Catalog contendo produtos como os EMR modelos da Amazon. Ele permite que as funções assumidas pela SageMaker lancem esses produtos.

Substituir SageMakerExecutionRole.Arn e SageMakerStudioEMRProductPortfolio.ID com seus valores reais.

SageMakerStudioEMRProductPortfolioPrincipalAssociation:
    Type: AWS::ServiceCatalog::PortfolioPrincipalAssociation
    Properties:
      PrincipalARN: SageMakerExecutionRole.Arn
      PortfolioId: SageMakerStudioEMRProductPortfolio.ID
      PrincipalType: IAM

Etapa 2: referenciar um EMR modelo da Amazon em um produto do Service Catalog

Em um produto do Service Catalog do seu portfólio, faça referência a um recurso de EMR modelo da Amazon e garanta sua visibilidade no Studio ou no Studio Classic.

Para fazer isso, faça referência ao recurso de EMR modelo da Amazon na definição do produto Service Catalog e, em seguida, adicione o seguinte "sagemaker:studio-visibility:emr" conjunto de chaves de tag ao valor "true" (veja o exemplo em YAML formato).

Na definição do produto Service Catalog, o AWS CloudFormation modelo do cluster é referenciado por meio URL de. A tag adicional definida como true garante a visibilidade dos EMR modelos da Amazon no Studio ou no Studio Classic.

SMStudioEMRNoAuthProduct:
    Type: AWS::ServiceCatalog::CloudFormationProduct
    Properties:
      Owner: AWS
      Name: SageMaker Studio Domain No Auth EMR
      ProvisioningArtifactParameters:
        - Name: SageMaker Studio Domain No Auth EMR
          Description: Provisions a SageMaker domain and No Auth EMR Cluster
          Info:
            LoadTemplateFromURL: Link to your CloudFormation template. For example, https://aws-blogs-artifacts-public.s3.amazonaws.com/artifacts/astra-m4-sagemaker/end-to-end/CFN-EMR-NoStudioNoAuthTemplate-v3.yaml
      Tags:
        - Key: "sagemaker:studio-visibility:emr"
          Value: "true"

Etapa 3: parametrizar o modelo da Amazon EMR CloudFormation

O CloudFormation modelo usado para definir o EMR cluster da Amazon dentro do produto Service Catalog permite que os administradores especifiquem parâmetros configuráveis. Os administradores podem definir Default valores e AllowedValues intervalos para esses parâmetros na Parameters seção do modelo. Durante o processo de lançamento do cluster, os cientistas de dados podem fornecer entradas personalizadas ou fazer seleções a partir dessas opções predefinidas para personalizar certos aspectos do cluster da Amazon. EMR

O exemplo a seguir ilustra parâmetros de entrada adicionais que os administradores podem definir ao criar um modelo da AmazonEMR.

"Parameters": {
    "EmrClusterName": {
      "Type": "String",
      "Description": "EMR cluster Name."
    },
    "MasterInstanceType": {
      "Type": "String",
      "Description": "Instance type of the EMR master node.",
      "Default": "m5.xlarge",
      "AllowedValues": [
        "m5.xlarge",
        "m5.2xlarge",
        "m5.4xlarge"
      ]
    },
    "CoreInstanceType": {
      "Type": "String",
      "Description": "Instance type of the EMR core nodes.",
      "Default": "m5.xlarge",
      "AllowedValues": [
        "m5.xlarge",
        "m5.2xlarge",
        "m5.4xlarge",
        "m3.medium",
        "m3.large",
        "m3.xlarge",
        "m3.2xlarge"
      ]
    },
    "CoreInstanceCount": {
      "Type": "String",
      "Description": "Number of core instances in the EMR cluster.",
      "Default": "2",
      "AllowedValues": [
        "2",
        "5",
        "10"
      ]
    },
    "EmrReleaseVersion": {
      "Type": "String",
      "Description": "The release version of EMR to launch.",
      "Default": "emr-5.33.1",
      "AllowedValues": [
        "emr-5.33.1",
        "emr-6.4.0"
      ]
    }
  }

Depois que os administradores disponibilizarem os EMR CloudFormation modelos da Amazon no Studio, os cientistas de dados poderão usá-los para autoprovisionar clusters da AmazonEMR. A Parameters seção definida no modelo se traduz em campos de entrada no formulário de criação de cluster no Studio ou no Studio Classic. Para cada parâmetro, os cientistas de dados podem inserir um valor personalizado na caixa de entrada ou selecionar entre as opções predefinidas listadas em um menu suspenso, que corresponde ao AllowedValues especificado no modelo.

A ilustração a seguir mostra o formulário dinâmico montado a partir de um EMR modelo da CloudFormation Amazon para criar um EMR cluster da Amazon no Studio ou no Studio Classic.

Visite Inicie um EMR cluster da Amazon a partir do Studio ou do Studio Classic para saber como lançar um cluster do Studio ou do Studio Classic usando esses EMR modelos da Amazon.

Etapa 4: configurar as permissões para permitir a listagem e o lançamento de EMR clusters da Amazon a partir do Studio

Por fim, anexe IAM as permissões necessárias para permitir a listagem de EMR clusters Amazon existentes em execução e o autoprovisionamento de novos clusters do Studio ou do Studio Classic.

As funções às quais você deve adicionar essas permissões dependem se o Studio ou o Studio Classic e a Amazon EMR estão implantados na mesma conta (escolha Conta única) ou em contas diferentes (escolha Conta cruzada).