Conecte-se a um EMR cluster da Amazon a partir do SageMaker Studio ou do Studio Classic - Amazon SageMaker
Conecte-se usando a interface do usuário do StudioConecte-se usando um comando de conexãoConecte-se por HTTPS

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Conecte-se a um EMR cluster da Amazon a partir do SageMaker Studio ou do Studio Classic

Os usuários do Studio podem se conectar aos EMR clusters da Amazon em execução a partir de um JupyterLab notebook usando o padrãoSageMaker Imagens de distribuição. Os usuários do Studio Classic podem se conectar a seus clusters a partir de um notebook Studio Classic usando qualquer um dos kernels compatíveis.

Conecte-se a um EMR cluster da Amazon usando a interface do usuário do Studio

Para se conectar ao seu cluster usando a interface do usuário do Studio ou do Studio Classic, você pode iniciar uma conexão a partir da lista de clusters acessados ou de um notebook no SageMaker Studio ou no Studio Classic. Listar EMR clusters da Amazon a partir do Studio ou do Studio Classic

Para se conectar a um determinado cluster a partir da sua lista de clusters

  1. Escolha o nome do cluster na sua lista. Isso ativa o botão Anexar ao novo caderno.

  2. Escolha Anexar ao novo caderno. Isso abre a caixa de seleção de Imagens e kernels.

  3. Selecione sua imagem e kernel e, em seguida, escolha Selecionar. Para obter uma lista de imagens compatíveis, consulte Imagens e kernels compatíveis para se conectar a um EMR cluster da Amazon a partir do Studio ou do Studio Classic ou Traga sua própria imagem.

  4. Se o cluster selecionado não usar Kerberos ou autenticação de função de tempo de execuçãoLDAP, o Studio ou o Studio Classic solicitará que você selecione o tipo de credencial. Escolha entre Autenticação básica HTTP ou Sem credenciais e, em seguida, insira suas credenciais, se aplicável. Um comando de conexão preenche a primeira célula do seu notebook e inicia a conexão com o cluster da AmazonEMR.

    Quando a conexão for bem-sucedida, uma mensagem confirmará a conexão e o início do aplicativo do Spark.

Como alternativa, você pode se conectar a um cluster de um caderno.

  1. Escolha Cluster na parte superior do caderno.

    O cluster só é visível quando você usa um kernel de Imagens e kernels compatíveis para se conectar a um EMR cluster da Amazon a partir do Studio ou do Studio Classic ou Traga sua própria imagem. Se você não conseguir ver o Cluster na parte superior do caderno, verifique se o administrador configurou a capacidade de descoberta dos clusters e mude para um kernel compatível.

    Isso abre uma lista de clusters disponíveis em um Running estado.

  2. Selecione o cluster para o qual deseja se conectar e escolha Conectar.

  3. Se você configurou seus EMR clusters da Amazon para suportar IAM funções de tempo de execução e seu administrador pré-carregou suas funções em uma configuração de função de execuçãoJSON, você pode selecionar sua função de EMR acesso à Amazon no menu suspenso da função de EMR execução da Amazon. Se suas funções não estiverem pré-carregadas, o Studio ou o Studio Classic usarão sua função de execução do Studio ou do Studio Classic por padrão. Para obter informações sobre o uso de funções de tempo de execução com a AmazonEMR, consulteConecte-se a um EMR cluster da Amazon a partir do Studio Classic usando IAM funções de tempo de execução. Quando você se conecta a um cluster, o Studio ou o Studio Classic adiciona um bloco de código a uma célula ativa para estabelecer a conexão.

    Caso contrário, se o cluster escolhido não usar Kerberos ou autenticação de função de tempo de execuçãoLDAP, o Studio ou o Studio Classic solicitará que você selecione o tipo de credencial. Você pode escolher a autenticação HTTP básica ou Sem credencial.

  4. Uma célula ativa é preenchida e executada. Essa célula contém o comando de conexão para se conectar ao seu EMR cluster da Amazon.

    Quando a conexão for bem-sucedida, uma mensagem confirmará a conexão e o início do aplicativo do Spark.

Conecte-se a um EMR cluster da Amazon usando um comando de conexão

Para estabelecer uma conexão com um EMR cluster da Amazon, você pode executar comandos de conexão dentro de uma célula do notebook.

Ao estabelecer a conexão, você pode se autenticar usando Kerberos, Lightweight Directory Access Protocol (LDAP) ou autenticação de função de tempo de execução IAM. O método de autenticação escolhido depende da configuração do cluster.

Você pode consultar este exemplo: Acesse o Apache Livy usando um Network Load Balancer em um cluster da Amazon habilitado para Kerberos para configurar um EMR cluster da Amazon que usa a autenticação Kerberos. EMR Como alternativa, você pode explorar os modelos de CloudFormation exemplo usando o Kerberos ou a LDAP autenticação no repositório sagemaker-studio-emr GitHub aws-samples/.

Se seu administrador habilitou o acesso entre contas, você pode se conectar ao seu EMR cluster Amazon a partir de um notebook Studio Classic, independentemente de seu aplicativo e cluster Studio Classic residirem na mesma AWS conta ou em contas diferentes.

Para cada um dos tipos de autenticação a seguir, use o comando especificado para se conectar ao seu cluster a partir do seu notebook Studio ou Studio Classic.

  • Kerberos

    Anexe o --assumable-role-arn argumento se você precisar de acesso cruzado à AmazonEMR. Anexe o --verify-certificate argumento se você se conectar ao seu cluster com. HTTPS

    %load_ext sagemaker_studio_analytics_extension.magics
%sm_analytics emr connect --cluster-id cluster_id \
--auth-type Kerberos --language python 
[--assumable-role-arn EMR_access_role_ARN ] 
[--verify-certificate /home/user/certificateKey.pem]

  • LDAP

    Anexe o --assumable-role-arn argumento se você precisar de acesso cruzado à AmazonEMR. Anexe o --verify-certificate argumento se você se conectar ao seu cluster com. HTTPS

    %load_ext sagemaker_studio_analytics_extension.magics
%sm_analytics emr connect --cluster-id cluster_id \
--auth-type Basic_Access --language python 
[--assumable-role-arn EMR_access_role_ARN ]
[--verify-certificate /home/user/certificateKey.pem]

  • NoAuth

    Anexe o --assumable-role-arn argumento se você precisar de acesso cruzado à AmazonEMR. Anexe o --verify-certificate argumento se você se conectar ao seu cluster com. HTTPS

    %load_ext sagemaker_studio_analytics_extension.magics
%sm_analytics emr connect --cluster-id cluster_id \
--auth-type None --language python
[--assumable-role-arn EMR_access_role_ARN ]
[--verify-certificate /home/user/certificateKey.pem]

  • IAMFunções do runtime

    Anexe o --assumable-role-arn argumento se você precisar de acesso cruzado à AmazonEMR. Anexe o --verify-certificate argumento se você se conectar ao seu cluster com. HTTPS

    Para obter mais informações sobre como se conectar a um EMR cluster da Amazon usando IAM funções de tempo de execução, consulteConecte-se a um EMR cluster da Amazon a partir do Studio Classic usando IAM funções de tempo de execução.

    %load_ext sagemaker_studio_analytics_extension.magics
%sm_analytics emr connect --cluster-id cluster_id \
--auth-type Basic_Access \
--emr-execution-role-arn arn:aws:iam::studio_account_id:role/emr-execution-role-name
[--assumable-role-arn EMR_access_role_ARN]
[--verify-certificate /home/user/certificateKey.pem]

Conecte-se a um EMR cluster da Amazon por HTTPS

Se você configurou seu EMR cluster da Amazon com a criptografia de trânsito ativada e o servidor Apache Livy HTTPS e gostaria que o Studio ou o Studio Classic se comunicassem com a Amazon EMR usandoHTTPS, você precisa configurar o Studio ou o Studio Classic para acessar sua chave de certificado.

Para certificados autoassinados ou assinados pela Autoridade de Certificação (Certificate Authority, CA) local, você pode fazer isso em duas etapas:

  1. Baixe o PEM arquivo do seu certificado para o sistema de arquivos local usando uma das seguintes opções:

  2. Ative a validação do certificado fornecendo o caminho para seu certificado no argumento --verify-certificate do seu comando de conexão.

    %sm_analytics emr connect --cluster-id cluster_id \
--verify-certificate /home/user/certificateKey.pem ...

Para certificados públicos emitidos pela CA, defina a validação do certificado definindo o parâmetro --verify-certificate como true.

Como alternativa, você pode desativar a validação do certificado definindo o parâmetro --verify-certificate como false.

Você pode encontrar a lista de comandos de conexão disponíveis para um EMR cluster da Amazon emConecte-se a um EMR cluster da Amazon usando um comando de conexão.