As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Configure o acesso à rede para seu EMR cluster Amazon

Antes de começar a usar a Amazon EMR ou o EMR Serverless para suas tarefas de preparação de dados no Studio, certifique-se de que você ou seu administrador tenham configurado sua rede para permitir a comunicação entre o Studio e a Amazon. EMR Depois que essa comunicação estiver ativada, você poderá optar por:

As instruções de rede variam de acordo com o fato de o Studio e a Amazon EMR estarem implantados em uma Amazon Virtual Private Cloud (VPC) privada ou se comunicarem pela Internet.

Por padrão, o Studio ou o Studio Classic são executados em um ambiente AWS gerenciado VPC com acesso à Internet. Ao usar uma conexão com a Internet, o Studio e o Studio Classic acessam AWS recursos, como buckets do Amazon S3, pela Internet. No entanto, se você tiver requisitos de segurança para controlar o acesso aos seus contêineres de dados e trabalhos, recomendamos que você configure o Studio ou o Studio Classic e a Amazon EMR para que seus dados e contêineres não sejam acessíveis pela Internet. Para controlar o acesso aos seus recursos ou executar o Studio ou o Studio Classic sem acesso público à Internet, você pode especificar o tipo de acesso à VPC only rede ao fazer a integração com o SageMaker domínio da Amazon. Nesse cenário, tanto o Studio quanto o Studio Classic estabelecem conexões com outros AWS serviços por meio de VPCendpoints privados. Para obter informações sobre como configurar o Studio ou o Studio Classic no VPC only modo, consulte Conectar notebooks SageMaker Studio ou Studio Classic VPC a recursos externos. .

As duas primeiras seções descrevem como garantir a comunicação entre o Studio ou o Studio Classic e a Amazon EMR VPCs sem acesso público à Internet. A última seção aborda como garantir a comunicação entre o Studio ou o Studio Classic e a Amazon EMR usando uma conexão com a Internet. Antes de conectar o Studio ou o Studio Classic à Amazon EMR sem acesso à Internet, certifique-se de estabelecer endpoints para o Amazon Simple Storage Service (armazenamento de dados), Amazon CloudWatch (registro e monitoramento) e Amazon SageMaker Runtime (controle de acesso detalhado baseado em funções ()). RBAC

Para conectar o Studio ou o Studio Classic e a AmazonEMR:

Studio e Amazon EMR estão separados VPCs

Para permitir a comunicação entre o Studio ou o Studio Classic e a Amazon EMR quando eles são implantados separadamenteVPCs:

As etapas para conectar o Studio ou o Studio Classic e a Amazon EMR são as mesmas, independentemente de os recursos serem implantados em uma única AWS conta (caso de uso de conta única) ou em várias AWS contas (caso de uso entre contas).

O diagrama a seguir mostra um exemplo de uma VPC configuração da Amazon que permite que JupyterLab nossos notebooks Studio Classic provisionem EMR clusters da Amazon a partir de AWS CloudFormation modelos no Service Catalog e depois se conectem a um EMR cluster da Amazon na mesma AWS conta. O diagrama fornece uma ilustração adicional dos endpoints necessários para uma conexão direta com vários AWS serviços, como Amazon S3 ou CloudWatch Amazon, quando eles não têm acesso VPCs à Internet. Como alternativa, um NATgateway deve ser usado para permitir que instâncias em sub-redes privadas de várias VPCs compartilhem um único endereço IP público fornecido pelo gateway da Internet ao acessar a Internet.

Studio e Amazon EMR estão no mesmo VPC

Se o Studio ou o Studio Classic e a Amazon EMR estiverem em sub-redes diferentes, adicione rotas a cada tabela de rotas de sub-rede privada para rotear o tráfego entre o Studio ou o Studio Classic e as sub-redes da Amazon. EMR Você pode definir essas rotas acessando a seção Tabelas de rotas de cada uma VPC no VPC painel. Se você implantou o Studio ou o Studio Classic VPC e a Amazon EMR na mesma sub-rede, não precisa rotear o tráfego entre o Studio e a Amazon. EMR

Independentemente de você precisar atualizar suas tabelas de roteamento, o grupo de segurança do seu domínio Studio ou Studio Classic deve permitir tráfego de saída, e o grupo de segurança do nó EMR primário da Amazon deve permitir tráfego de entrada nas TCP portas Apache Livy, Hive ou Presto (respectivamente 899810000, e8889) do grupo de segurança da instância Studio ou Studio Classic. O Apache Livy é um serviço que permite a interação com uma Amazon EMR por meio de uma REST interface.

Studio e Amazon EMR se comunicam pela Internet pública

Por padrão, o Studio e o Studio Classic fornecem uma interface de rede que permite a comunicação com a Internet por meio de um gateway de Internet VPC associado ao SageMaker domínio. Se você optar por se conectar à Amazon EMR pela Internet pública, a Amazon EMR precisará aceitar tráfego de entrada nas TCP portas Apache Livy, Hive ou Presto (respectivamente 899810000, e8889) de seu gateway de internet. O Apache Livy é um serviço que permite a interação com a Amazon EMR por meio de uma REST interface.

Lembre-se de que qualquer porta na qual você permita o tráfego de entrada representa uma possível vulnerabilidade de segurança. Revise atentamente os grupos de segurança personalizados para minimizar vulnerabilidades. Para obter mais informações, consulte Controlar o tráfego de rede com grupos de segurança.

Como alternativa, consulte Blogs e whitepapers para obter uma explicação detalhada de como habilitar o Kerberos na EMR Amazon, configurar o cluster em uma sub-rede privada e acessar o cluster usando um Network Load Balancer NLB () para expor somente portas específicas, que são controladas pelo acesso por meio de grupos de segurança.