As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

O que é Amazon EMR Serverless?

O Amazon EMR Serverless é uma opção de implantação para a Amazon EMR que fornece um ambiente de execução sem servidor. Isso simplifica a operação de aplicativos de análise que usam as estruturas de código aberto mais recentes, como o Apache Spark e o Apache Hive. Com o EMR Serverless, você não precisa configurar, otimizar, proteger ou operar clusters para executar aplicativos com essas estruturas.

EMRO Serverless ajuda você a evitar o provisionamento excessivo ou insuficiente de recursos para seus trabalhos de processamento de dados. EMRO Serverless determina automaticamente os recursos de que o aplicativo precisa, obtém esses recursos para processar seus trabalhos e os libera quando os trabalhos são concluídos. Para casos de uso em que os aplicativos precisam de uma resposta em segundos, como análise interativa de dados, você pode pré-inicializar os recursos de que o aplicativo precisa ao criar o aplicativo.

Com o EMR Serverless, você continuará obtendo os benefícios da AmazonEMR, como compatibilidade de código aberto, simultaneidade e desempenho otimizado de tempo de execução para estruturas populares.

EMRO Serverless é adequado para clientes que desejam facilidade na operação de aplicativos usando estruturas de código aberto. Ele oferece inicialização rápida de trabalhos, gerenciamento automático de capacidade e controles de custos diretos.

Conceitos

Nesta seção, abordamos os termos e conceitos de EMR Serverless que aparecem em nosso Guia do Usuário EMR Serverless.

Versão de lançamento

Uma EMR versão da Amazon é um conjunto de aplicativos de código aberto do ecossistema de big data. Cada versão inclui diferentes aplicativos, componentes e recursos de big data que você seleciona para que o EMR Serverless implante e configure para que eles possam executar seus aplicativos. Ao criar um aplicativo, você deve especificar sua versão de lançamento. Escolha a versão de EMR lançamento da Amazon e a versão da estrutura de código aberto que você deseja usar em seu aplicativo. Para saber mais sobre as versões de pré-lançamento, consulteVersões de EMR lançamento do Amazon Serverless.

Aplicativo

Com o EMR Serverless, você pode criar um ou mais aplicativos EMR sem servidor que usam estruturas de análise de código aberto. Para criar um aplicativo, você deve especificar os seguintes atributos:

Depois de criar um aplicativo, você pode enviar trabalhos de processamento de dados ou solicitações interativas ao seu aplicativo.

Cada aplicativo EMR sem servidor é executado em uma Amazon Virtual Private Cloud (VPC) segura, estritamente separada de outros aplicativos. Além disso, você pode usar AWS Identity and Access Management (IAM) políticas para definir quais usuários e funções podem acessar o aplicativo. Você também pode especificar limites para controlar e rastrear os custos de uso incorridos pelo aplicativo.

Considere criar vários aplicativos quando precisar fazer o seguinte:

EMRO Serverless é um serviço regional que simplifica a forma como as cargas de trabalho são executadas em várias zonas de disponibilidade em uma região. Para saber mais sobre como usar aplicativos com o EMR Serverless, consulte. Interagindo com um aplicativo

Execução de trabalho

A execução de um trabalho é uma solicitação enviada a um aplicativo EMR sem servidor que o aplicativo executa e acompanha de forma assíncrona até a conclusão. Exemplos de trabalhos incluem uma consulta HiveQL que você envia para um aplicativo Apache Hive ou um script de processamento de dados que você envia para PySpark um aplicativo Apache Spark. Ao enviar um trabalho, você deve especificar uma função de tempo de execução, de autoria emIAM, que o trabalho usa para acessar AWS recursos, como objetos do Amazon S3. Você pode enviar várias solicitações de execução de trabalho para um aplicativo, e cada execução de trabalho pode usar uma função de tempo de execução diferente para acessar AWS recursos. Um aplicativo EMR sem servidor começa a executar trabalhos assim que os recebe e executa várias solicitações de trabalho simultaneamente. Para saber mais sobre como o EMR Serverless executa trabalhos, consulte. Execução de trabalhos

Operadores

Um aplicativo EMR sem servidor usa internamente trabalhadores para executar suas cargas de trabalho. Os tamanhos padrão desses trabalhadores são baseados no tipo de aplicativo e na versão de EMR lançamento da Amazon. Ao programar a execução de um trabalho, você pode substituir esses tamanhos.

Quando você envia um trabalho, o EMR Serverless calcula os recursos que o aplicativo precisa para o trabalho e agenda os trabalhadores. EMRO Serverless divide suas cargas de trabalho em tarefas, baixa imagens, provisiona e configura funcionários e os descomissiona quando o trabalho é concluído. EMRO Serverless aumenta ou diminui automaticamente os funcionários com base na carga de trabalho e no paralelismo necessários em cada estágio do trabalho. Esse escalonamento automático elimina a necessidade de estimar o número de trabalhadores que o aplicativo precisa para executar suas cargas de trabalho.

Capacidade pré-inicializada

EMRO Serverless fornece um recurso de capacidade pré-inicializado que mantém os trabalhadores inicializados e prontos para responder em segundos. Essa capacidade cria efetivamente um grupo caloroso de trabalhadores para um aplicativo. Para configurar esse recurso para cada aplicativo, defina o initial-capacity parâmetro de um aplicativo. Quando você configura a capacidade pré-inicializada, os trabalhos podem começar imediatamente para que você possa implementar aplicativos iterativos e trabalhos urgentes. Para saber mais sobre trabalhadores pré-inicializados, consulte. Configurando um aplicativo

EMREstúdio

EMRO Studio é o console do usuário que você pode usar para gerenciar seus aplicativos EMR sem servidor. Se não existir um EMR Studio em sua conta quando você criar seu primeiro aplicativo EMR sem servidor, criaremos automaticamente um para você. Você pode acessar o EMR Studio pelo EMR console da Amazon ou ativar o acesso federado do seu provedor de identidade (IdP) IAM por meio IAM do Identity Center. Ao fazer isso, os usuários podem acessar o Studio e gerenciar aplicativos sem EMR servidor sem acesso direto ao console da AmazonEMR. Para saber mais sobre como os aplicativos EMR sem servidor funcionam com o EMR Studio, consulte e. Interagindo com seu aplicativo a partir do console do EMR Studio Executando trabalhos a partir do console do EMR Studio