Como entender a escalabilidade da função do Lambda

Simultaneidade corresponde ao número de solicitações em andamento que a função do AWS Lambda está processando ao mesmo tempo. Para cada solicitação simultânea, o Lambda provisiona uma instância separada do seu ambiente de execução. À medida que suas funções recebem mais solicitações, o Lambda gerencia a escalabilidade do número de ambientes de execução de forma automática até atingir o limite de simultaneidade da sua conta. Por padrão, o Lambda fornece à sua conta um limite total de simultaneidade de mil execuções simultâneas para todas as funções em uma Região da AWS. Para atender às necessidades específicas da sua conta, é possível solicitar um aumento de cotas e configurar controles de simultaneidade em nível de função para que as funções essenciais não sofram controle de utilização.

Este tópico explica conceitos de simultaneidade e escalabilidade de funções no Lambda. Ao final deste tópico, você será capaz de compreender como calcular a simultaneidade, visualizar as duas principais opções de controle de simultaneidade (reservada e provisionada), estimar as configurações apropriadas de controle de simultaneidade e visualizar métricas para otimização adicional.

Compreender e visualizar a simultaneidade

O Lambda invoca sua função em um ambiente de execução seguro e isolado. Para processar uma solicitação, o Lambda deve primeiro inicializar um ambiente de execução (a Init phase [Fase de inicialização]) antes de usá-lo para invocar sua função (a Invoke phase [Fase de invocação]):

O diagrama anterior usa um retângulo para representar um único ambiente de execução. Quando sua função recebe a primeira solicitação (representada pelo círculo amarelo com o rótulo 1), o Lambda cria um novo ambiente de execução e executa o código de forma externa ao manipulador principal durante a fase de inicialização. Em seguida, o Lambda executa o código do manipulador principal da sua função durante a fase de invocação. Durante todo esse processo, esse ambiente de execução fica ocupado e não consegue processar outras solicitações.

Quando o Lambda terminar de processar a primeira solicitação, o ambiente de execução poderá processar solicitações adicionais para a mesma função. Para solicitações subsequentes, o Lambda não precisará reinicializar o ambiente.

No diagrama anterior, o Lambda reutiliza o ambiente de execução para processar a segunda solicitação (representada pelo círculo amarelo com o rótulo 2).

Até o momento, nos concentramos em apenas uma única instância do seu ambiente de execução (ou seja, uma simultaneidade de um). Na prática, o Lambda pode precisar provisionar diversas instâncias do ambiente de execução em paralelo para processar todas as solicitações recebidas. Quando a função receber uma nova solicitação, uma das duas coisas poderá acontecer:

Por exemplo, vamos explorar o que acontece quando a função recebe dez solicitações:

No diagrama anterior, cada plano horizontal representa uma única instância do ambiente de execução (rotulada de A a F). Veja como o Lambda processa cada solicitação:

À medida que a função recebe mais solicitações simultâneas, o Lambda aumenta a escala verticalmente do número de instâncias do ambiente de execução em resposta. A animação a seguir monitora o número de solicitações simultâneas ao longo do tempo:

Ao paralisar a animação anterior em seis pontos distintos no tempo, obtemos o diagrama a seguir:

No diagrama anterior, é possível traçar uma linha vertical em qualquer ponto no tempo e contar o número de ambientes que cruzam essa linha. Isso nos fornece o número de solicitações simultâneas naquele ponto no tempo. Por exemplo, no tempo t1, existem três ambientes ativos atendendo três solicitações simultâneas. O número máximo de solicitações simultâneas nessa simulação ocorre no tempo t4, quando existem seis ambientes ativos atendendo seis solicitações simultâneas.

Para resumir, a simultaneidade da sua função corresponde ao número de solicitações simultâneas que ela está processando ao mesmo tempo. Em resposta a um aumento na simultaneidade da sua função, o Lambda provisiona mais instâncias do ambiente de execução para atender à demanda de solicitações.

Calcular a simultaneidade para uma função

Em geral, a simultaneidade de um sistema corresponde à capacidade de processar mais de uma tarefa simultaneamente. No Lambda, simultaneidade corresponde ao número de solicitações em andamento que sua função está processando ao mesmo tempo. Uma maneira rápida e prática de medir a simultaneidade de uma função do Lambda é usar a fórmula a seguir:

Concurrency = (average requests per second) * (average request duration in seconds)

Simultaneidade é diferente de solicitações por segundo. Por exemplo, suponha que a função receba 100 solicitações por segundo em média. Se a duração média da solicitação for de um segundo, é verdade que a simultaneidade também será cem:

Concurrency = (100 requests/second) * (1 second/request) = 100

No entanto, se a duração média da solicitação for de 500 ms, a simultaneidade será 50:

Concurrency = (100 requests/second) * (0.5 second/request) = 50

Na prática, o que significa uma simultaneidade de 50? Se a duração média da solicitação for de 500 ms, você pode pensar em uma instância da função que é capaz de processar duas solicitações por segundo. Ou seja, são necessárias 50 instâncias da função para processar uma carga de 100 solicitações por segundo. Uma simultaneidade de 50 significa que o Lambda deve provisionar 50 instâncias de ambiente de execução para processar essa workload com eficiência sem qualquer controle de utilização. Veja como expressar isso em forma de equação:

Concurrency = (100 requests/second) / (2 requests/second) = 50

Se a função receber o dobro do número de solicitações (200 solicitações por segundo), mas requerer apenas metade do tempo para processar cada uma (250 ms), a simultaneidade ainda será 50:

Concurrency = (200 requests/second) * (0.25 second/request) = 50

Concurrency = (5,000 requests/second) * (0.2 seconds/request) = 1,000

Concurrency = (5,000 requests/second) / (5 requests/second) = 1,000

Compreender a simultaneidade reservada e a simultaneidade provisionada

Por padrão, sua conta tem um limite de simultaneidade de mil execuções simultâneas para todas as funções em uma região. Suas funções compartilham esse grupo de mil para simultaneidade sob demanda. Suas funções poderão apresentar controle de utilização (ou seja, começarem a descartar solicitações) se a simultaneidade disponível for esgotada.

Algumas de suas funções podem ser mais essenciais do que outras. Como resultado, talvez seja necessário definir as configurações de simultaneidade para garantir que as funções essenciais obtenham a simultaneidade de que precisam. Existem dois tipos de controle de simultaneidade disponíveis: simultaneidade reservada e simultaneidade provisionada.

Simultaneidade reservada

Se você deseja garantir que uma determinada quantidade de simultaneidade esteja disponível para sua função a qualquer momento, use a simultaneidade reservada.

A simultaneidade reservada corresponde ao número máximo de instâncias simultâneas que você deseja alocar para a função. Quando você dedica uma simultaneidade reservada para uma função, nenhuma outra função pode usar essa simultaneidade. Em outras palavras, definir a simultaneidade reservada pode afetar o grupo de simultaneidade disponível para outras funções. As funções que não têm simultaneidade reservada compartilham o grupo restante de simultaneidade não reservada.

A configuração da simultaneidade reservada é contabilizada para o limite geral de simultaneidade da sua conta. Não há cobrança para configurar a simultaneidade reservada para uma função.

Para compreender melhor a simultaneidade reservada, considere o diagrama a seguir:

Neste diagrama, o limite de simultaneidade da sua conta para todas as funções nesta região está no limite padrão de mil. Suponha que você tenha duas funções essenciais, function-blue e function-orange, que rotineiramente espera obter altos volumes de invocação. Você decide oferecer 400 unidades de simultaneidade reservada para function-blue e 400 unidades de simultaneidade reservada para function-orange. Neste exemplo, todas as outras funções em sua conta devem compartilhar as 200 unidades restantes de simultaneidade não reservada.

O diagrama tem cinco pontos de interesse:

Com base neste exemplo, observe que a reserva de simultaneidade tem os efeitos a seguir:

Para saber como gerenciar as configurações de simultaneidade reservada das funções, consulte Configurar a simultaneidade reservada para uma função.

Simultaneidade provisionada

Você usa a simultaneidade reservada para definir o número máximo de ambientes de execução reservados para uma função do Lambda. No entanto, nenhum desses ambientes está inicializado previamente. Como resultado, as invocações da sua função podem demorar mais porque o Lambda deve primeiro inicializar o novo ambiente antes de poder usá-lo para invocar a função. Quando o Lambda precisa inicializar um ambiente novo para realizar uma invocação, isso é conhecido como inicialização a frio. Para mitigar as inicializações a frio, é possível usar a simultaneidade provisionada.

A simultaneidade provisionada corresponde ao número de ambientes de execução inicializados previamente que você deseja alocar para a função. Se você definir a simultaneidade provisionada em uma função, o Lambda inicializará esse número de ambientes de execução para que estejam preparados para responder imediatamente às solicitações da função.

Ao usar a simultaneidade provisionada, o Lambda ainda recicla os ambientes de execução em segundo plano. No entanto, a qualquer momento, o Lambda garantirá que o número de ambientes inicializados previamente seja semelhante ao valor da configuração de simultaneidade provisionada da sua função. Esse comportamento difere da simultaneidade reservada, na qual o Lambda pode encerrar completamente um ambiente após um período de inatividade. O diagrama a seguir ilustra isso comparando o ciclo de vida de um único ambiente de execução quando você configura a função usando a simultaneidade reservada em comparação com a simultaneidade provisionada.

O diagrama tem quatro pontos de interesse:

Para compreender melhor a simultaneidade provisionada, considere o diagrama a seguir:

Neste diagrama, você tem um limite de simultaneidade de mil na conta. Você decide fornecer 400 unidades de simultaneidade provisionada para function-orange. Todas as funções em sua conta, incluindo function-orange, podem usar as 600 unidades restantes de simultaneidade não reservada.

O diagrama tem cinco pontos de interesse:

O exemplo anterior considerou apenas a simultaneidade provisionada. Na prática, é possível definir a simultaneidade provisionada e a simultaneidade reservada em uma função. Será possível fazer isso se você tiver uma função que processa uma carga consistente de invocações durante a semana, mas rotineiramente apresenta picos de tráfego nos finais de semana. Nesse caso, você pode usar a simultaneidade provisionada para definir uma quantidade de linha de base de ambientes para processar as solicitações durante a semana e usar a simultaneidade reservada para processar os picos no final de semana. Considere o diagrama a seguir:

Neste diagrama, suponha que você configure 200 unidades de simultaneidade provisionada e 400 unidades de simultaneidade reservada para function-orange. Como você configurou a simultaneidade reservada, function-orange não pode usar nenhuma das 600 unidades de simultaneidade não reservada.

Este diagrama tem cinco pontos de interesse:

Tanto a simultaneidade reservada quanto a provisionada são contabilizadas para o limite de simultaneidade da sua conta e cotas regionais. Em outras palavras, alocar a simultaneidade reservada e a provisionada pode afetar o grupo de simultaneidade disponível para outras funções. A configuração da simultaneidade provisionada gera cobranças em sua conta da Conta da AWS.

Para gerenciar as configurações de simultaneidade provisionada para as funções, consulte Configurar a simultaneidade provisionada para uma função. Para automatizar a escalabilidade da simultaneidade provisionada com base em uma programação ou utilização de aplicações, consulte Usar o ajuste de escala automático de aplicações para automatizar o gerenciamento da simultaneidade provisionada.

Como o Lambda aloca a simultaneidade provisionada

A simultaneidade provisionada não fica online imediatamente depois que você a configura. O Lambda começa a alocar a simultaneidade provisionada após um ou dois minutos de preparação. Para cada função, o Lambda pode provisionar até 6 mil ambientes de execução a cada minuto, independentemente da Região da AWS. Isso é exatamente igual à taxa de escalabilidade de simultaneidade para funções.

Quando você envia uma solicitação para alocar a simultaneidade provisionada, não pode acessar qualquer um desses ambientes até que o Lambda termine de alocá-los. Por exemplo, se você solicitar 5 mil simultaneidades provisionadas, nenhuma das suas solicitações poderá usar a simultaneidade provisionada até que o Lambda conclua a alocação total dos 5 mil ambientes de execução.

Comparação entre a simultaneidade reservada e a simultaneidade provisionada

A tabela a seguir resume e compara as simultaneidades reservada e provisionada.

Entender simultaneidade e solicitações por segundo

Conforme mencionado na seção anterior, simultaneidade é diferente de solicitações por segundo. Essa é uma distinção especialmente importante a ser feita no trabalho com funções que têm uma duração média de solicitação inferior a 100 ms.

Em todas as funções da sua conta, o Lambda impõe um limite de solicitações por segundo que é igual a dez vezes a simultaneidade da sua conta. Por exemplo, como o limite padrão de simultaneidade da conta é 1.000, as funções da sua conta podem lidar com, no máximo, 10.000 solicitações por segundo.

Por exemplo, considere uma função com uma duração média de solicitação de 50 ms. Com 20.000 solicitações por segundo, esta é a simultaneidade dessa função:

Concurrency = (20,000 requests/second) * (0.05 second/request) = 1,000

Com base nesse resultado, você poderia esperar que o limite de 1.000 para a simultaneidade da conta fosse suficiente para processar essa carga. Porém, como o limite é de 10.000 solicitações por segundo, a função só pode lidar com 10.000 solicitações por segundo do total de 20.000 solicitações. Essa função sofre controle de utilização.

A lição é que você precisa considerar a simultaneidade e as solicitações por segundo ao definir as configurações de simultaneidade para as funções. Nesse caso, você precisa solicitar um aumento do limite de simultaneidade da conta para 2 mil, pois isso aumentaria o limite total de solicitações por segundo para 20 mil.

Concurrency = (30,000 requests/second) * (0.02 seconds/request) = 600

O limite de solicitações por segundo se aplica a todas as cotas do Lambda que envolvem simultaneidade. Em outras palavras, ele se aplica às funções sob demanda síncronas, às funções que usam simultaneidade provisionada e ao comportamento de escalação de simultaneidade. Por exemplo, aqui estão alguns cenários em que você deve considerar cuidadosamente os limites de simultaneidade e de solicitações por segundo:

Cotas de simultaneidade

O Lambda define cotas para a quantidade total de simultaneidade que é possível usar em todas as funções de uma região. Essas cotas existem em dois níveis:

Para verificar sua cota atual de simultaneidade no nível da conta, use a AWS Command Line Interface (AWS CLI) para executar o seguinte comando:

aws lambda get-account-settings

Você observará um resultado parecido com o seguinte:

{
    "AccountLimit": {
        "TotalCodeSize": 80530636800,
        "CodeSizeUnzipped": 262144000,
        "CodeSizeZipped": 52428800,
        "ConcurrentExecutions": 1000,
        "UnreservedConcurrentExecutions": 900
    },
    "AccountUsage": {
        "TotalCodeSize": 410759889,
        "FunctionCount": 8
    }
}

ConcurrentExecutions é sua cota total de simultaneidade no nível da conta. UnreservedConcurrentExecutions é a quantidade de simultaneidade reservada que você ainda pode alocar para suas funções.

À medida que sua função recebe mais solicitações, o Lambda aumenta automaticamente a escala do número de ambientes de execução para processar essas solicitações até que seja atingido o limite de simultaneidade da sua conta. No entanto, para evitar que o limite de escalabilidade seja ultrapassado em resposta a picos repentinos de tráfego, o Lambda limita a velocidade do ajuste de escala das funções. Essa taxa de escalabilidade de simultaneidade é a taxa máxima na qual as funções da conta podem reduzir a escala horizontalmente em resposta ao aumento de solicitações. Ou seja, a velocidade com que o Lambda é capaz de criar novos ambientes de execução. A taxa de escalabilidade de simultaneidade difere do limite de simultaneidade no nível da conta, que é a quantidade total de simultaneidade disponível para suas funções.

Em cada Região da AWS e para cada função, a taxa de escalação de simultaneidade é de 1.000 instâncias do ambiente de execução a cada 10 segundos (ou 10.000 solicitações por segundo a cada 10 segundos). Em outras palavras, a cada 10 segundos, o Lambda pode alocar no máximo 1.000 instâncias do ambiente de execução ou aceitar mais 10.000 solicitações por segundo para cada uma das funções.

Normalmente, você não precisa se preocupar com esse limite. A taxa de escalabilidade do Lambda é suficiente para a maioria dos casos de uso.

É importante ressaltar que a taxa de escalabilidade de simultaneidade é um limite aplicado por função. Isso significa que cada função da sua conta pode ajustar a escala independentemente de outras funções.

Para obter mais informações sobre comportamentos de escalabilidade, consulte Comportamento de escalabilidade do Lambda.