Práticas recomendadas de desempenho para o AWS SDK para .NET

A forma como você cria clientes, processa respostas e configura seu aplicativo tem um grande efeito na taxa de transferência, na latência e no uso da memória. Este tópico descreve os padrões de uso e configuração que ajudam seus aplicativos a serem executados de forma eficiente e confiável. Esses padrões são mais importantes sob alta carga ou em ambientes com recursos limitados, como contêineres e funções sem servidor. Seguir essas práticas pode melhorar o desempenho e evitar problemas comuns, como respostas lentas, travamentos e alto uso de memória.

As práticas mais impactantes são as seguintes:

Antes de começar, certifique-se de ter configurado seu ambiente e seu projeto.

Reutilize um cliente de serviço único e duradouro

Clientes de serviços, como o AmazonS3Client, são seguros para uso em processos, AmazonDynamoDBClient são relativamente caros de construir e duram muito tempo. A construção de um cliente resolve as informações da região e do endpoint e estabelece a infraestrutura HTTP subjacente. Crie um cliente por serviço e reutilize-o durante toda a vida útil do seu aplicativo. Se você ligar para mais de uma região, crie um cliente separado para cada região.

Em aplicativos que usam injeção de dependência, registre o cliente como um singleton. O método de AddAWSService extensão do AWSSDK.Extensions.NETCore.Setup NuGet pacote registra o cliente com uma vida útil padrão deServiceLifetime.Singleton. O cliente é criado na primeira vez que é solicitado e a mesma instância é reutilizada durante a vida útil do processo. Para obter mais informações sobre o registro de AWS serviços com injeção de dependência e as opções de leitura da configuração, consulte. AWSSDK.Extensions.NETCore.Setup e iConfiguration

Você também pode registrar um cliente como um singleton manualmente.

builder.Services.AddSingleton<IAmazonS3>(_ => new AmazonS3Client());

Reutilizar o cliente não significa que você deva parar de descartar respostas por operação. Reutilize o cliente durante a vida útil do aplicativo, mas continue descartando as respostas e os fluxos que as operações individuais retornam, conforme descrito em. Descarte respostas e fluxos

Descarte respostas e fluxos para liberar conexões

Alguns objetos de resposta do SDK transmitem um fluxo de rede ao vivo. O exemplo mais comum é GetObjectResponse o que implementa IDisposable e expõe o conteúdo do objeto por meio de sua ResponseStream propriedade. A resposta mantém uma conexão HTTP aberta até que o stream seja totalmente lido ou a resposta seja descartada. Se você vazar essas respostas (por exemplo, chamando GetObject um loop sem descartar cada resultado), as conexões abertas se acumularão até que o pool de conexões se esgote e a próxima chamada seja bloqueada. Essa é a causa por trás dos relatos de downloads que “param aleatoriamente” ou param no enésimo objeto.

Sempre inclua uma resposta de streaming em uma using declaração e leia ou copie a transmissão imediatamente.

using Amazon.S3;
using Amazon.S3.Model;

// s3Client is a reused, long-lived client.
var request = new GetObjectRequest { BucketName = bucketName, Key = key };

using var response = await s3Client.GetObjectAsync(request);
await response.WriteResponseStreamToFileAsync(filePath, append: false, CancellationToken.None);

Descartar a resposta e descartá-la ResponseStream são equivalentes; qualquer uma delas fecha o fluxo de rede subjacente e retorna a conexão ao pool.

var metadata = await s3Client.GetObjectMetadataAsync(bucketName, key);
Console.WriteLine($"Size: {metadata.ContentLength} bytes");

Use async/await corretamente

No domínio.NET moderno, as operações de serviço no AWS SDK para .NET são assíncronas e retornam a. Task No .NET Framework, também existem métodos síncronos, mas as chamadas assíncronas escalam melhor e são recomendadas. Consuma operações com await e propague async por todas as camadas do seu código até o ponto de entrada. Para obter mais informações sobre programação assíncrona com o SDK, consulte. Programação assíncrona

O método a seguir bloqueia a chamada assíncrona e pode bloquear ou privar o pool de threads.

// Anti-pattern: do not do this.
public GetObjectResponse Get(GetObjectRequest request)
{
    return s3Client.GetObjectAsync(request).Result;
}

Em vez disso, faça o método async e await a chamada.

public async Task<GetObjectResponse> GetAsync(GetObjectRequest request)
{
    return await s3Client.GetObjectAsync(request);
}

Recomendações adicionais para código assíncrono:

Configurar a coleta de lixo do.NET para AWS Lambda e Amazon ECS

Quando um contêiner parece ter um “vazamento de memória”, o coletor de lixo do.NET (GC) pode estar retendo a memória recuperada para reutilização. Como resultado, a memória do processo pode parecer alta e estável mesmo quando a pilha gerenciada não está crescendo. Além disso, o GC não detecta automaticamente o limite de memória de um contêiner (seu limite de cgroup). Em um ambiente restrito, a pilha pode então crescer em direção à memória do host, em vez do limite do contêiner. Isso pode levar ao encerramento OutOfMemoryException ou ao encerramento do contêiner.

Para ajudar o GC a funcionar bem em ambientes restritos:

Para obter mais informações sobre essas configurações, consulte Opções de configuração de tempo de execução para coleta de lixo em learn.microsoft.com. Para obter orientações específicas sobre AWS computação, consulte a postagem do blog AWS Developer Tools Configurando a coleta de lixo do.NET para Amazon ECS e. AWS Lambda

Gerenciar conexões HTTP e limites de conexão

Em alta taxa de transferência, dois problemas relacionados à conexão são comuns. A primeira é abrir muitas conexões de curta duração. Isso esgota as portas efêmeras, deixa os soquetes dentro e adiciona latência de handshake TIME_WAIT TCP e TLS. A segunda é ter poucas conexões disponíveis, o que prejudica o paralelismo. A reutilização de um cliente único e duradouro (consulteReutilize clientes de serviços) é a base para um pool de conexões saudável, porque o agrupamento depende da reutilização do cliente.

Para ajustar o número de conexões simultâneas por endpoint, defina a MaxConnectionsPerServer propriedade na configuração do cliente. Quando essa propriedade é null (o padrão), o HttpClientHandler padrão subjacente se aplica, o que é efetivamente ilimitado no.NET moderno. Aumente-o somente quando muitas solicitações simultâneas para o mesmo endpoint estiverem bloqueadas nas conexões. Um bom ponto de partida é o número máximo de solicitações simultâneas que você espera por endpoint. Defini-la muito acima das necessidades de sua carga de trabalho desperdiça soquetes sem melhorar a produtividade.

using Amazon.S3;

var config = new AmazonS3Config
{
    MaxConnectionsPerServer = 50
};

var s3Client = new AmazonS3Client(config);

Se você já usa injeção de dependência, configure seus clientes por meio AWSSDK.Extensions.NETCore.Setup de. Essa é a abordagem recomendada quando você usa DI ou registra vários clientes de serviço. Ele centraliza a configuração e facilita a injeção e o teste dos clientes. Você pode definir valores de configuração a partir da configuração do seu aplicativo em vez de no código. Para obter mais informações, consulte AWSSDK.Extensions.NETCore.Setup e iConfiguration.

Finalmente, limite seu próprio paralelismo para que você não inicie mais operações simultâneas do que seu limite de conexão permite. Por exemplo, chamadas de portão com um SemaphoreSlim tamanho igual ao seu limite de conexão:

var throttle = new SemaphoreSlim(50); // match MaxConnectionsPerServer
await throttle.WaitAsync(token);
try
{
    await s3Client.GetObjectAsync(request, token);
}
finally
{
    throttle.Release();
}

Configurar tempos limite e novas tentativas

Os tempos limite e as novas tentativas têm um efeito direto no desempenho percebido. Um Timeout valor muito alto permite que uma solicitação paralisada seja bloqueada por muito tempo. Quando um serviço já está retornando erros de limitação, uma política agressiva de repetição adiciona mais solicitações e pode piorar a limitação. Escolha uma política de repetição que atenda à tolerância de latência versus falha do seu aplicativo e permita que exceções genuínas se propaguem em vez de tentar novamente de uma forma que mascare um travamento.

Para obter mais informações sobre os modos de repetição e a Timeout propriedade (ReadWriteTimeoutaplicável somente ao.NET Framework), além de exemplos de como configurá-los, consulteNovas tentativas e tempos limite. MaxErrorRetry

Otimize o streaming e as transferências de objetos grandes (Amazon S3)

Para carregar e baixar objetos grandes, ou muitos objetos, use a TransferUtility classe no Amazon.S3.Transfer namespace. Ele carrega e baixa em paralelo usando transferências de várias partes e gerencia fluxos, partes e conexões para você. Isso é mais rápido do que uma transferência de fluxo único e é a maneira recomendada de mover objetos grandes.

Diagnosticar problemas de desempenho

Quando você investiga uma lentidão, um travamento ou um aparente vazamento, os seguintes sinais ajudam você a encontrar a causa rapidamente: