Desempenho do Amazon EFS

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

As seções a seguir fornecem uma visão geral do desempenho do Amazon EFS e descrevem como a configuração do sistema de arquivos afeta as principais dimensões de desempenho. Também fornecemos algumas dicas e recomendações importantes para otimizar o desempenho do seu sistema de arquivos.

Resumo do desempenho

Normalmente, o desempenho do sistema de arquivos é medido usando as dimensões de latência, taxa de transferência e operações de entrada e saída por segundo (IOPS). O desempenho do Amazon EFS nessas dimensões depende da configuração do seu sistema de arquivos. As configurações a seguir afetam o desempenho de um sistema de arquivos do Amazon EFS:

A tabela a seguir descreve as especificações de desempenho para sistemas de arquivos que usam o modo de desempenho de uso geral e as diferentes combinações possíveis de classe de armazenamento e modo de throughput.

Classes de armazenamento

As classes de armazenamento do Amazon EFS foram projetadas para oferecer o armazenamento mais eficaz, dependendo dos casos de uso.

Para obter mais informações sobre classes de armazenamento do EFS, consulte Classes de armazenamento do EFS.

Modos de desempenho

O Amazon EFS oferece dois modos de desempenho: uso geral e E/S Máxima.

Para ajudar a garantir que sua carga de trabalho permaneça dentro do limite de IOPS disponível para sistemas de arquivos usando o modo de desempenho de uso geral, você pode monitorar a PercentIOLimit CloudWatch métrica. Para obter mais informações, consulte CloudWatch métricas para o Amazon EFS.

Os aplicativos podem escalar seu IOPS de forma elástica até o limite associado ao modo de desempenho. Você não é cobrado separadamente pelas IOPS. Elas estão incluídas na contabilização da taxa de transferência de um sistema de arquivos. Cada solicitação do Network File System (NFS) é contabilizada como 4 kilobytes (KB) de taxa de transferência ou seu tamanho real de solicitação e resposta, o que for maior.

Modos de throughput

O modo de taxa de transferência de um sistema de arquivos determina a taxa de transferência disponível para seu sistema de arquivos. O Amazon EFS oferece três modos de taxa de transferência: Elastic, provisionado e intermitente. A taxa de transferência de leitura é descontada para permitir que você obtenha uma taxa de transferência de leitura maior do que a taxa de transferência de gravação. A taxa de transferência máxima disponível em cada modo de taxa de transferência depende da Região da AWS. Para obter mais informações sobre a taxa de transferência máxima do sistema de arquivos nas diferentes regiões, consulte Cotas do Amazon EFS.

Seu sistema de arquivos pode atingir uma taxa combinada de 100% de sua taxa de transferência de leitura e gravação. Por exemplo, se seu sistema de arquivos estiver usando 33% de seu limite de taxa de transferência de leitura, o sistema de arquivos poderá atingir simultaneamente até 67% de seu limite de taxa de transferência de gravação. Você pode monitorar o uso da taxa de transferência do seu sistema de arquivos no gráfico de Utilização da taxa de transferência (%) na página Detalhes do sistema de arquivos do console. Para obter mais informações, consulte Monitorar o desempenho do throughput.

O modo de taxa de transferência para um sistema de arquivos.

A escolha do modo de taxa de transferência correto para seu sistema de arquivos depende dos requisitos de desempenho da sua workload.

Você pode usar CloudWatch a Amazon para determinar a average-to-peak proporção da sua carga de trabalho comparando a MeteredIOBytes métrica com a PermittedThroughput métrica. Para obter mais informações sobre métricas do Amazon EFS, consulte CloudWatch métricas para o Amazon EFS.

throughput elástico

Com relação a sistemas de arquivos que usam o throughput elástico, o Amazon EFS aumenta e reduz a escala vertical do desempenho do throughput de forma automática para atender às necessidades da atividade das workloads. A taxa de transferência elástica é o melhor modo de taxa de transferência para cargas de trabalho com picos ou imprevisíveis, com requisitos de desempenho difíceis de prever, ou para aplicativos que geram uma taxa de transferência de 5% ou menos da taxa de transferência máxima, em média (a proporção). average-to-peak

Como o desempenho do throughput para sistemas de arquivos com throughput elástico escala automaticamente, você não precisa especificar ou provisionar a capacidade de throughput para atender às necessidades da aplicação. Você paga somente pela quantidade de metadados e dados lidos ou gravados e não acumula nem consome créditos de expansão quando usa o throughput elástico.

Para obter informações sobre os limites de throughput elástico por região, consulte Cotas do Amazon EFS que podem ser aumentadas.

Throughput provisionado

Com o modo de throughput provisionado, você especifica um nível de throughput que o sistema de arquivos pode gerar, independentemente do tamanho do sistema de arquivos ou do saldo de créditos de expansão. Use a taxa de transferência provisionada se você conhece os requisitos de desempenho da sua carga de trabalho ou se seu aplicativo gera uma taxa de transferência de 5% ou mais da proporção. average-to-peak

Com relação a sistemas de arquivos que usam throughput provisionado, a cobrança é feita de acordo com a quantidade de throughput habilitada para o sistema de arquivos. O valor da taxa de transferência cobrada em um mês é baseado na taxa de transferência provisionada além da taxa de transferência básica incluída no sistema de arquivos do armazenamento padrão, até os limites de taxa de transferência da linha de base de intermitência vigentes na Região da AWS.

Se a taxa de transferência básica do sistema de arquivos exceder a quantidade de taxa de transferência provisionada, ele usará automaticamente a taxa de transferência de intermitência permitida para o sistema de arquivos (até os limites de taxa de transferência da linha de base\ Bursting vigentes). Região da AWS

Para obter informações sobre limites por taxa de RegionProvisioned transferência, consulteCotas do Amazon EFS que podem ser aumentadas.

throughput de expansão

O throughput de expansão é recomendado para workloads que exigem um throughput que escala de acordo com a quantidade de armazenamento no sistema de arquivos. Com o Bursting Throughput, o throughput básico é proporcional ao tamanho do sistema de arquivos na classe de armazenamento Standard, a uma taxa de 50 por KiBps cada GiB de armazenamento. Os créditos de intermitência são acumulados quando o sistema de arquivos consome menos de sua taxa de transferência básica e são deduzidos quando a taxa de transferência excede a taxa básica.

Quando os créditos intermitentes estão disponíveis, um sistema de arquivos pode gerar uma taxa de transferência de até 100 por MiBps TiB de armazenamento, até o Região da AWS limite, com um mínimo de 100. MiBps Se nenhum crédito contínuo estiver disponível, um sistema de arquivos pode gerar até 50 MiBps por TiB de armazenamento, com um mínimo de 1. MiBps

Para obter informações sobre os limites de throughput de expansão por região, consulte General resource quotas that cannot be changed.

Entender os créditos de intermitência do Amazon EFS

Com o modo de throughput de expansão, cada sistema de arquivos ganha créditos de expansão ao longo do tempo a uma taxa de referência determinada pelo tamanho do sistema de arquivos armazenado na classe de armazenamento Standard do EFS. A taxa básica é de 50 MiBps por tebibyte [TiB] de armazenamento (equivalente a 50 KiBps por GiB de armazenamento). O Amazon EFS mede as operações de leitura em até um terço da taxa de operações de gravação, permitindo que o sistema de arquivos gere uma taxa básica de até 150 por KiBps GiB de taxa de transferência de leitura ou 50 por KiBps GiB de taxa de transferência de gravação.

Um sistema de arquivos pode impulsionar continuamente a taxa de transferência em sua taxa medida de linha de base. Um sistema de arquivos acumula créditos intermitentes sempre que está inativo ou gerando uma taxa de transferência abaixo da taxa de referência medida. Créditos de intermitência acumulada concedem ao sistema de arquivos a capacidade para gerar taxa de transferência acima da taxa de linha de base.

Por exemplo, um sistema de arquivos com 100 GiB de dados medidos na classe de armazenamento Standard tem uma taxa de transferência básica de 5. MiBps Durante um período de inatividade de 24 horas, o sistema de arquivos ganha 432.000 MiB em crédito (5 MiB × 86.400 segundos = 432.000 MiB), que pode ser usado para atingir 100 por 72 minutos (432.000 MiB ÷ 100 = 72 minutos). MiBps MiBps

Os sistemas de arquivos maiores que 1 TiB sempre podem gerar intermitência por até 50% do tempo, se estiverem inativos o restante dos 50% do tempo.

A tabela a seguir fornece exemplos de comportamento de intermitência.

Restrições na troca de modos de throughput e na alteração da quantidade provisionada

Você pode alternar o modo de taxa de transferência de um sistema de arquivos existente e alterar a quantidade de taxa de transferência. No entanto, depois de mudar o modo para throughput provisionado ou alterar o respectivo valor, as seguintes ações são restritas por um período de 24 horas:

Dicas de desempenho do Amazon EFS

Ao usar o EFS, mantenha as seguinte dicas de desempenho em mente:

Tamanho médio de E/S

A natureza distribuída do Amazon EFS oferece altos níveis de disponibilidade, durabilidade e escalabilidade. Essa arquitetura distribuída resulta em uma pequena sobrecarga de latência para cada operação de arquivo. Por causa dessa latência por operação, a taxa de transferência geral normalmente aumenta à medida que o tamanho da E/S cresce, porque a sobrecarga é amortizada em uma quantidade de dados maior.

Otimizando workloads que exigem alto throughput e IOPS

Para workloads que exigem alta taxa de throughput e IOPS, use sistemas de arquivos regionais configurados com o modo de desempenho de uso geral e o throughput elástico.

Para alcançar os mais altos níveis de desempenho, você deve aproveitar a paralelização configurando seu aplicativo ou workload da seguinte forma.

Conexões simultâneas

Você pode montar sistemas de arquivos do Amazon EFS em até milhares de instâncias computacionais da Amazon EC2 e de outras instâncias AWS computacionais simultaneamente. Você pode gerar níveis de taxa de transferência mais altos em seu sistema de arquivos de forma agregada em instâncias de computação se puder paralelizar seu aplicativo em mais instâncias.

Modelo de solicitação

Se você habilitar gravações assíncronas em seu sistema de arquivos, as operações de gravação pendentes serão armazenadas em buffer na instância da Amazon antes de serem gravadas no EC2 Amazon EFS de forma assíncrona. Normalmente, gravações assíncronas têm latências mais baixas. Ao executar gravações assíncronas, o kernel usa memória adicional para armazenamento em cache.

Um sistema de arquivos que habilitou gravações síncronas ou que abre arquivos usando uma opção que ignora o cache (por exemplo, O_DIRECT), emite solicitações síncronas ao Amazon EFS. Toda operação passa por um trajeto de ida e volta entre o cliente e o Amazon EFS.

Configurações de montagem do cliente NFS

Verifique se você está usando as opções de montagem recomendadas conforme descrito em Montagem de sistemas de arquivos do EFS e em Considerações de montagem para Linux.

Ao montar seus sistemas de arquivos em EC2 instâncias da Amazon, o Amazon EFS oferece suporte aos protocolos Network File System versão 4.0 e 4.1 (NFSv4). NFSv4.1 oferece melhor desempenho para operações paralelas de leitura de arquivos pequenos (mais de 10.000 arquivos por segundo) em comparação com NFSv4 .0 (menos de 1.000 arquivos por segundo). Para instâncias do Amazon EC2 macOS executando o macOS Big Sur, somente NFSv4 0,0 é compatível.

Não use as seguintes opções de montagem:

Otimizando o desempenho de arquivos pequenos

Você pode melhorar o desempenho de arquivos pequenos minimizando a reabertura de arquivos, aumentando o paralelismo e empacotando arquivos de referência sempre que possível.

Otimizar o desempenho de discos

Ao realizar uma listagem (ls) em diretórios muito grandes (mais de 100 mil arquivos) que estão sendo modificados simultaneamente, os clientes Linux NFS podem travar, sem retornar uma resposta. Esse problema foi corrigido no kernel 5.11, que foi portado para os kernels 4.14, 5.4 e 5.10 do Amazon Linux 2.

Recomendamos manter o número de diretórios em seu sistema de arquivos em menos de 10.000, se possível. Use subdiretórios aninhados o máximo possível.

Ao listar um diretório, evite obter atributos de arquivo se eles não forem necessários, pois eles não estão armazenados no próprio diretório.

Otimizar o tamanho do NFS read_ahead_kb

O atributo read_ahead_kb do NFS define o número de kilobytes para o kernel Linux ler antecipadamente ou fazer a busca prévia durante uma operação de leitura sequencial.

Para versões do kernel Linux anteriores à 5.4.*, o valor read_ahead_kb é definido multiplicando NFS_MAX_READAHEAD pelo valor para rsize (o tamanho do buffer de leitura configurado pelo cliente definido nas opções de montagem). Ao usar as Opções de montagem recomendadas, essa fórmula define read_ahead_kb como 15 MB.

O assistente de montagem do Amazon EFS que está disponível no amazon-efs-utils versão 1.33.2 e posterior modifica automaticamente o valor read_ahead_kb para ser igual a 15 *rsize, ou 15 MB, após montar o sistema de arquivos.

Para kernels Linux 5.4 ou posteriores, se você não usar o auxiliar de montagem para montar seus sistemas de arquivos, considere configurar manualmente o read_ahead_kb para 15 MB para melhorar o desempenho. Depois de montar o sistema de arquivos, você pode redefinir o valor de read_ahead_kb usando o comando a seguir. Antes de executar esse comando, substitua os seguintes valores:

device_number=$(stat -c '%d' efs-mount-point)
((major = ($device_number & 0xFFF00) >> 8))
((minor = ($device_number & 0xFF) | (($device_number >> 12) & 0xFFF00)))
sudo bash -c "echo read-ahead-value-kb > /sys/class/bdi/$major:$minor/read_ahead_kb"

O exemplo a seguir define o tamanho de read_ahead_kb como 15 MB.

device_number=$(stat -c '%d' efs)
((major = ($device_number & 0xFFF00) >> 8))
((minor = ($device_number & 0xFF) | (($device_number >> 12) & 0xFFF00)))
sudo bash -c "echo 15000 > /sys/class/bdi/$major:$minor/read_ahead_kb"