View a markdown version of this page

Dicas de desempenho - FSx para Lustre
Intelligent-Tiering dicas de desempenho

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Dicas de desempenho

Ao usar o Amazon FSx para Lustre, lembre-se das dicas de performance apresentadas a seguir. Para saber sobre limites de serviço, consulte Cotas de serviço para Amazon FSx for Lustre.

  • I/O Tamanho médio — Como o Amazon FSx for Lustre é um sistema de arquivos de rede, cada operação de arquivo passa por uma viagem de ida e volta entre o cliente e o Amazon FSx for Lustre, incorrendo em uma pequena sobrecarga de latência. Devido a essa latência por operação, a taxa de transferência geral geralmente aumenta à medida que o I/O tamanho médio aumenta, porque a sobrecarga é amortizada em uma quantidade maior de dados.

  • Modelo de solicitação: ao habilitar as gravações assíncronas em seu sistema de arquivos, as operações de gravação pendentes serão armazenadas em buffer na instância do Amazon EC2 antes de serem gravadas no Amazon FSx para Lustre de forma assíncrona. Normalmente, gravações assíncronas têm latências mais baixas. Ao executar gravações assíncronas, o kernel usa memória adicional para armazenamento em cache. Um sistema de arquivos que habilitou gravações síncronas emite solicitações síncronas para o Amazon FSx para Lustre. Cada operação passa por idas e vindas entre o cliente e o Amazon FSx para Lustre.

    nota

    O modelo de solicitação escolhido tem compensações em termos de consistência (se você estiver usando várias instâncias do Amazon EC2) e velocidade.

  • Limite o tamanho do diretório: para obter o desempenho ideal de metadados nos sistemas de arquivos Persistent 2 do FSx para Lustre, limite cada diretório a menos de 100 mil arquivos. A limitação do número de arquivos em um diretório reduz o tempo necessário para que o sistema de arquivos adquira um bloqueio no diretório principal.

  • Instâncias do Amazon EC2: as aplicações que executam um grande número de operações de leitura e de gravação provavelmente precisam de mais memória ou capacidade de computação do que as aplicações que não o fazem. Ao iniciar as instâncias do Amazon EC2 para a workload com uso intensivo de computação, escolha tipos de instâncias com a quantidade desses recursos que é requerida para sua aplicação. As características de desempenho dos sistemas de arquivos do Amazon FSx para Lustre não dependem do uso de instâncias otimizadas para o Amazon EBS.

  • Ajuste recomendado da instância do cliente para um desempenho ideal

    1. Para tipos de instâncias de clientes com memória superior a 64 GiB, recomendamos aplicar o seguinte ajuste:

      sudo lctl set_param ldlm.namespaces.*.lru_max_age=600000
sudo lctl set_param ldlm.namespaces.*.lru_size=<100 * number_of_CPUs>

    2. Para tipos de instâncias de clientes com mais de 64 núcleos de vCPU, recomendamos aplicar o seguinte ajuste:

      echo "options ptlrpc ptlrpcd_per_cpt_max=32" >> /etc/modprobe.d/modprobe.conf
echo "options ksocklnd credits=2560" >> /etc/modprobe.d/modprobe.conf
            
# reload all kernel modules to apply the above two settings
sudo reboot

      Após a montagem do cliente, o seguinte ajuste precisa ser aplicado:

      sudo lctl set_param osc.*OST*.max_rpcs_in_flight=32
sudo lctl set_param mdc.*.max_rpcs_in_flight=64
sudo lctl set_param mdc.*.max_mod_rpcs_in_flight=50

    3. Para otimizar o desempenho da listagem de diretórios (ls), o seguinte ajuste precisa ser aplicado:

      sudo lctl set_param llite.*.statahead_max=512
sudo lctl set_param llite.*.statahead_agl=1
if sudo lctl get_param llite.*.statahead_xattr > /dev/null 2>&1; then
    sudo lctl set_param llite.*.statahead_xattr=1
else
    echo "Warning: Xattr statahead is not supported on this Lustre client. Please upgrade to the latest Lustre 2.15 client to apply this tuning"
fi

    Observe que lctl set_param é conhecido por não persistir durante a reinicialização. Como esses parâmetros não podem ser definidos de forma permanente do lado do cliente, é recomendável implementar tarefas do Cron de inicialização para definir a configuração com os ajustes recomendados.

  • Equilíbrio da workload entre OSTs: em alguns casos, a workload não está gerando o throughput agregado que o sistema de arquivos pode fornecer (200 MBps por TiB de armazenamento). Nesse caso, você pode usar CloudWatch métricas para solucionar problemas se o desempenho for afetado por um desequilíbrio nos padrões da sua carga de trabalho. I/O Para identificar se essa é a causa, veja a CloudWatch métrica máxima do Amazon FSx for Lustre.

    Em alguns casos, essa estatística mostra uma carga igual ou superior a 240 MBps de throughput (a capacidade de throughput de um único disco do Amazon FSx para Lustre de 1,2 TiB). Nesses casos, a workload não está distribuída uniformemente pelos discos. Se for esse o caso, você poderá usar o comando lfs setstripe para modificar a distribuição dos arquivos que a workload acessa com mais frequência. Para obter uma performance ideal, distribua arquivos com requisitos de alto throughput em todos os OSTs que compõem o sistema de arquivos.

    Se os arquivos forem importados de um repositório de dados, você poderá adotar outra abordagem para distribuir uniformemente os arquivos de alto throughput em seus OSTs. Para fazer isso, é possível modificar o parâmetro ImportedFileChunkSize ao criar seu próximo sistema de arquivos do Amazon FSx para Lustre.

    Por exemplo, suponha que a workload use um sistema de arquivos de 7,0 TiB (que é composto por seis OSTs de 1,17 TiB) e precise gerar alto throughput em arquivos de 2,4 GiB. Nesse caso, você pode definir o valor ImportedFileChunkSize como (2.4 GiB / 6 OSTs) = 400 MiB para que os arquivos sejam distribuídos uniformemente pelos OSTs do sistema de arquivos.

  • Lustrecliente para IOPS de metadados — Se seu sistema de arquivos tiver uma configuração de metadados especificada, recomendamos que você instale um cliente Lustre 2.15 ou um cliente Lustre 2.12 com uma das seguintes versões do sistema operacional: Amazon Linux 2023; Amazon Linux 2; Red Hat/Rocky Linux 8.9, 8.10 ou 9.x; CentOS 8.9 ou 8.10; Ubuntu 22+ com kernel 6.2, 6.5 ou 6.8; ou Ubuntu 20.

Intelligent-Tiering considerações de desempenho

Aqui estão algumas considerações importantes sobre desempenho ao trabalhar com sistemas de arquivos usando a classe Intelligent-Tiering de armazenamento:

  • As cargas de trabalho que leem dados com I/O tamanhos menores exigirão maior simultaneidade e incorrerão em mais custos de solicitação para obter a mesma taxa de transferência das cargas de trabalho que usam I/O tamanhos grandes devido à maior latência dos níveis de armazenamento. Intelligent-Tiering Recomendamos que você configure seu cache de leitura do SSD com a capacidade suficiente para sustentar maior simultaneidade e throughput ao trabalhar com tamanhos de E/S menores.

  • O máximo de IOPS de disco que seus clientes podem gerar com um sistema de Intelligent-Tiering arquivos depende dos padrões de acesso específicos da sua carga de trabalho e se você provisionou um cache de leitura SSD. Para workloads com acesso aleatório, os clientes normalmente podem gerar IOPS muito maiores se os dados estiverem armazenados em cache no cache de leitura do SSD do que se os dados não estiverem no cache.

  • Intelligent-Tiering a classe de armazenamento oferece suporte à leitura antecipada para otimizar o desempenho das solicitações de leitura sequencial. Recomendamos configurar seu padrão de acesso aos dados sequencialmente sempre que possível para permitir a pré-busca de dados e maior desempenho.