Desempenho e otimização do Gateway de Fitas - AWS Storage Gateway
Orientação de desempenho para gateways de fitasComo otimizar o desempenho de um gateway

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Desempenho e otimização do Gateway de Fitas

Esta seção descreve o desempenho do Storage Gateway.

Orientação de desempenho para gateways de fitas

Nesta seção, é possível encontrar orientações de configuração para provisionamento de hardware para sua VM de gateway de fitas. Os tipos e tamanhos de instâncias do Amazon EC2 que estão listados na tabela são exemplos e são fornecidos para referência.

Configuração Gbps de taxa de transferência de gravação Leitura de Gbps de taxa de transferência de cache Leia de Amazon Web Services Cloud Throughput (Gbps)

Plataforma host: instância do Amazon EC2, c5.4xlarge

CPU: 16 vCPU | RAM: 32 GB

Disco raiz: 80 GB, io1 SSD, 4.000 IOPs

Disco de cache: RAID distribuído (2 x 500 GB, SSD io1 EBS, 25000 IOPs)

Disco do buffer de upload: 450 GB, io1 SSD, 2000 IOPs

Largura de banda da rede para a nuvem: 10 Gbps

 2.3 4,0 2.2

Plataforma de hospedagem: dispositivo de hardware do Storage Gateway

Disco de cache: 2,5 TB

Disco do buffer de upload: 2 TB

Largura de banda da rede para a nuvem: 10 Gbps

2.3 8.8 3.8

Plataforma host: instância do Amazon EC2, c5d.9xlarge

CPU: 36 vCPU | RAM: 72 GB

Disco raiz: 80 GB, io1 SSD, 4.000 IOPs

Disco de cache: disco de 900 GB NVMe

Disco do buffer de upload: disco de 900 GB NVMe

Largura de banda da rede para a nuvem: 10 Gbps

 5.2 11.6 5.2

Plataforma host: instância do Amazon EC2, c5d.metal

CPU: 96 vCPU | RAM: 192 GB

Disco raiz: 80 GB, io1 SSD, 4.000 IOPs

Disco cache: RAID listrado (2 discos NVMe de 900 GB)

Disco do buffer de upload: disco de 900 GB NVMe

Largura de banda da rede para a nuvem: 10 Gbps

 5.2 11.6 7.2
nota

Este desempenho foi obtido usando um tamanho de bloco de 1 MB e dez unidades de fita simultaneamente.

As configurações do EC2 na tabela acima devem representar apenas o desempenho que pode ser obtido em seus próprios servidores físicos com recursos semelhantes. Por exemplo, as configurações do EC2 usando um RAID distribuído foram feitas por meio de um mecanismo especial que geralmente não é compatível com o gateway no EC2. Para obter um desempenho semelhante, você deve usar um controlador RAID de hardware conectado ao servidor on-premise que executa o gateway.

Seu desempenho pode variar com base na configuração da plataforma de hospedagem e na largura de banda da rede.

Para melhorar o desempenho do throughput de gravação e de leitura do gateway de fitas, consulte Otimizar as configurações iSCSI, Usar um tamanho de bloco maior para unidades de fita e Otimizar o desempenho de unidades de fita virtual no software de backup.

Como otimizar o desempenho de um gateway

Para obter o melhor desempenho do seu gateway, o Storage Gateway recomenda a seguinte configuração de gateway para o servidor host do gateway:

  • Pelo menos 64 núcleos de CPU físicos dedicados

  • Para o gateway de fitas , seu hardware deve dedicar as seguintes quantidades de RAM:

    • Pelo menos 16 GiB de RAM é reservada para os gateways com tamanho de cache de até 16 TiB

    • Pelo menos 32 GiB de RAM é reservada para os gateways com tamanho de cache de 16 TiB a 32 TiB

    • Pelo menos 48 GiB de RAM é reservada para os gateways com tamanho de cache de 32 TiB a 64 TiB

    nota

    Para um desempenho ideal do gateway, você deve provisionar pelo menos 32 GiB de RAM.

  • Disco 1, para ser usado como cache do gateway da seguinte forma:

    • Um RAID (matriz redundante de discos independentes) distribuído que consiste de SSDs NVMe.

  • Disco 2, para ser usado como buffer de upload do gateway da seguinte forma:

    • RAID listrado composto por SSDs NVMe.

  • Disco 3, para ser usado como buffer de upload do gateway da seguinte forma:

    • RAID listrado composto por SSDs NVMe.

  • Adaptador de rede 1 configurado na rede 1 da VM:

    • Use a rede 1 da VM e adicione o VMXnet3 (10 Gbps) para ser usado para ingestão.

  • Adaptador de rede 2 configurado na rede 2 da VM:

    • Use a rede 2 da VM e adicione o VMXnet3 (10 Gbps) para ser usado conexão com a AWS.

Como adicionar recursos ao seu gateway

Os gargalos a seguir podem reduzir o desempenho do seu gateway de fitas abaixo do throughput teórico máximo e contínuo (sua largura de banda para a nuvem da AWS):

  • Contagem de núcleos de CPU

  • Throughput do disco de buffer de cache/upload

  • Quantidade total de RAM

  • Largura de banda da rede para a AWS

  • Largura de banda da rede do iniciador ao gateway

Esta seção contém as etapas que podem ser seguidas para otimizar o desempenho do gateway. Esta orientação é baseada na adição de recursos ao gateway ou ao servidor de aplicações.

Você pode otimizar o desempenho do gateway adicionando recursos ao seu gateway em uma ou mais das seguintes maneiras.

Use discos de desempenho superior

O throughput do disco de cache e buffer de upload pode limitar o desempenho de upload e download do gateway. Se o gateway estiver exibindo um desempenho significativamente abaixo do esperado, considere melhorar o throughput do cache e do disco do buffer de upload da seguinte forma:

  • Usando um RAID distribuído, como o RAID 10, para melhorar o throughput do disco, de preferência com um controlador RAID de hardware.

    nota

    O RAID (matriz redundante de discos independentes) ou, especificamente, configurações de RAID com distribuição de disco, como o RAID 10, é o processo de dividir um corpo de dados em blocos e distribuir os blocos de dados em vários dispositivos de armazenamento. O nível de RAID usado afeta a velocidade exata e a tolerância a falhas que é possível alcançar. Ao distribuir as workloads de E/S em vários discos, o throughput do dispositivo RAID é muito maior do que o de qualquer disco de membro único.

  • Como usar discos de alto desempenho que são conectados diretamente

    Para otimizar o desempenho do gateway, você pode adicionar discos de alto desempenho, como unidades de estado sólido (SSDs) e um controlador NVMe. Você pode também anexar discos virtuais diretamente à sua VM em uma rede de área de armazenamento (SAN), e não no NTFS do Microsoft Hyper-V. Um disco com melhor desempenho geralmente contribui para uma taxa de transferência mais alta e mais operações de entrada/saída por segundo (IOPS).

    Para medir o throughput, use as métricas ReadBytes e WriteBytes com a estatística de Samples do Amazon CloudWatch. Por exemplo, a estatística Samples da métrica ReadBytes durante um período de amostra de 5 minutos divididos por 300 segundos fornece as IOPS. Como regra geral, ao analisar essas métricas para um gateway, procure taxas de transferência baixas e IOPS com baixas tendências para indicar gargalos relacionados ao disco. Para obter mais informações sobre métricas de gateway, consulte Como medir o desempenho entre o gateway de fitas e a AWS.

    nota

    Não existem métricas do CloudWatch disponíveis para todos os gateways. Para obter informações sobre métricas de gateway, consulte Como monitorar o Storage Gateway.

Adicionar mais discos de buffer de upload

Para ter um throughput de gravação maior, adicione pelo menos dois discos de buffer de upload. Quando os dados são gravados no gateway, eles são gravados e armazenados localmente nos discos de buffer de upload. Depois disso, os dados locais armazenados são lidos de forma assíncrona dos discos a serem processados e carregados na AWS. Adicionar mais discos de buffer de upload pode reduzir a quantidade de operações simultâneas de E/S realizadas em cada disco individual. Isso pode resultar em um throughput maior de gravação no gateway.

Respalde os discos virtuais com discos físicos separados.

Ao provisionar discos de gateway, é altamente recomendável não provisionar discos locais para o buffer de upload e o armazenamento em cache que usam os mesmos recursos subjacentes de armazenamento físico. Por exemplo, para VMware ESXi, os recursos subjacentes de armazenamento físico são representados como armazenamento de dados. Ao implantar a VM do gateway, você escolhe um armazenamento de dados para armazenar os arquivos da VM. Ao provisionar um disco virtual (por exemplo, como buffer de upload), você pode armazenar o disco virtual no mesmo armazenamento de dados que a VM ou em outro armazenamento de dados distinto.

Se você tiver mais de um armazenamento de dados, é altamente recomendável escolher um armazenamento de dados para cada tipo de armazenamento local que você estiver criando. O armazenamento de dados que conta apenas com um disco físico subjacente pode apresentar um desempenho ruim. Um exemplo é quando você usa um disco para apoiar o armazenamento em cache e o buffer de upload em uma configuração de gateway. Da mesma forma, um armazenamento de dados que conta uma configuração de RAID de desempenho mais baixo, como RAID 1 ou RAID 6, pode apresentar um desempenho ruim.

Adicione recursos de CPU ao host de seu gateway

O requisito mínimo para o servidor de host do gateway é quatro processadores virtuais. Para otimizar o desempenho do gateway, confirme se cada processador virtual atribuídos à VM do gateway contam com o suporte de um núcleo dedicado. Além disso, confirme se você não está comprometendo exageradamente as CPUs do servidor de host.

Ao adicionar mais CPUs ao servidor de host do gateway, você pode aumentar a capacidade de processamento do gateway. Isso permite que seu gateway lide paralelamente com o armazenamento de dados de sua aplicação no armazenamento local e o upload desses dados para o Amazon S3. As CPUs adicionais também ajudam a garantir que seu gateway tenha recursos de CPU suficientes quando o host for compartilhado com outras VMs. Ao fornecer recursos suficientes de CPU, o resultado de modo geral é a melhoria da taxa de transferência.

Aumente a largura de banda entre o gateway e a nuvem da AWS

Aumentar sua largura de banda de ida e volta da AWS aumentará a taxa máxima de entrada de dados em seu gateway e saída para a nuvem da AWS. Isto pode melhorar o desempenho do gateway se a velocidade da rede for o fator limitante na configuração do gateway, em vez de outros fatores, como discos lentos ou baixa largura de banda da conexão do iniciador do gateway.

A largura de banda da rede de ida e volta da AWS define o desempenho médio teórico máximo do seu gateway de fitas durante as workloads prolongadas.

  • A taxa média na qual é possível gravar dados do seu gateway de fitas em intervalos longos não excederá sua largura de banda de upload para a AWS.

  • A taxa média na qual é possível ler dados do seu gateway de fitas em intervalos longos não excederá sua largura de banda de download para a AWS.

nota

O desempenho observado do gateway provavelmente será menor do que a largura de banda da rede devido a outros fatores limitantes listados aqui, como o throughput do disco do buffer de cache/upload, a contagem de núcleos da CPU, a quantidade total de RAM ou a largura de banda entre o iniciador e o gateway. Além disso, a operação normal do gateway envolve muitas ações tomadas para proteger seus dados, o que pode fazer com que o desempenho observado seja menor que a largura de banda da rede.

Otimizar as configurações iSCSI

É possível otimizar as configurações iSCSI no iniciador iSCSI para obter maior desempenho de E/S. Recomendamos escolher 256 KiB para MaxReceiveDataSegmentLength e FirstBurstLength e 1 MiB para MaxBurstLength. Para obter mais informações sobre como definir configurações iSCSI, consulte Como personalizar as configurações iSCSI.

nota

Estas configurações recomendadas podem facilitar um melhor desempenho geral. No entanto, as configurações iSCSI específicas que são necessárias para otimizar o desempenho variam dependendo do software de backup usado. Para obter detalhes, consulte a documentação do software de backup.

Usar um tamanho de bloco maior para unidades de fita

Em um gateway de fitas, o tamanho de bloco padrão para uma unidade de fita é 64 KB. No entanto, você pode aumentar o tamanho de bloco para até 1 MB para melhorar o desempenho de E/S.

O tamanho de bloco escolhido depende do tamanho mínimo compatível com o software de backup. Recomendamos que você defina o tamanho de bloco das unidades de fita no seu software de backup como o maior tamanho possível. No entanto, esse tamanho de bloco não deve ser maior do que o tamanho máximo de 1 MB compatível com o gateway.

Os gateways de fitas negociam o tamanho de bloco de unidades de fita virtuais para corresponder automaticamente ao que está definido no software de backup. Quando você aumentar o tamanho de bloco no software de backup, recomendamos também verificar as configurações para garantir que o iniciador de host ofereça suporte ao novo tamanho de bloco. Para obter mais informações, consulte a documentação do software de backup. Para mais informações sobre orientações de desempenho específicas de gateway, consulte Desempenho e otimização do Gateway de Fitas.

Otimizar o desempenho de unidades de fita virtual no software de backup

O software de backup pode fazer backup de dados em até dez unidades de fita virtual em um gateway de fitas ao mesmo tempo. É recomendável configurar trabalhos de backup no software de backup para usar, pelo menos, quatro unidades de fita virtual simultâneas no gateway de fitas. Você pode obter uma melhor taxa de transferência de gravação quando o software de backup está fazendo backup de dados em mais de uma fita virtual ao mesmo tempo.

Como regra geral, é possível obter um throughput máximo mais alto operando (lendo ou gravando) mais fitas virtuais ao mesmo tempo. Ao usar mais unidades de fita, você permite que seu gateway atenda a mais solicitações simultaneamente, potencialmente melhorando o desempenho.

Como adicionar recursos ao seu ambiente de aplicativos

Aumente a largura de banda entre o servidor de aplicativos e o gateway

A conexão entre o iniciador iSCSI e o gateway pode limitar o desempenho de upload e download. Se o gateway estiver apresentando desempenho significativamente pior do que o esperado e você já tiver melhorado a contagem de núcleos de CPU e o throughput de disco, considere:

  • Como atualizar os cabos de rede para ter uma maior largura de banda entre o iniciador e o gateway.

  • Usando o maior número possível de drives de fita ao mesmo tempo. O iSCSI não suporta o enfileiramento de várias solicitações para o mesmo destino, o que significa que quanto mais drives de fita você usa, mais solicitações seu gateway pode atender simultaneamente. Isto permitirá que você utilize mais completamente a largura de banda entre o gateway e o iniciador, aumentando o throughput aparente do gateway.

Para otimizar o desempenho do gateway, confirme se a largura de banda da rede entre o aplicativo e o gateway pode atender às necessidades de seu aplicativo. É possível usar as métricas ReadBytes e WriteBytes do gateway para medir o total de throughput de dados. Para ter mais informações sobre essas métricas, consulte Como medir o desempenho entre o gateway de fitas e a AWS.

Para seu aplicativo, compare a taxa de transferência medidas com a taxa de transferência desejada. Se a taxa de transferência medida for inferior à taxa de transferência desejada, a ampliação da largura de banda entre o aplicativo e o gateway pode melhorar o desempenho se a rede for o gargalo. Da mesma forma, você pode aumentar a largura de banda entre a VM e os discos locais, se eles não estiverem diretamente vinculados.

Adicione recursos de CPU ao seu ambiente de aplicativos

Se seu aplicativo puder usar outros recursos de CPU, adicionar mais CPUs pode ajudar seu aplicativo a dimensionar a respectiva carga de E/S.