Gerenciar armazenamento no FSx para Windows File Server
A configuração de armazenamento do seu sistema de arquivos inclui a quantidade de capacidade de armazenamento provisionado, o tipo de armazenamento e, se o tipo de armazenamento for uma unidade de estado sólido (SSD), a quantidade de IOPS SSD. Durante e após a criação do sistema de arquivos, é possível configurar esses recursos junto com a capacidade de throughput do sistema de arquivos para atingir o nível de desempenho desejado para sua workload. Explore os tópicos a seguir e aprenda a gerenciar o armazenamento do seu sistema de arquivos e o desempenho relacionado ao armazenamento usando o AWS Management Console, a AWS CLI e a API do Amazon FSx para gerenciamento remoto no PowerShell.
Tópicos
- Otimizar custos do armazenamento
- Como gerenciar a capacidade de armazenamento
- Gerenciar o tipo de armazenamento do seu sistema de arquivos
- Como gerenciar IOPS de SSD
- Reduzir os custos de armazenamento com desduplicação de dados
- Gerenciar cotas de armazenamento
- Aumentar a capacidade de armazenamento do sistema de arquivos
- Como monitorar os aumentos da capacidade de armazenamento
- Como aumentar dinamicamente a capacidade de armazenamento de um sistema de arquivos do FSx para Windows File Server
- Atualização do tipo de armazenamento de um sistema de arquivos do FSx para Windows
- Como monitorar as atualizações de tipo de armazenamento
- Atualizar as IOPS SSD de um sistema de arquivos
- Monitorar atualizações de IOPS de SSD provisionadas
- Como gerenciar a eliminação de duplicação de dados
- Solução de problemas da eliminação de duplicação dos dados
Otimizar custos do armazenamento
Você pode otimizar seus custos com armazenamento usando as opções de configuração de armazenamento disponíveis no FSx para Windows.
Opções de tipo de armazenamento: o FSx para Windows File Server oferece dois tipos de armazenamento (unidades de disco rígido [HDD] e unidades de estado sólido [SSD]), para que você possa otimizar a relação entre custo e desempenho para atender às necessidades da sua workload. O armazenamento em HDD foi projetado para um amplo espectro de workloads, incluindo diretórios pessoais, compartilhamentos de usuários e departamentos e sistemas de gerenciamento de conteúdo. O armazenamento SSD foi projetado para as workloads de mais alta performance e mais sensíveis à latência, incluindo bancos de dados, workloads de processamento de mídia e aplicações de data analytics. Para obter mais informações sobre os tipos de armazenamento e o desempenho do sistema de arquivos, consulte Performance do FSx para Windows File Server.
Desduplicação de dados: grandes conjuntos de dados costumam ter dados redundantes, o que aumenta os custos de armazenamento de dados. Por exemplo, os compartilhamentos de arquivos do usuário podem ter várias cópias do mesmo arquivo, armazenadas por vários usuários. Os compartilhamentos de desenvolvimento de software podem conter muitos binários que permanecem inalterados de uma compilação para outra. Você pode reduzir seus custos de armazenamento de dados ativando a eliminação de duplicação dos dados no sistema de arquivos. Quando ativada, a eliminação de duplicação dos dados reduz ou elimina automaticamente os dados redundantes, armazenando as partes duplicadas do conjunto de dados apenas uma vez. Para obter mais informações sobre a eliminação de duplicação dos dados e como ativá-la facilmente em seu sistema de arquivos do Amazon FSx, consulte Reduzir os custos de armazenamento com desduplicação de dados.
Como gerenciar a capacidade de armazenamento
Você pode aumentar a capacidade de armazenamento do sistema de arquivos do FSx para Windows de acordo com as mudanças dos seus requisitos de armazenamento. Para fazê-lo, você pode usar o console do Amazon FSx, a API do Amazon FSx ou a AWS Command Line Interface (AWS CLI). Os fatores a levar em consideração ao planejar um aumento na capacidade de armazenamento incluem saber quando você precisa aumentar a capacidade de armazenamento, entender como o Amazon FSx processa os aumentos de capacidade de armazenamento e acompanhar o andamento de uma solicitação de aumento de armazenamento. Você só pode aumentar a capacidade de armazenamento de um sistema de arquivos, não sendo possível diminuí-la.
nota
Você não pode aumentar a capacidade de armazenamento de sistemas de arquivos criados antes de 23 de junho de 2019 ou de sistemas de arquivos restaurados com base em um backup pertencente a um sistema de arquivos criado antes de 23 de junho de 2019.
Quando você aumenta a capacidade de armazenamento de um sistema de arquivos do Amazon FSx, o Amazon FSx adiciona automaticamente um conjunto de discos novo e maior ao sistema de arquivos. Em seguida, o Amazon FSx executa um processo de otimização de armazenamento em segundo plano para migrar de forma transparente os dados dos discos antigos para os novos discos. Dependendo do tipo de armazenamento e de outros fatores, a otimização do armazenamento pode levar de algumas horas a vários dias, com um impacto mínimo perceptível sobre o desempenho da workload. Durante essa otimização, o uso do backup é temporariamente maior, porque os volumes de armazenamento antigos e novos estão incluídos nos backups no nível de sistema de arquivos. Ambos os conjuntos de volumes de armazenamento são incluídos para garantir que o Amazon FSx possa obter e restaurar backups com êxito, mesmo durante a atividade de escalabilidade de armazenamento. O uso do backup faz a reversão ao nível básico anterior depois que os volumes de armazenamento antigos não estão mais incluídos no histórico de backup. Quando a nova capacidade de armazenamento estiver disponível, você será cobrado somente pela nova capacidade de armazenamento.
A ilustração a seguir mostra as quatro etapas principais do processo que o Amazon FSx usa quando aumenta a capacidade de armazenamento de um sistema de arquivos.
Você pode acompanhar o andamento da otimização do armazenamento, dos aumentos da capacidade de armazenamento SSD ou das atualizações do IOPS SSD a qualquer momento usando o console do Amazon FSx, a CLI ou a API. Para obter mais informações, consulte Como monitorar os aumentos da capacidade de armazenamento.
O que saber sobre o aumento da capacidade de armazenamento de um sistema de arquivos
Aqui estão alguns itens importantes a serem considerados ao aumentar a capacidade de armazenamento:
-
Apenas aumentar: você só pode aumentar a capacidade de armazenamento de um sistema de arquivos, não pode diminuí-la.
-
Aumento mínimo: cada aumento na capacidade de armazenamento deve ser, no mínimo, de 10% da capacidade de armazenamento atual do sistema de arquivos, até o valor máximo permitido de 65.536 GiB.
-
Capacidade de throughput mínima: para aumentar a capacidade de armazenamento, o sistema de arquivos deve ter uma capacidade de throughput mínima de 16 MB/s. Isso ocorre porque a etapa de otimização do armazenamento é um processo que exige throughput elevado.
-
Tempo entre os aumentos: não é possível fazer mais aumentos de capacidade de armazenamento em um sistema de arquivos até seis horas após a solicitação do último aumento ou até que o processo de otimização de armazenamento seja concluído, o que for mais longo. A otimização do armazenamento pode levar de algumas horas a alguns dias para ser concluída. Para minimizar o tempo necessário para a conclusão da otimização do armazenamento, recomendamos o aumento da capacidade de throughput do sistema de arquivos antes do aumento da capacidade de armazenamento (a capacidade de throughput pode ser reduzida novamente após a conclusão da escalabilidade do armazenamento) e o aumento da capacidade de armazenamento quando houver tráfego mínimo no sistema de arquivos.
nota
Certos eventos do sistema de arquivos podem consumir recursos de performance de E/S de disco. Por exemplo:
A fase de otimização da escalabilidade da capacidade de armazenamento pode gerar maior throughput de disco e causar avisos de performance. Para obter mais informações, consulte Avisos e recomendações de performance.
Saber quando aumentar a capacidade de armazenamento
Aumente a capacidade de armazenamento do sistema de arquivos quando ele estiver com pouca capacidade de armazenamento livre. Use a métrica FreeStorageCapacity
do CloudWatch para monitorar a quantidade de armazenamento livre disponível no sistema de arquivos. Você pode criar um alarme do Amazon CloudWatch nessa métrica e receber notificações quando ela se tornar inferior a um limite específico. Para obter mais informações, consulte Monitorar o com o Amazon CloudWatch.
Recomendamos manter pelo menos 10% da capacidade de armazenamento livre em todos os momentos em seu sistema de arquivos. O uso de toda a capacidade de armazenamento pode afetar negativamente a performance e introduzir inconsistências de dados.
Você poderá aumentar automaticamente a capacidade de armazenamento do sistema de arquivos quando a capacidade de armazenamento livre cair abaixo de um limite definido que você especificar. Use o modelo personalizado do AWS CloudFormation desenvolvido pela AWS para implantar todos os componentes necessários para a implementação da solução automatizada. Para obter mais informações, consulte Como aumentar a capacidade de armazenamento de forma dinâmica.
Aumentos da capacidade de armazenamento e performance do sistema de arquivos
A maioria das workloads sofre um impacto mínimo na performance enquanto o Amazon FSx executa o processo de otimização de armazenamento em segundo plano após a disponibilidade da nova capacidade de armazenamento. Aplicações com uso pesado de gravação e grandes conjuntos de dados ativos podem temporariamente sofrer uma redução de até a metade na performance de gravação. Nesses casos, você pode primeiro aumentar a capacidade de throughput do sistema de arquivos antes de aumentar a capacidade de armazenamento. Isso permite que você continue a fornecer o mesmo nível de throughput para atender às necessidades de performance da aplicação. Para obter mais informações, consulte Gerenciar a capacidade de throughput em sistemas de arquivos do FSx para Windows File Server.
Gerenciar o tipo de armazenamento do seu sistema de arquivos
Você pode alterar o tipo de armazenamento do sistema de arquivos de HDD para SSD usando o AWS Management Console e a AWS CLI. Ao alterar o tipo de armazenamento para SSD, lembre-se de que você não poderá atualizar a configuração do sistema de arquivos novamente até 6 horas após a solicitação do último aumento ou até que o processo de otimização do armazenamento seja concluído, o que demorar mais. A otimização do armazenamento pode levar de algumas horas a alguns dias para ser concluída. Para minimizar esse tempo, recomendamos atualizar o tipo de armazenamento quando houver tráfego mínimo no sistema de arquivos. Para obter mais informações, consulte Atualização do tipo de armazenamento de um sistema de arquivos do FSx para Windows.
Você não pode alterar o tipo de armazenamento do sistema de arquivos de SSD para HDD. Se você quiser alterar o tipo de armazenamento de um sistema de arquivos de SSD para HDD, precisará restaurar um backup do sistema de arquivos em um novo sistema de arquivos configurado para usar o armazenamento em HDD. Para obter mais informações, consulte Restaurar backups em um novo sistema de arquivos.
Sobre os tipos de armazenamento
Você pode configurar o sistema de arquivos do FSx para Windows File Server para usar o tipo de armazenamento de unidade de estado sólido (SSD) ou de unidade de disco rígido (HDD) magnético.
O armazenamento SSD é apropriado para a maioria das workloads de produção que têm requisitos de alta performance e sensibilidade à latência. Exemplos dessas workloads incluem bancos de dados, data analytics, processamento de mídia e aplicações de negócios. Também recomendamos o SSD para casos de uso que envolvam um grande número de usuários finais, altos níveis de E/S ou conjuntos de dados que tenham um grande número de arquivos pequenos. Por fim, recomendamos o uso de armazenamento SSD se você planeja habilitar cópias de sombra. Você pode configurar e escalar IOPS de SSD para sistemas de arquivos com armazenamento SSD, mas não armazenamento em HDD.
O armazenamento HDD foi desenvolvido para um amplo espectro de workloads, incluindo diretórios iniciais, compartilhamentos de arquivos de usuários e departamentos, além de sistemas de gerenciamento de conteúdo. O armazenamento em HDD tem um custo menor em relação ao armazenamento SSD, mas com latências mais altas e níveis mais baixos de taxa de throughput e IOPS de disco por unidade de armazenamento. Ele pode ser adequado para compartilhamentos de usuários de uso geral e diretórios de base com baixos requisitos de E/S, grandes sistemas de gerenciamento de conteúdo (CMS) em que os dados são recuperados com pouca frequência ou conjuntos de dados com pequenos números de arquivos grandes.
Para obter mais informações, consulte Configuração e performance do armazenamento.
Como gerenciar IOPS de SSD
Para sistemas de arquivos configurados com armazenamento SSD, a quantidade de IOPS SSD determina a quantidade de E/S de disco disponível quando seu sistema de arquivos precisa ler e gravar dados no disco, ao contrário dos dados que estão no cache. Você pode selecionar e escalar a quantidade de IOPS SSD independentemente da capacidade de armazenamento. O máximo de IOPS de SSD que você pode provisionar depende da capacidade de armazenamento e da capacidade de throughput que você seleciona para o sistema de arquivos. Se você tentar aumentar as IOPS SSD acima do limite compatível com a capacidade de throughput, talvez seja necessário aumentar a capacidade de throughput para alcançar esse nível de IOPS SSD. Para obter mais informações, consulte Performance do FSx para Windows File Server e Gerenciar a capacidade de throughput em sistemas de arquivos do FSx para Windows File Server.
Veja alguns itens importantes que você precisa saber sobre como atualizar as IOPS SSD de um sistema de arquivos:
Como escolher um modo de IOPS, pois há dois modos de IOPS para escolher:
Automática: escolha esse modo e o Amazon FSx escalará automaticamente suas IOPS SSD para manter 3 IOPS SSD por GiB de capacidade de armazenamento, até 400.000 IOPS SSD por sistema de arquivos.
Provisionada pelo usuário: escolha esse modo para especificar o número de IOPS SSD no intervalo de 96 a 400.000. Especifique um número entre 3 e 50 IOPS por GiB de capacidade de armazenamento em todas as Regiões da AWS nas quais o Amazon FSx está disponível ou entre 3 e 500 IOPS por GiB de capacidade de armazenamento nas regiões Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon), Leste dos EUA (Ohio), Europa (Irlanda), Ásia-Pacífico (Tóquio) e Ásia-Pacífico (Singapura). A solicitação vai falhar quando você escolher o modo provisionado pelo usuário e a quantidade de IOPS SSD que você especifica não é pelo menos 3 IOPS por GiB. Para níveis mais altos de IOPS de SSD provisionada, você paga pela média de IOPS acima de 3 IOPS por GiB por sistema de arquivos.
Atualizações da capacidade de armazenamento: se você aumentar a capacidade de armazenamento do sistema de arquivos e a quantidade exigir, por padrão, uma quantidade de IOPS SSD que seja superior ao nível atual de IOPS SSD, o Amazon FSx alternará automaticamente o sistema de arquivos para o modo Automático e o sistema de arquivos terá no mínimo 3 IOPS SSD por GiB de capacidade de armazenamento.
Atualizações da capacidade de throughput: se você aumentar a capacidade de throughput e a IOPS de SSD compatível com a nova capacidade de throughput for superior ao nível de IOPS de SSD provisionado pelo usuário, o Amazon FSx alternará automaticamente o sistema de arquivos para o modo Automático.
Frequência dos aumentos de IOPS SSD: não é possível fazer aumentos adicionais de IOPS SSD, aumentos da capacidade de throughput ou atualizações no tipo de armazenamento em um sistema de arquivos até 6 horas após a última solicitação de aumento ou até que o processo de otimização de armazenamento tenha sido concluído, o que for mais demorado. A otimização do armazenamento pode levar de algumas horas a alguns dias para ser concluída. Para minimizar o tempo necessário para a conclusão da otimização do armazenamento, recomendamos escalar a IOPS de SSD quando houver tráfego mínimo no sistema de arquivos.
nota
Observe que níveis de capacidade de throughput de 4.608 MBps ou mais são compatíveis apenas nas seguintes Regiões da AWS: Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon), Leste dos EUA (Ohio), Europa (Irlanda), Ásia-Pacífico (Tóquio) e Ásia-Pacífico (Singapura).
Para obter mais informações sobre como atualizar a quantidade de IOPS SSD do sistema de arquivos do FSx para Windows File Server, consulte Atualizar as IOPS SSD de um sistema de arquivos.
Reduzir os custos de armazenamento com desduplicação de dados
A desduplicação de dados, geralmente chamada de desduplicação, ajuda os administradores de armazenamento a reduzir os custos associados a dados duplicados. Com o FSx para Windows File Server, você pode usar a Eliminação de Duplicação de Dados da Microsoft para identificar e eliminar dados redundantes. Grandes conjuntos de dados geralmente têm dados redundantes, o que aumenta os custos de armazenamento de dados. Por exemplo:
Os compartilhamentos de arquivos do usuário podem ter várias cópias dos mesmos arquivos ou de arquivos semelhantes.
Os repositórios de desenvolvimento de software podem conter muitos binários que permanecem inalterados de uma compilação para outra.
Você pode reduzir seus custos de armazenamento de dados habilitando a eliminação de duplicação de dados no sistema de arquivos. A eliminação de duplicação de dados reduz ou elimina dados redundantes ao armazenar partes duplicadas do conjunto de dados somente uma vez. Ao habilitar a eliminação de duplicação de dados, a compressão de dados é habilitada por padrão, comprimindo os dados após a desduplicação para promover ainda mais economia. A desduplicação de dados otimiza as redundâncias sem comprometer a fidelidade ou a integridade dos dados. A eliminação de duplicação de dados é executada como um processo em segundo plano que verifica e otimiza seu sistema de arquivos de forma contínua e automática, além de ser transparente para seus usuários e clientes conectados.
A economia de armazenamento que você pode obter com a eliminação de duplicação de dados depende da natureza do seu conjunto de dados, incluindo a quantidade de duplicação existente nos arquivos. A economia típica é em média de 50 a 60% para compartilhamentos de arquivos de uso geral. Em compartilhamentos, as economias variam de 30 a 50% para documentos do usuário a 70 a 80% para conjuntos de dados de desenvolvimento de software. Você pode medir a economia potencial da desduplicação usando o comando Measure-FSxDedupFileMetadata
do PowerShell remoto descrito abaixo.
Você também pode personalizar a eliminação de duplicação de dados para atender às suas necessidades específicas de armazenamento. Por exemplo, você pode configurar a eliminação de duplicação para ser executada somente em determinados tipos de arquivo ou criar uma programação de trabalho personalizada. Como os trabalhos de desduplicação podem consumir recursos do servidor de arquivos, recomendamos monitorar o status dos trabalhos de desduplicação usando o Get-FSxDedupStatus
.
Para obter informações sobre como configurar a desduplicação de dados em seu sistema de arquivos, consulte Como gerenciar a eliminação de duplicação de dados.
Para obter informações sobre como solucionar problemas relacionados à desduplicação de dados, consulte .
Para obter mais informações sobre a eliminação de duplicação de dados, consulte a documentação da Microsoft Noções básicas da eliminação de duplicação de dados
Atenção
Não é recomendável executar determinados comandos do Robocopy com eliminação de duplicação de dados, pois esses comandos podem afetar a integridade dos dados do armazenamento em blocos. Para obter mais informações, consulte a documentação Data Deduplication Interoperability
Práticas recomendadas ao usar a desduplicação de dados
Veja a seguir algumas práticas recomendadas para usar a eliminação de duplicação de dados:
Programar trabalhos de eliminação de duplicação de dados para serem executados quando o sistema de arquivos estiver inativo: a programação padrão inclui um trabalho
GarbageCollection
semanal às 2h45 UTC, aos sábados. Pode levar várias horas para ser concluído, se você tiver uma grande quantidade de rotatividade de dados em seu sistema de arquivos. Se esse horário não for ideal para sua workload, agende essa tarefa para ser executada em um momento em que você espera pouco tráfego em seu sistema de arquivos.Configurar capacidade de throughput suficiente para que a eliminação de duplicação de dados seja concluída: capacidades de throughput mais altas fornecem níveis mais altos de memória. A Microsoft recomenda ter 1 GB de memória por 1 TB de dados lógicos para executar a eliminação de duplicação de dados. Use a tabela de performance do Amazon FSx para determinar a memória associada à capacidade de throughput do seu sistema de arquivos e garantir que os recursos de memória sejam suficientes para o tamanho dos seus dados.
Personalizar as configurações de eliminação de duplicação de dados para atender às suas necessidades específicas de armazenamento e reduzir os requisitos de performance: você pode restringir a otimização para execução em tipos de arquivos ou pastas específicos ou definir um tamanho mínimo de arquivo e uma idade para otimização. Para saber mais, consulte Reduzir os custos de armazenamento com desduplicação de dados.