As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

O que é o Amazon FSx for Lustre?

FSxfor Lustre torna fácil e econômico iniciar e executar o popular sistema de arquivos Lustre de alto desempenho. Você usa o Lustre para cargas de trabalho em que a velocidade é importante, como aprendizado de máquina, computação de alto desempenho (HPC), processamento de vídeo e modelagem financeira.

O sistema de arquivos de código aberto do Lustre foi projetado para aplicações que exigem armazenamento rápido, em que você deseja que o armazenamento acompanhe a computação. O Lustre foi criado para resolver o problema do processamento rápido e barato dos conjuntos de dados cada vez maiores do mundo. É um sistema de arquivos amplamente usado, projetado para os computadores mais rápidos do mundo. Ele fornece latências inferiores a um milissegundo, até centenas de taxa GBps de transferência e até milhões de. IOPS Para obter mais informações, visite o site do Lustre.

Como um serviço totalmente gerenciado, a Amazon FSx facilita o uso do Lustre para cargas de trabalho em que a velocidade de armazenamento é importante. FSxfor Lustre elimina a complexidade tradicional de configurar e gerenciar sistemas de arquivos Lustre, permitindo que você crie e execute um sistema de arquivos de alto desempenho testado em minutos. Ele também fornece várias opções de implantação para que você possa otimizar o custo de acordo com suas necessidades.

FSxfor Lustre é POSIX compatível, então você pode usar seus aplicativos atuais baseados em Linux sem precisar fazer nenhuma alteração. FSxfor Lustre fornece uma interface nativa de sistema de arquivos e funciona como qualquer sistema de arquivos com seu sistema operacional Linux. Ele também fornece read-after-write consistência e suporta o bloqueio de arquivos.

Várias opções de implantação

O Amazon FSx for Lustre oferece uma opção de sistemas de arquivos temporários e persistentes para acomodar diferentes necessidades de processamento de dados. Os sistemas de arquivos transitórios são ideais para armazenamento temporário e para processamento de dados de curto prazo. Os dados não são replicados e não persistem no caso de falha em um servidor de arquivos. Os sistemas de arquivos persistentes são ideais para armazenamento de longo prazo e workloads com foco no throughput. Nos sistemas de arquivos persistentes, os dados são replicados e os servidores de arquivos são substituídos quando apresentam falhas. Para obter mais informações, consulte Opções de implantação para sistemas de arquivos do FSx para Lustre.

Várias opções de armazenamento

O Amazon FSx for Lustre oferece uma variedade de tipos de armazenamento em unidade de estado sólido (SSD) e unidade de disco rígido (HDD) que são otimizados para diferentes requisitos de processamento de dados:

Se você estiver provisionando um sistema de arquivos com a opção de HDD armazenamento, você pode, opcionalmente, provisionar um SSD cache somente para leitura que seja dimensionado para 20% da sua capacidade de armazenamento. HDD Isso fornece latências inferiores a um milissegundo ou mais IOPS para arquivos acessados com frequência. Os sistemas de arquivos SSD HDD baseados e baseados são provisionados com servidores de metadados SSD baseados. Como resultado, todas as operações de metadados, que representam a maioria das operações do sistema de arquivos, são fornecidas com latências inferiores a um milissegundo.

Para obter mais informações sobre a performance dessas opções de armazenamento, consulte Desempenho do Amazon FSx for Lustre.

FSxpara Lustre e repositórios de dados

Você pode vincular FSx os sistemas de arquivos Lustre a repositórios de dados no Amazon S3 ou a datastores locais.

FSxpara integração do repositório de dados Lustre S3

FSxfor Lustre se integra ao Amazon S3, facilitando o processamento de conjuntos de dados na nuvem usando o sistema de arquivos de alto desempenho Lustre. Quando vinculado a um bucket do Amazon S3, um sistema de arquivos FSx for Lustre apresenta de forma transparente objetos do S3 como arquivos. A Amazon FSx importa listagens de todos os arquivos existentes em seu bucket do S3 na criação do sistema de arquivos. A Amazon também FSx pode importar listas de arquivos adicionados ao repositório de dados após a criação do sistema de arquivos. Você pode definir as preferências de importação para atender às suas necessidades de fluxo de trabalho. O sistema de arquivos também possibilita que você grave os dados do sistema de arquivos novamente no S3. As tarefas do repositório de dados simplificam a transferência de dados e metadados entre seu sistema de arquivos FSx for Lustre e seu repositório de dados durável no Amazon S3. Para ter mais informações, consulte Usando repositórios de dados com o Amazon FSx for Lustre e Tarefas de repositório de dados.

FSxpara Lustre e repositórios de dados locais

Com o Amazon FSx for Lustre, você pode expandir suas cargas de trabalho de processamento de dados do local para o Nuvem AWS importando dados usando ou. AWS Direct Connect AWS VPN Para obter mais informações, consulte Usando a Amazon FSx com seus dados locais.

Acesso aos FSx sistemas de arquivos Lustre

Você pode misturar e combinar os tipos de instância de computação e o Linux Amazon Machine Images (AMIs) que estão conectados a um único sistema de arquivos FSx for Lustre.

Os sistemas de arquivos Amazon FSx for Lustre podem ser acessados a partir de cargas de trabalho computacionais executadas em instâncias do Amazon Elastic Compute Cloud (AmazonEC2), em contêineres Docker do Amazon Elastic Container Service (AmazonECS) e em contêineres executados no Amazon Elastic Kubernetes Service (Amazon). EKS

O Amazon FSx for Lustre é compatível com os mais populares baseados em Linux, AMIs incluindo Amazon Linux 2023 e Amazon Linux 2, Red Hat Enterprise Linux ()RHEL, CentOS, Ubuntu e Linux. SUSE O cliente Lustre está incluído no Amazon Linux 2023 e no Amazon Linux 2. Para RHEL CentOS e Ubuntu, um repositório de clientes AWS Lustre fornece clientes compatíveis com esses sistemas operacionais.

Usando FSx o Lustre, você pode expandir suas cargas de trabalho de computação intensiva do local para o Nuvem AWS importando dados por ou. AWS Direct Connect AWS Virtual Private Network Você pode acessar o sistema de FSx arquivos da Amazon localmente, copiar dados para o sistema de arquivos conforme necessário e executar cargas de trabalho com uso intensivo de computação em instâncias na nuvem.

Para obter mais informações sobre clientes, instâncias de computação e ambientes a partir dos quais você pode acessar os sistemas FSx de arquivos Lustre, consulte. Acesso a sistemas de arquivos

Integrações com serviços AWS

O Amazon FSx for Lustre se integra à Amazon SageMaker como fonte de dados de entrada. Ao usar SageMaker com o FSx for Lustre, seus trabalhos de treinamento de aprendizado de máquina são acelerados com a eliminação da etapa inicial de download do Amazon S3. Além disso, seu custo total de propriedade (TCO) é reduzido ao evitar o download repetitivo de objetos comuns para trabalhos iterativos no mesmo conjunto de dados, pois você economiza nos custos de solicitações do S3. Para obter mais informações, consulte O que é SageMaker? no Amazon SageMaker Developer Guide. Para ver um passo a passo de como usar o Amazon for Lustre como fonte de dados FSx para SageMaker, consulte Acelere o treinamento na Amazon usando SageMaker o Amazon FSx for Lustre e os sistemas de arquivos da EFS Amazon no blog do Machine AWS Learning.

FSxfor Lustre se integra ao AWS Batch uso de modelos de EC2 lançamento. AWS Batch permite que você execute cargas de trabalho de computação em lote no Nuvem AWS, incluindo computação de alto desempenho (HPC), aprendizado de máquina (ML) e outras cargas de trabalho assíncronas. AWS Batch dimensiona as instâncias de forma automática e dinâmica com base nos requisitos de recursos do trabalho. Para obter mais informações, consulte O que é AWS Batch? no Guia do AWS Batch usuário.

FSxfor Lustre se integra com. AWS ParallelCluster AWS ParallelCluster é uma ferramenta AWS de gerenciamento de clusters de código aberto compatível usada para implantar e gerenciar HPC clusters. Ele pode criar automaticamente FSx para sistemas de arquivos Lustre ou usar sistemas de arquivos existentes durante o processo de criação do cluster.

Segurança e conformidade

FSxOs sistemas de arquivos for Lustre oferecem suporte à criptografia em repouso e em trânsito. A Amazon criptografa FSx automaticamente os dados do sistema de arquivos em repouso usando chaves gerenciadas em AWS Key Management Service (AWS KMS). Os dados em trânsito também são criptografados automaticamente em determinados sistemas de arquivos Regiões da AWS quando acessados a partir de EC2 instâncias compatíveis da Amazon. Para obter mais informações sobre criptografia de dados no FSx Lustre, incluindo Regiões da AWS onde a criptografia de dados em trânsito é suportada, consulteCriptografia de dados na Amazon FSx for Lustre. FSxA Amazon foi avaliada quanto à conformidade com as SOC certificações ISODSS, PCI - e está HIPAA qualificada. Para obter mais informações, consulte Segurança no Amazon FSx for Lustre.

Suposições

Neste guia, fazemos as seguintes suposições:

Preços do Amazon FSx for Lustre

Com o Amazon FSx for Lustre, não há custos iniciais de hardware ou software. Você paga somente pelos recursos usados, sem compromissos mínimos, custos de configuração ou taxas adicionais. Para obter informações sobre preços e taxas associados ao serviço, consulte Amazon FSx for Lustre Pricing.

Fóruns do Amazon FSx for Lustre

Se você encontrar problemas ao usar o Amazon FSx for Lustre, consulte os fóruns.

Você está usando o Amazon FSx for Lustre pela primeira vez?

Se você é um usuário iniciante do Amazon FSx for Lustre, recomendamos que você leia as seguintes seções na ordem: