Seção SharedStorage - AWS ParallelCluster
SharedStoragepolíticas de atualizaçãoPropriedades do SharedStorageEbsSettingsEfsSettingsFsxLustreSettingsFsxOntapSettingsFsxOpenZfsSettingsFileCacheSettings

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Seção SharedStorage

(Opcional) As configurações de armazenamento compartilhado do cluster.

AWS ParallelCluster suporta o uso de Amazon EBS, FSx for ONTAP e FSx paravolumes de armazenamento compartilhado OpenZFS, Amazon EFS e FSx forLustre, sistemas de arquivos de armazenamento compartilhado ou caches de arquivos.

Na seção SharedStorage, você pode definir armazenamento externo ou gerenciado:

  • O armazenamento externo se refere a um volume ou sistema de arquivos existente que você gerencia. AWS ParallelCluster não o cria nem o exclui.

  • AWS ParallelCluster armazenamento gerenciado se refere a um volume ou sistema de arquivos AWS ParallelCluster criado e que pode ser excluído.

Para cotas de armazenamento compartilhado e obter mais informações sobre como configurar seu armazenamento compartilhado, consulte Armazenamento compartilhado em Como usar o AWS ParallelCluster.

nota

Se AWS Batch for usado como programador, o FSx for Lustre só estará disponível no nó principal do cluster.

SharedStorage:
  - MountDir: string
    Name: string
    StorageType: Ebs
    EbsSettings:
      VolumeType: string
      Iops: integer
      Size: integer
      Encrypted: boolean
      KmsKeyId: string
      SnapshotId: string
      Throughput: integer
      VolumeId: string
      DeletionPolicy: string
      Raid:
        Type: string
        NumberOfVolumes: integer
  - MountDir: string
    Name: string
    StorageType: Efs
    EfsSettings:
      Encrypted: boolean
      KmsKeyId: string
      EncryptionInTransit: boolean
      IamAuthorization: boolean
      PerformanceMode: string
      ThroughputMode: string
      ProvisionedThroughput: integer
      FileSystemId: string
      DeletionPolicy: string
  - MountDir: string
    Name: string
    StorageType: FsxLustre
    FsxLustreSettings:
      StorageCapacity: integer
      DeploymentType: string
      ImportedFileChunkSize: integer
      DataCompressionType: string
      ExportPath: string
      ImportPath: string
      WeeklyMaintenanceStartTime: string
      AutomaticBackupRetentionDays: integer
      CopyTagsToBackups: boolean
      DailyAutomaticBackupStartTime: string
      PerUnitStorageThroughput: integer
      BackupId: string
      KmsKeyId: string
      FileSystemId: string
      AutoImportPolicy: string
      DriveCacheType: string
      StorageType: string
      DeletionPolicy: string
      DataRepositoryAssociations:
      - Name: string
        BatchImportMetaDataOnCreate: boolean
        DataRepositoryPath: string
        FileSystemPath: string
        ImportedFileChunkSize: integer
        AutoExportPolicy: string
        AutoImportPolicy: string
  - MountDir: string
    Name: string
    StorageType: FsxOntap
    FsxOntapSettings:
      VolumeId: string
  - MountDir: string
    Name: string
    StorageType: FsxOpenZfs
    FsxOpenZfsSettings:
      VolumeId: string
  - MountDir: string
    Name: string
    StorageType: FileCache
    FileCacheSettings:
      FileCacheId: string

SharedStoragepolíticas de atualização

Propriedades do SharedStorage

MountDir (Obrigatório, String)

O caminho para o local em que o armazenamento compartilhado está montado.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

Name (Obrigatório, String)

O nome do armazenamento compartilhado. Use esse nome ao atualizar as configurações.

Atenção

Se você especificar armazenamento compartilhado AWS ParallelCluster gerenciado e alterar o valor paraName, o armazenamento compartilhado gerenciado e os dados existentes serão excluídos e um novo armazenamento compartilhado gerenciado será criado. Alterar o valor de Name com uma atualização de cluster equivale a substituir o armazenamento compartilhado gerenciado existente por um novo. Certifique-se de fazer backup de seus dados antes de alterar o Name se precisar reter os dados do armazenamento compartilhado existente.

Política de atualização: para essa configuração de valores de lista, a frota de computação deve ser interrompida ou QueueUpdateStrategy deve ser configurada para agregar um novo valor; a frota de computação deve ser interrompida ao remover um valor existente.

StorageType (Obrigatório, String)

O tipo do armazenamento compartilhado. Os valores compatíveis são Ebs, Efs, FsxLustre, FsxOntap e FsxOpenZfs.

Para obter mais informações, consulte FsxLustreSettings, FsxOntapSettings e FsxOpenZfsSettings.

nota

Se você usar AWS Batch como programador, o FSx for Lustre só estará disponível no nó principal do cluster.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

EbsSettings

(Opcional) As configurações de um volume do Amazon EBS.

EbsSettings:
  VolumeType: string
  Iops: integer
  Size: integer
  Encrypted: boolean
  KmsKeyId: string
  SnapshotId: string
  VolumeId: string
  Throughput: integer
  DeletionPolicy: string
  Raid:
    Type: string
    NumberOfVolumes: integer

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

Propriedades do EbsSettings

Quando definido comoDelete, um volume gerenciado, com seus dados, é excluído se o cluster for excluído ou se o volume for removido com uma atualização do cluster. DeletionPolicy

Para obter mais informações, consulte Armazenamento compartilhado em Como usar o AWS ParallelCluster.

VolumeType (Opcional, String)

Especifica o tipo de volume do Amazon EBS. Os valores compatíveis são gp2, gp3, io1, io2, sc1, st1 e standard. O valor padrão é gp3.

Para obter mais informações, consulte Tipos de volume do Amazon EBS no Guia do usuário do Amazon EC2.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

Iops (Opcional, Integer)

Define o número de IOPS para os volumes do tipo io1, io2 e gp3.

O valor padrão, os valores suportados e a proporção do volume_iops para volume_size variam de acordo com VolumeType e Size.

VolumeType = io1

Padrão Iops = 100

Valores suportados Iops = 100–64000 †

Proporção máxima de volume_iops para volume_size = 50 IOPS para cada GiB. 5000 IOPS exigem um volume_size de pelo menos 100 GiB.

VolumeType = io2

Padrão Iops = 100

Valores suportados Iops = 100–64000 (256000 para volumes do io2 Block Express) †

Proporção máxima de Iops para Size = 500 IOPS para cada GiB. 5000 IOPS exigem um Size de pelo menos 10 GiB.

VolumeType = gp3

Padrão Iops = 3000

Valores suportados Iops = 3000–16000

Proporção máxima de Iops para Size = 500 IOPS para cada GiB. 5000 IOPS exigem um Size de pelo menos 10 GiB.

† O número máximo de IOPS é garantido somente em instâncias criadas no Nitro System provisionadas com mais de 32.000 IOPS. Outras instâncias garantem até 32.000 IOPS. A menos que você modifique o volume, os volumes de io1 mais antigos podem não atingir o desempenho total. io2 Os volumes do Block Express oferecem suporte a valores volume_iops de até 256000 em tipos de instância R5b. Para obter mais informações, consulte Volumes do io2 Block Express no Guia do usuário do Amazon EC2.

Política de atualização: essa configuração pode ser alterada durante uma atualização.

Size (Opcional, Integer)

Especifica o tamanho do volume raiz em gibibytes (GiB). O valor padrão é 35.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

Encrypted (Opcional, Boolean)

Especifica se o volume está criptografado. O valor padrão é true.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

KmsKeyId (Opcional, String)

Especifica uma AWS KMS chave personalizada a ser usada para criptografia. Essa configuração requer que a configuração Encrypted seja definida como true.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

SnapshotId (Opcional, String)

Especifica o ID do snapshot do Amazon EBS, caso esteja usando um snapshot como a origem do volume.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

VolumeId (Opcional, String)

Especifica o ID de volume do Amazon EBS. Quando isso é especificado para uma instância EbsSettings, somente o parâmetro MountDir também pode ser especificado.

O volume deve ser criado na mesma zona de disponibilidade do HeadNode.

nota

Várias zonas de disponibilidade foram adicionadas na AWS ParallelCluster versão 3.4.0.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

Throughput (Opcional, Integer)

O throughput em MiB/s para provisionar um volume, com um máximo de 1.000 MiB/s.

Isso é válido somente quando VolumeType é gp3. O intervalo compatível é de 125 a 1000, com um valor padrão de 125.

Política de atualização: essa configuração pode ser alterada durante uma atualização.

DeletionPolicy (Opcional, String)

Especifica se o volume deve ser retido, excluído ou capturado quando o cluster é excluído ou o volume é removido. Os valores suportados são Delete, Retain e Snapshot. O valor padrão é Delete.

Quando DeletionPolicydefinido comoDelete, um volume gerenciado, com seus dados, é excluído se o cluster for excluído ou se o volume for removido com uma atualização do cluster.

Para ter mais informações, consulte Armazenamento compartilhado.

Política de atualização: essa configuração pode ser alterada durante uma atualização.

nota

DeletionPolicyé suportado a partir da AWS ParallelCluster versão 3.2.0.

Raid

(Opcional) Define a configuração de um volume RAID.

Raid:
  Type: string
  NumberOfVolumes: integer

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

Propriedades do Raid

Type (Obrigatório, String)

Define o tipo de matriz RAID. Os valores suportados são "0" (distribuído) e "1" (espelhado).

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

NumberOfVolumes (Opcional, Integer)

Define o número de volumes do Amazon EBS a usar para criar a matriz de RAID. O intervalo de valores compatível é de 2 a 5. O valor padrão (quando a configuração Raid é definida) é 2.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

EfsSettings

(Opcional) As configurações de um sistema de arquivos do Amazon EFS.

EfsSettings:
  Encrypted: boolean
  KmsKeyId: string
  EncryptionInTransit: boolean
  IamAuthorization: boolean
  PerformanceMode: string
  ThroughputMode: string
  ProvisionedThroughput: integer
  FileSystemId: string
  DeletionPolicy: string

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

Propriedades do EfsSettings

Quando DeletionPolicydefinido comoDelete, um sistema de arquivos gerenciado, com seus dados, é excluído se o cluster for excluído ou se o sistema de arquivos for removido com uma atualização do cluster.

Para obter mais informações, consulte Armazenamento compartilhado em Como usar o AWS ParallelCluster.

Encrypted (Opcional, Boolean)

Especifica se o sistema de arquivos Amazon EFS está criptografado. O valor padrão é false.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

KmsKeyId (Opcional, String)

Especifica uma AWS KMS chave personalizada a ser usada para criptografia. Essa configuração requer que a configuração Encrypted seja definida como true.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

EncryptionInTransit (Opcional, Boolean)

Se definido como true, os sistemas de arquivos do Amazon EFS são montados usando Transport Layer Security (TLS). Por padrão, isso é definido como false.

nota

Se AWS Batch for usado como agendador, EncryptionInTransit não é suportado.

nota

EncryptionInTransit é adicionado a partir do AWS ParallelCluster versão 3.4.0.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

IamAuthorization (Opcional, Boolean)

Se definido como true, o Amazon EFS é autenticado usando a identidade IAM do sistema. Por padrão, isso é definido como false.

nota

Se IamAuthorization estiver definido como true, o EncryptionInTransit também deverá ser definido como true.

nota

Se AWS Batch for usado como agendador, IamAuthorization não é suportado.

nota

IamAuthorizationé adicionado a partir da AWS ParallelCluster versão 3.4.0.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

PerformanceMode (Opcional, String)

Especifica o modo de desempenho do sistema de arquivos do Amazon EFS. Os valores compatíveis são generalPurpose e maxIO. O valor padrão é generalPurpose. Para obter mais informações, consulte Performance modes (Modos de performance) no Guia do usuário do Amazon Elastic File System.

Recomendamos o modo de desempenho generalPurpose para a maioria dos sistemas de arquivos.

Os sistemas de arquivos que usam o modo de desempenho maxIO podem ser dimensionados para níveis superiores de throughput e operações por segundo agregadas. No entanto, há um compromisso com latências um pouco mais altas para a maioria das operações de arquivo.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

ThroughputMode (Opcional, String)

Especifica o modo de throughput do sistema de arquivos do Amazon EFS. Os valores compatíveis são bursting e provisioned. O valor padrão é bursting. Quando o provisioned é usado, ProvisionedThroughput deve ser especificado.

Política de atualização: essa configuração pode ser alterada durante uma atualização.

ProvisionedThroughput (Exigido quando ThroughputMode é provisioned, Integer)

Define o throughput (em MiB/s) provisionada do sistema de arquivos Amazon EFS, medida em MiB/s. Isso corresponde ao ProvisionedThroughputInMibpsparâmetro na Referência da API do Amazon EFS.

Se você usar esse parâmetro, deverá definir ThroughputMode como provisioned.

O intervalo compatível é 1-1024. Para solicitar um aumento de limite, entre em contato com o AWS Support.

Política de atualização: essa configuração pode ser alterada durante uma atualização.

FileSystemId (Opcional, String)

Define o ID do sistema de arquivos do Amazon EFS para um sistema de arquivos existente.

Se o cluster estiver configurado para abranger várias zonas de disponibilidade, você deverá definir um destino de montagem do sistema de arquivos em cada zona de disponibilidade usada pelo cluster.

Quando isso é especificado, somente MountDir pode ser especificado. Nenhum outro EfsSettings pode ser especificado.

Se você definir essa opção, o seguinte deverá ocorrer para os sistemas de arquivos definidos:

  • Sistemas de arquivos que têm um destino de montagem existente na zona de disponibilidade do cluster, com o tráfego de entrada e saída do NFS permitidos a partir de HeadNode e ComputeNodes. Várias zonas de disponibilidade são configuradas em Scheduling//Networking SlurmQueues/SubnetIds.

    Para garantir que o tráfego seja permitido entre o cluster e o sistema de arquivos, você pode fazer o seguinte:

    • Configure os grupos de segurança do destino de montagem para permitir o tráfego de e para o CIDR ou a lista de prefixos das sub-redes do cluster.

      nota

      AWS ParallelCluster valida se as portas estão abertas e se o CIDR ou a lista de prefixos estão configurados. AWS ParallelCluster não valida o conteúdo do bloco CIDR ou da lista de prefixos.

    • Defina grupos de segurança personalizados para nós de cluster usando SlurmQueues / Networking / SecurityGroups e HeadNode / Networking / SecurityGroups. Os grupos de segurança personalizados devem ser configurados para permitir o tráfego entre o cluster e o sistema de arquivos.

      nota

      Se todos os nós do cluster usarem grupos de segurança personalizados, AWS ParallelCluster somente valida se as portas estão abertas. AWS ParallelCluster não valida se a origem e o destino estão configurados corretamente.

Atenção

OneZone O EFS só é suportado se todos os nós de computação e o nó principal estiverem na mesma zona de disponibilidade. O EFS só OneZone pode ter um alvo de montagem.

nota

Várias zonas de disponibilidade foram adicionadas na AWS ParallelCluster versão 3.4.0.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

DeletionPolicy (Opcional, String)

Especifica se o sistema de arquivos deve ser retido ou excluído quando o sistema de arquivos é removido do cluster ou o cluster é excluído. Os valores suportados são Delete e Retain. O valor padrão é Delete.

Quando definido comoDelete, um sistema de arquivos gerenciado, com seus dados, é excluído se o cluster for excluído ou se o sistema de arquivos for removido com uma atualização do cluster. DeletionPolicy

Para ter mais informações, consulte Armazenamento compartilhado.

Política de atualização: essa configuração pode ser alterada durante uma atualização.

nota

DeletionPolicyé suportado a partir da AWS ParallelCluster versão 3.3.0.

FsxLustreSettings

nota

Você deve definir FsxLustreSettings se FsxLustre é especificado para StorageType.

(Opcional) As configurações de um sistema de arquivos FSx para Lustre.

FsxLustreSettings:
  StorageCapacity: integer
  DeploymentType: string
  ImportedFileChunkSize: integer
  DataCompressionType: string
  ExportPath: string
  ImportPath: string
  WeeklyMaintenanceStartTime: string
  AutomaticBackupRetentionDays: integer
  CopyTagsToBackups: boolean
  DailyAutomaticBackupStartTime: string
  PerUnitStorageThroughput: integer
  BackupId: string # BackupId cannot coexist with some of the fields
  KmsKeyId: string
  FileSystemId: string # FileSystemId cannot coexist with other fields
  AutoImportPolicy: string
  DriveCacheType: string
  StorageType: string
  DeletionPolicy: string

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

nota

Se AWS Batch for usado como programador, o FSx for Lustre só estará disponível no nó principal do cluster.

Propriedades do FsxLustreSettings

Quando definido comoDelete, um sistema de arquivos gerenciado, com seus dados, é excluído se o cluster for excluído ou se o sistema de arquivos for removido com uma atualização do cluster. DeletionPolicy

Para ter mais informações, consulte Armazenamento compartilhado.

StorageCapacity (Obrigatório, Integer)

Define a capacidade de armazenamento do sistema de arquivos FSx para Lustre, em GiB. StorageCapacity é necessário se você estiver criando um novo sistema de arquivos. Não inclua StorageCapacity se BackupId ou FileSystemId estiver especificado.

  • Para tipos de implantação SCRATCH_2, PERSISTENT_1 e PERSISTENT_2, os valores válidos são de 1200 GiB, 2400 GiB e incrementos de 2400 GiB.

  • Para o tipo de implantação SCRATCH_1, os valores válidos são de 1200 GiB, 2400 GiB e incrementos de 3600 GiB.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

DeploymentType (Opcional, String)

Especifica o tipo de implantação do sistema de arquivos FSx para Lustre. Os valores compatíveis são SCRATCH_1, SCRATCH_2, PERSISTENT_1 e PERSISTENT_2. O valor padrão é SCRATCH_2.

Escolha os tipos de implantação SCRATCH_1 e SCRATCH_2 quando precisar de armazenamento temporário e processamento de dados de prazo mais curto. O tipo de implantação SCRATCH_2 fornece criptografia de dados em trânsito e capacidade de throughput de intermitência mais alta que o SCRATCH_1.

Escolha o tipo de implantação PERSISTENT_1 para armazenamento de longo prazo e para workloads focadas no throughput que não sejam sensíveis à latência. O PERSISTENT_1 oferece suporte à criptografia de dados em trânsito. Ele está disponível em todos os Regiões da AWS lugares onde o FSx for Lustre está disponível.

Escolha o tipo de implantação PERSISTENT_2 para armazenamento de prazo mais longo e para workloads sensíveis à latência que exigem os níveis mais altos de IOPS e throughput. PERSISTENT_2 é compatível com o armazenamento SSD e oferece maior PerUnitStorageThroughput (até 1000 MB/s/TiB). PERSISTENT_2 está disponível em um número limitado de Regiões da AWS. Para obter mais informações sobre os tipos de implantação e a lista de Regiões da AWS onde PERSISTENT_2 está disponível, consulte Opções de implantação do sistema de arquivos para FSx for Lustre no Guia do usuário do Amazon FSx for Lustre.

A criptografia de dados em trânsito é habilitada automaticamente quando você acessa um sistema de arquivos de tipo de implantação SCRATCH_2, PERSISTENT_1 ou PERSISTENT_2 de instâncias do Amazon EC2 que são compatíveis com esse recurso.

A criptografia de dados em trânsito dos tipos de implantação SCRATCH_2, PERSISTENT_1 e PERSISTENT_2 é compatível quando acessada de tipos de instância compatíveis em Regiões da AWS compatíveis. Para obter mais informações, consulte Criptografia de dados em trânsito no Guia do usuário do Amazon FSx para Lustre.

nota

Suporte para o tipo de implantação PERSISTENT_2 foi adicionado com o AWS ParallelCluster versão 3.2.0.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

ImportedFileChunkSize (Opcional, Integer)

Para arquivos que são importados de um repositório de dados, esse valor determina a contagem de stripes e a quantidade máxima de dados para cada arquivo (em MiB) armazenados em um único disco físico. O número máximo de discos nos quais um único arquivo pode ser distribuído é limitado pelo número total de discos que compõem o sistema de arquivos.

O tamanho de bloco padrão é 1.024 MiB (1 GiB) e pode chegar até 512.000 MiB (500 GiB). Os objetos do Amazon S3 têm um tamanho máximo de 5 TB.

nota

Esse parâmetro não é compatível com sistemas de arquivos que usam o tipo de implantação PERSISTENT_2. Para obter instruções sobre como configurar associações de repositórios de dados, consulte Como vincular seu sistema de arquivos a um bucket do S3 no Guia do usuário do Amazon FSx para Lustre.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

DataCompressionType (Opcional, String)

A configuração de compactação de dados do sistema de arquivos do FSx para Lustre. O valor compatível é LZ4. LZ4 indica que a compactação de dados está ativada com o algoritmo LZ4. Quando DataCompressionType não é especificado, a compactação de dados é desativada quando o sistema de arquivos é criado.

Para obter mais informações, consulte Compactação de dados do Lustre.

Política de atualização: essa configuração pode ser alterada durante uma atualização.

ExportPath (Opcional, String)

O caminho no Amazon S3 em que a raiz do sistema de arquivos FSx para Lustre é exportada. Essa configuração apenas tem suporte quando o parâmetro ImportPath é especificado. O caminho deve usar o mesmo bucket do Amazon S3 conforme especificado em ImportPath. Você pode fornecer um prefixo opcional para o qual os dados novos e alterados devem ser exportados do sistema de arquivos FSx para Lustre. Se um valor ExportPath não for fornecido, o FSx para Lustre definirá um caminho de exportação padrão, s3://import-bucket/FSxLustre[creation-timestamp]. O timestamp é no formato UTC, por exemplo s3://import-bucket/FSxLustre20181105T222312Z.

O bucket de exportação do Amazon S3 deve ser o mesmo que o bucket de importação especificado por ImportPath. Se especificar apenas um nome de bucket, como s3://import-bucket, você obterá um mapeamento de 1:1 de objetos do sistema de arquivos para os objetos do bucket do Amazon S3. Esse mapeamento indica que os dados de entrada no Amazon S3 são substituídos na exportação. Se você fornecer um prefixo personalizado no caminho de exportação, como s3://import-bucket/[custom-optional-prefix], o FSx para Lustre exportará o conteúdo de seu sistema de arquivos para esse prefixo de exportação no bucket do Amazon S3.

nota

Esse parâmetro não é compatível com sistemas de arquivos que usam o tipo de implantação PERSISTENT_2. Configure associações de repositórios de dados conforme descrito em Como vincular seu sistema de arquivos a um bucket do S3 no Guia do usuário do Amazon FSx para Lustre.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

ImportPath (Opcional, String)

O caminho para o bucket do Amazon S3 (incluindo o prefixo opcional) que você está usando como o repositório de dados do sistema de arquivos FSx para Lustre. A raiz do sistema de arquivos do FSx para Lustre será mapeada para a raiz do bucket do Amazon S3 que você selecionar. Um exemplo é s3://import-bucket/optional-prefix. Se você especificar um prefixo após o nome do bucket do Amazon S3, apenas chaves de objeto com esse prefixo serão carregadas no sistema de arquivos.

nota

Esse parâmetro não é compatível com sistemas de arquivos que usam o tipo de implantação PERSISTENT_2. Configure associações de repositórios de dados conforme descrito em Como vincular seu sistema de arquivos a um bucket do S3 no Guia do usuário do Amazon FSx para Lustre.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

WeeklyMaintenanceStartTime (Opcional, String)

O horário de início preferido para realizar a manutenção semanal. Fica em formato "d:HH:MM" do fuso horário UTC+0. Para esse formato, d é o número do dia da semana de 1 a 7, começando com a segunda-feira e terminando no domingo. As aspas são obrigatórias para esse campo.

Política de atualização: essa configuração pode ser alterada durante uma atualização.

AutomaticBackupRetentionDays (Opcional, Integer)

O número de dias em que os backups automáticos serão retidos. Definir esta opção como 0 desabilita os backups automáticos. O intervalo compatível é 0-90. O padrão é 0. Essa configuração só é válida para uso com os tipos de implantação PERSISTENT_1 e PERSISTENT_2. Para obter mais informações, consulte Trabalhar com backups no Guia do usuário do Amazon FSx para Lustre.

Política de atualização: essa configuração pode ser alterada durante uma atualização.

CopyTagsToBackups (Opcional, Boolean)

Se true, copie as tags do sistema de arquivos FSx para Lustre para os backups. Esse valor padrão é false. Se estiver definido como true, todas as tags serão copiadas em todos os backups automáticos e iniciados pelo usuário quando nenhuma tag for especificada. Se esse valor for true e você especificar uma ou mais tags, apenas as que forem especificadas serão copiadas nos backups. Se você especificar uma ou mais tags ao criar um backup iniciado pelo usuário, nenhuma tag será copiada do sistema de arquivos, independentemente desse valor. Essa configuração só é válida para uso com os tipos de implantação PERSISTENT_1 e PERSISTENT_2.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

DailyAutomaticBackupStartTime (Opcional, String)

Um horário diário recorrente, no formato HH:MM. HH é a hora do dia preenchida com zeros (00-23). MM é o minuto da hora preenchido com zeros (00-59). Por exemplo, 05:00 especifica 5h da manhã diariamente. Essa configuração só é válida para uso com os tipos de implantação PERSISTENT_1 e PERSISTENT_2.

Política de atualização: essa configuração pode ser alterada durante uma atualização.

PerUnitStorageThroughput (Obrigatório para os tipos de implantação PERSISTENT_1 e PERSISTENT_2, Integer)

Descreve a quantidade de throughput de leitura e gravação para cada 1 tebibyte de armazenamento, em MB/s/TiB. A capacidade de throughput do sistema de arquivos é calculada multiplicando-se a capacidade de armazenamento do sistema de arquivos (TiB) pela PerUnitStorageThroughput (MB/s/TiB). Para um sistema de arquivos de 2,4 TiB, o provisionamento de 50 MB/s/TiB PerUnitStorageThroughput gera 120 MB/s de throughput do sistema de arquivos. Você paga pela quantidade de throughput que provisiona. Isso corresponde à PerUnitStorageThroughputpropriedade.

Valores válidos:

  • Armazenamento PERSISTENT_1 SSD: 50, 100, 200 MB/s/TiB.

  • Armazenamento PERSISTENT_1 HDD: 12, 40 MB/s/TiB.

  • Armazenamento PERSISTENT_2 SSD: 125, 250, 500, 1000 MB/s/TiB.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

BackupId (Opcional, String)

Especifica o ID do backup a ser usado para restaurar o sistema de arquivos FSx para Lustre a partir de um backup existente. Quando a configuração BackupId é especificada, as configurações AutoImportPolicy, DeploymentType, ExportPath, KmsKeyId, ImportPath, ImportedFileChunkSize, StorageCapacity, e PerUnitStorageThroughput não devem ser especificadas. Essas configurações são lidas do backup. Além disso, as configurações AutoImportPolicy, ExportPath, ImportPath e ImportedFileChunkSize não devem ser especificados. Isso corresponde à BackupIdpropriedade.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

KmsKeyId (Opcional, String)

A ID da chave AWS Key Management Service (AWS KMS) usada para criptografar os dados do sistema de arquivos FSx for Lustre para sistemas de arquivos FSx for Lustre persistentes em repouso. Se não for especificada, a chave gerenciada do FSx para Lustre será usada. Os sistemas de arquivos FSx para Lustre SCRATCH_1 e SCRATCH_2 são sempre criptografados em repouso usando chaves gerenciadas do FSx para Lustre. Para obter mais informações, consulte Criptografia na Referência da API do AWS Key Management Service .

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

FileSystemId (Opcional, String)

Especifica a ID de um sistema de arquivos FSx para Lustre existente.

Se essa opção for especificada, somente as configurações MountDir e FileSystemId do FsxLustreSettings serão usadas. Todas as outras configurações no FsxLustreSettings são ignoradas.

nota

Se o AWS Batch agendador for usado, o FSx for Lustre estará disponível apenas no nó principal.

nota

Se estiver usando um sistema de arquivos existente, ele deve ser associado a um grupo de segurança que permite o tráfego de entrada e saída do TCP pelas portas 988, 1021, 1022, e 1023.

Confirme que o tráfego seja permitido entre o cluster e o sistema de arquivos, fazendo o seguinte:

  • Configure os grupos de segurança do sistema de arquivos para permitir o tráfego de e para o CIDR ou a lista de prefixos das sub-redes do cluster.

    nota

    AWS ParallelCluster valida se as portas estão abertas e se o CIDR ou a lista de prefixos estão configurados. AWS ParallelCluster não valida o conteúdo do bloco CIDR ou da lista de prefixos.

  • Defina grupos de segurança personalizados para nós de cluster usando SlurmQueues / Networking / SecurityGroups e HeadNode / Networking / SecurityGroups. Os grupos de segurança personalizados devem ser configurados para permitir o tráfego entre o cluster e o sistema de arquivos.

    nota

    Se todos os nós do cluster usarem grupos de segurança personalizados, AWS ParallelCluster somente valida se as portas estão abertas. AWS ParallelCluster não valida se a origem e o destino estão configurados corretamente.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

AutoImportPolicy (Opcional, String)

Quando você cria o sistema de arquivos FSx para Lustre, seus objetos existentes no Amazon S3 aparecem como listagens de arquivos e diretórios. Use essa propriedade para escolher como o FSx para Lustre mantém suas listagens de arquivos e diretórios atualizadas à medida que você adiciona ou modifica objetos no bucket do Amazon S3 vinculado. A AutoImportPolicy pode ter os seguintes valores:

  • NEW - A importação automática está ativada. O FSx para Lustre importa automaticamente listagens de diretórios de quaisquer novos objetos adicionados ao bucket do Amazon S3 vinculado que não existam atualmente no sistema de arquivos FSx para Lustre.

  • NEW_CHANGED - A importação automática está ativada. O FSx para Lustre importa automaticamente listagens de arquivos e diretórios de quaisquer novos objetos adicionados ao bucket do Amazon S3 e quaisquer objetos existentes que sejam alterados no bucket do Amazon S3 depois que você escolher essa opção.

  • NEW_CHANGED_DELETED - A importação automática está ativada. O FSx para Lustre importa automaticamente listagens de arquivos e diretórios de quaisquer novos objetos adicionados ao bucket do Amazon S3, além de quaisquer objetos existentes que sejam alterados no bucket do Amazon S3 ou que foram excluídos do bucket do Amazon S3 após você escolher essa opção.

    nota

    O suporte para NEW_CHANGED_DELETED foi adicionado ao AWS ParallelCluster versão 3.1.1.

Se AutoImportPolicy não for especificado, a importação automática está desativada. O FSx para Lustre atualiza somente as listagens de arquivos e diretórios do bucket do Amazon S3 vinculado quando o sistema de arquivos é criado. O FSx para Lustre não atualiza listagens de arquivos e diretórios para objetos novos ou alterados depois da escolha dessa opção.

Para obter mais informações, consulte Importar atualizações do bucket do S3 automaticamente no Guia do usuário do Amazon FSx para Lustre.

nota

Esse parâmetro não é compatível com sistemas de arquivos que usam o tipo de implantação PERSISTENT_2. Para obter instruções sobre como configurar associações de repositórios de dados, consulte Como vincular seu sistema de arquivos a um bucket do S3 no Guia do usuário do Amazon FSx para Lustre.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

DriveCacheType (Opcional, String)

Especifica que o sistema de arquivos tem um cache de unidade SSD. Isso só pode ser definido se a configuração StorageType estiver definida como HDD, e a configuração DeploymentType estiver definida como PERSISTENT_1. Isso corresponde à DriveCacheTypepropriedade. Para obter mais informações, consulte Opções de implantação do FSx para Lustre no Guia do usuário do Amazon FSx para Lustre.

O único valor válido é READ. Para desabilitar o cache da unidade SSD, não especifique a configuração DriveCacheType.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

StorageType (Opcional, String)

Define o tipo de armazenamento para o sistema de arquivos FSx para Lustre que você está criando. Os valores válidos são SSD e HDD.

  • Defina como SSD para usar o armazenamento da unidade de estado sólido.

  • Defina como HDD para usar o armazenamento da unidade de disco rígido. HDD é compatível com os tipos de implantação PERSISTENT.

O valor padrão é SSD. Para obter mais informações, consulte Opções de tipos de armazenamento no Guia do usuário do Amazon FSx para Windows e Várias opções de armazenamento no Guia do usuário do Amazon FSx para Lustre.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

DeletionPolicy (Opcional, String)

Especifica se o sistema de arquivos deve ser retido ou excluído quando o sistema de arquivos é removido do cluster ou o cluster é excluído. Os valores suportados são Delete e Retain. O valor padrão é Delete.

Quando definido comoDelete, um sistema de arquivos gerenciado, com seus dados, é excluído se o cluster for excluído ou se o sistema de arquivos for removido com uma atualização do cluster. DeletionPolicy

Para ter mais informações, consulte Armazenamento compartilhado.

Política de atualização: essa configuração pode ser alterada durante uma atualização.

nota

DeletionPolicyé suportado a partir da AWS ParallelCluster versão 3.3.0.

DataRepositoryAssociations (Opcional, String)

Lista de DRAs (até 8 por sistema de arquivos)

Cada associação de repositório de dados deve ter um diretório exclusivo no sistema de arquivos Amazon FSx e um bucket do S3 ou um prefixo exclusivo associado a ele.

Você não pode usar ExportPathe ImportPath FsxLustreSettings ao mesmo tempo que usa DRAs.

Política de atualização: essa configuração pode ser alterada durante uma atualização.

Name (Obrigatório, String)

O nome do DRA. Use esse nome ao atualizar as configurações.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

BatchImportMetaDataOnCreate (Opcional, Boolean)

Um sinalizador booleano indicando se uma tarefa de importação do repositório de dados para importar metadados deve ser executada após a criação da associação do repositório de dados. A tarefa será executada se esse sinalizador estiver definido como true.

Valor padrão: false

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

DataRepositoryPath (Obrigatório, String)

O caminho para o repositório de dados do Amazon S3 que será vinculado sistema de arquivos. O caminho pode ser um bucket ou prefixo do S3 no formato s3://myBucket/myPrefix/. Esse caminho especifica de onde os arquivos do repositório de dados do S3 serão importados ou para onde serão exportados.

Não pode se sobrepor a outros DRAs

Padrão: ^[^\u0000\u0085\u2028\u2029\r\n]{3,4357}$

Mínimo: 3

Máximo: 4357

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

FileSystemPath (Obrigatório, String)

Um caminho no sistema de arquivos Amazon FSx para Lustre que aponta para um diretório de alto nível (como /ns1/) ou subdiretório (como /ns1/subdir/) que será mapeado diretamente com DataRepositoryPath. A barra inicial no nome é obrigatória. Duas associações de repositórios de dados não podem ter caminhos de sistema de arquivos sobrepostos. Por exemplo, se um repositório de dados estiver associado ao caminho do sistema de arquivos /ns1/, você não poderá vincular outro repositório de dados ao caminho do sistema de arquivos /ns1/ns2.

Esse caminho especifica de onde os arquivos do sistema de arquivos serão exportados ou para onde eles serão importados. Esse diretório do sistema de arquivos só pode ser vinculado a um bucket do Amazon S3, e nenhum outro bucket do S3 pode ser vinculado ao diretório.

Não pode se sobrepor a outros DRAs

nota

Se você especificar somente uma barra (/) como o caminho do sistema de arquivos, poderá vincular somente um repositório de dados ao sistema de arquivos. Você só pode especificar "/" como o caminho do sistema de arquivos para o primeiro repositório de dados associado a um sistema de arquivos.

Padrão: ^[^\u0000\u0085\u2028\u2029\r\n]{1,4096}$

Mínimo: 1

Máximo: 4096

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

ImportedFileChunkSize (Opcional, Integer)

Para arquivos importados de um repositório de dados, esse valor determina a contagem de stripes e a quantidade máxima de dados por arquivo (em MiB) armazenados em um único disco físico. O número máximo de discos nos quais um único arquivo pode ser distribuído é limitado pelo número total de discos que compõem o sistema de arquivos ou cache.

O tamanho de bloco padrão é 1.024 MiB (1 GiB) e pode chegar até 512.000 MiB (500 GiB). Os objetos do Amazon S3 têm um tamanho máximo de 5 TB.

Mínimo: 1

Máximo: 4096

Política de atualização: essa configuração pode ser alterada durante uma atualização.

AutoExportPolicy (Opcional, Array of strings)

A lista pode conter um ou mais dos seguintes valores:

  • NEW: arquivos e diretórios novos são exportados automaticamente para o repositório de dados à medida que são adicionados ao sistema de arquivos.

  • CHANGED: as alterações em arquivos e diretórios no sistema de arquivos são exportadas automaticamente para o repositório de dados.

  • DELETED: arquivos e diretórios novos são excluídos automaticamente no repositório de dados à medida que são excluídos do sistema de arquivos.

É possível definir qualquer combinação de tipos de eventos para seu AutoExportPolicy.

Máximo: 3

Política de atualização: essa configuração pode ser alterada durante uma atualização.

AutoImportPolicy (Opcional, Array of strings)

A lista pode conter um ou mais dos seguintes valores:

  • NEW: o Amazon FSx importa automaticamente metadados de arquivos adicionados ao bucket do S3 vinculado que não existem atualmente no sistema de arquivos FSx.

  • CHANGED: o Amazon FSx atualiza automaticamente os metadados do arquivo e invalida o conteúdo do arquivo existente no sistema de arquivos à medida que os arquivos são alterados no repositório de dados.

  • DELETED: o Amazon FSx exclui automaticamente os arquivos no sistema de arquivos à medida que os arquivos correspondentes são excluídos no repositório de dados.

É possível definir qualquer combinação de tipos de eventos para seu AutoImportPolicy.

Máximo: 3

Política de atualização: essa configuração pode ser alterada durante uma atualização.

FsxOntapSettings

nota

Você deve definir FsxOntapSettings se FsxOntap é especificado para StorageType.

(Opcional) As configurações de um sistema de arquivos FSx para ONTAP.

FsxOntapSettings:
  VolumeId: string

Propriedades do FsxOntapSettings

VolumeId (Obrigatório, String)

Especifica a ID de volume de um sistema de arquivos FSx para ONTAP existente.

nota

  • Se um AWS Batch agendador for usado, o FSx for ONTAP estará disponível somente no nó principal.

  • Se o tipo de implantação do FSx para ONTAP for Multi-AZ, certifique-se de que a tabela de rotas da sub-rede do nó principal esteja configurada corretamente.

  • Support for FSx for ONTAP foi adicionado na AWS ParallelCluster versão 3.2.0.

  • Se estiver usando um sistema de arquivos existente, ele deve ser associado a um grupo de segurança que permite o tráfego de entrada e saída do TCP e UDP pelas portas 111, 635, 2049 e 4046.

Confirme que o tráfego seja permitido entre o cluster e o sistema de arquivos, fazendo as ações a seguir:

  • Configure os grupos de segurança do sistema de arquivos para permitir o tráfego de e para o CIDR ou a lista de prefixos das sub-redes do cluster.

    nota

    AWS ParallelCluster valida se as portas estão abertas e se o CIDR ou a lista de prefixos estão configurados. AWS ParallelCluster não valida o conteúdo do bloco CIDR ou da lista de prefixos.

  • Defina grupos de segurança personalizados para nós de cluster usando SlurmQueues / Networking / SecurityGroups e HeadNode / Networking / SecurityGroups. Os grupos de segurança personalizados devem ser configurados para permitir o tráfego entre o cluster e o sistema de arquivos.

    nota

    Se todos os nós do cluster usarem grupos de segurança personalizados, AWS ParallelCluster somente valida se as portas estão abertas. AWS ParallelCluster não valida se a origem e o destino estão configurados corretamente.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

FsxOpenZfsSettings

nota

Você deve definir FsxOpenZfsSettings se FsxOpenZfs é especificado para StorageType.

(Opcional) As configurações de um sistema de arquivos FSx para Open ZFS.

FsxOpenZfsSettings:
  VolumeId: string

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

Propriedades do FsxOpenZfsSettings

VolumeId (Obrigatório, String)

Especifica a ID de volume de um sistema de arquivos FSx para Open ZFS existente.

nota

  • Se um AWS Batch agendador for usado, o FSx for OpenZFS estará disponível somente no nó principal.

  • Support for FSx for OpenZFS foi adicionado na versão 3.2.0. AWS ParallelCluster

  • Se estiver usando um sistema de arquivos existente, ele deve ser associado a um grupo de segurança que permite o tráfego de entrada e saída do TCP e UDP pelas portas 111, 2049, 20001, 20002 e 20003.

Confirme que o tráfego seja permitido entre o cluster e o sistema de arquivos, fazendo o seguinte:

  • Configure os grupos de segurança do sistema de arquivos para permitir o tráfego de e para o CIDR ou a lista de prefixos das sub-redes do cluster.

    nota

    AWS ParallelCluster valida se as portas estão abertas e se o CIDR ou a lista de prefixos estão configurados. AWS ParallelCluster não valida o conteúdo do bloco CIDR ou da lista de prefixos.

  • Defina grupos de segurança personalizados para nós de cluster usando SlurmQueues / Networking / SecurityGroups e HeadNode / Networking / SecurityGroups. Os grupos de segurança personalizados devem ser configurados para permitir o tráfego entre o cluster e o sistema de arquivos.

    nota

    Se todos os nós do cluster usarem grupos de segurança personalizados, AWS ParallelCluster somente valida se as portas estão abertas. AWS ParallelCluster não valida se a origem e o destino estão configurados corretamente.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

FileCacheSettings

nota

Você deve definir FileCacheSettings se FileCache é especificado para StorageType.

(Opcional) As configurações de um cache de arquivos.

FileCacheSettings:
  FileCacheId: string

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

Propriedades do FileCacheSettings

FileCacheId (Obrigatório, String)

Especifica a ID do cache de arquivos de um cache de arquivos existente.

nota

  • O cache de arquivos não oferece suporte a AWS Batch agendadores.

  • Support for File Cache foi adicionado na AWS ParallelCluster versão 3.7.0.

  • Se estiver usando um sistema de arquivos existente, ele deve ser associado a um grupo de segurança que permite o tráfego de entrada e saída do TCP pela porta 988.

Confirme que o tráfego seja permitido entre o cluster e o sistema de arquivos, fazendo o seguinte:

  • Configure os grupos de segurança do cache de arquivos para permitir o tráfego de e para o CIDR ou a lista de prefixos das sub-redes do cluster.

    nota

    AWS ParallelCluster valida se as portas estão abertas e se o CIDR ou a lista de prefixos estão configurados. AWS ParallelCluster não valida o conteúdo do bloco CIDR ou da lista de prefixos.

  • Defina grupos de segurança personalizados para nós de cluster usando SlurmQueues / Networking / SecurityGroups e HeadNode / Networking / SecurityGroups. Os grupos de segurança personalizados devem ser configurados para permitir o tráfego entre o cluster e o sistema de arquivos.

    nota

    Se todos os nós do cluster usarem grupos de segurança personalizados, AWS ParallelCluster somente valida se as portas estão abertas. AWS ParallelCluster não valida se a origem e o destino estão configurados corretamente.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.