Seção SharedStorage - AWS ParallelCluster
SharedStoragepolíticas de atualizaçãoPropriedades do SharedStorageEbsSettingsEfsSettingsFsxLustreSettingsFsxOntapSettingsFsxOpenZfsSettingsFileCacheSettings

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Seção SharedStorage

(Opcional) As configurações de armazenamento compartilhado do cluster.

AWS ParallelCluster suporta o uso da Amazon EBSONTAP, FSxpara e FSxpara volumes de armazenamento ZFS compartilhado Open, sistemas de arquivos FSxde armazenamento compartilhado Amazon EFS e Lustre ou caches de arquivos.

Na seção SharedStorage, você pode definir armazenamento externo ou gerenciado:

  • O armazenamento externo se refere a um volume ou sistema de arquivos existente que você gerencia. AWS ParallelCluster não o cria nem o exclui.

  • AWS ParallelCluster armazenamento gerenciado se refere a um volume ou sistema de arquivos AWS ParallelCluster criado e que pode ser excluído.

Para cotas de armazenamento compartilhado e obter mais informações sobre como configurar seu armazenamento compartilhado, consulte Armazenamento compartilhado em Como usar o AWS ParallelCluster.

nota

Se AWS Batch for usado como um programador, FSx o Lustre só estará disponível no nó principal do cluster.

SharedStorage:
  - MountDir: string
    Name: string
    StorageType: Ebs
    EbsSettings:
      VolumeType: string
      Iops: integer
      Size: integer
      Encrypted: boolean
      KmsKeyId: string
      SnapshotId: string
      Throughput: integer
      VolumeId: string
      DeletionPolicy: string
      Raid:
        Type: string
        NumberOfVolumes: integer
  - MountDir: string
    Name: string
    StorageType: Efs
    EfsSettings:
      Encrypted: boolean
      KmsKeyId: string
      EncryptionInTransit: boolean
      IamAuthorization: boolean
      PerformanceMode: string
      ThroughputMode: string
      ProvisionedThroughput: integer
      FileSystemId: string
      DeletionPolicy: string
      AccessPointId: string
  - MountDir: string
    Name: string
    StorageType: FsxLustre
    FsxLustreSettings:
      StorageCapacity: integer
      DeploymentType: string
      ImportedFileChunkSize: integer
      DataCompressionType: string
      ExportPath: string
      ImportPath: string
      WeeklyMaintenanceStartTime: string
      AutomaticBackupRetentionDays: integer
      CopyTagsToBackups: boolean
      DailyAutomaticBackupStartTime: string
      PerUnitStorageThroughput: integer
      BackupId: string
      KmsKeyId: string
      FileSystemId: string
      AutoImportPolicy: string
      DriveCacheType: string
      StorageType: string
      DeletionPolicy: string
      DataRepositoryAssociations:
      - Name: string
        BatchImportMetaDataOnCreate: boolean
        DataRepositoryPath: string
        FileSystemPath: string
        ImportedFileChunkSize: integer
        AutoExportPolicy: string
        AutoImportPolicy: string
  - MountDir: string
    Name: string
    StorageType: FsxOntap
    FsxOntapSettings:
      VolumeId: string
  - MountDir: string
    Name: string
    StorageType: FsxOpenZfs
    FsxOpenZfsSettings:
      VolumeId: string
  - MountDir: string
    Name: string
    StorageType: FileCache
    FileCacheSettings:
      FileCacheId: string

SharedStoragepolíticas de atualização

Propriedades do SharedStorage

MountDir (Obrigatório, String)

O caminho para o local em que o armazenamento compartilhado está montado.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

Name (Obrigatório, String)

O nome do armazenamento compartilhado. Use esse nome ao atualizar as configurações.

Atenção

Se você especificar armazenamento compartilhado AWS ParallelCluster gerenciado e alterar o valor paraName, o armazenamento compartilhado gerenciado e os dados existentes serão excluídos e um novo armazenamento compartilhado gerenciado será criado. Alterar o valor de Name com uma atualização de cluster equivale a substituir o armazenamento compartilhado gerenciado existente por um novo. Certifique-se de fazer backup de seus dados antes de alterar o Name se precisar reter os dados do armazenamento compartilhado existente.

Política de atualização: para essa configuração de valores de lista, a frota de computação deve ser interrompida ou QueueUpdateStrategy deve ser configurada para agregar um novo valor; a frota de computação deve ser interrompida ao remover um valor existente.

StorageType (Obrigatório, String)

O tipo do armazenamento compartilhado. Os valores compatíveis são Ebs, Efs, FsxLustre, FsxOntap e FsxOpenZfs.

Para mais informações, consulte FsxLustreSettings, FsxOntapSettings e FsxOpenZfsSettings.

nota

Se você usa AWS Batch como programador, FSx o Lustre só está disponível no nó principal do cluster.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

EbsSettings

(Opcional) As configurações de um EBS volume da Amazon.

EbsSettings:
  VolumeType: string
  Iops: integer
  Size: integer
  Encrypted: boolean
  KmsKeyId: string
  SnapshotId: string
  VolumeId: string
  Throughput: integer
  DeletionPolicy: string
  Raid:
    Type: string
    NumberOfVolumes: integer

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

Propriedades do EbsSettings

Quando definido comoDelete, um volume gerenciado, com seus dados, é excluído se o cluster for excluído ou se o volume for removido com uma atualização do cluster. DeletionPolicy

Para obter mais informações, consulte Armazenamento compartilhado em Como usar o AWS ParallelCluster.

VolumeType (Opcional, String)

Especifica o tipo de EBS volume da Amazon. Os valores compatíveis são gp2, gp3, io1, io2, sc1, st1 e standard. O valor padrão é gp3.

Para obter mais informações, consulte os tipos de EBS volume da Amazon no Guia EC2 do usuário da Amazon.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

Iops (Opcional, Integer)

Define o número de volumes IOPS para io1io2, e gp3 tipo.

O valor padrão, os valores suportados e a proporção do volume_iops para volume_size variam de acordo com VolumeType e Size.

VolumeType = io1

Padrão Iops = 100

Valores suportados Iops = 100–64000 †

volume_iopsMáximo em volume_size relação = 50 IOPS para cada GiB. 5000 IOPS requer pelo menos 100 GiB. volume_size

VolumeType = io2

Padrão Iops = 100

Valores suportados Iops = 100–64000 (256000 para volumes do io2 Block Express) †

IopsMáximo em Size relação = 500 IOPS para cada GiB. 5000 IOPS requer pelo menos 10 GiB. Size

VolumeType = gp3

Padrão Iops = 3000

Valores suportados Iops = 3000–16000

IopsMáximo em Size relação = 500 IOPS para cada GiB. 5000 IOPS requer pelo menos 10 GiB. Size

† IOPS O máximo é garantido somente em instâncias criadas no sistema Nitro provisionadas com mais de 32.000. IOPS Outras instâncias garantem até 32.000IOPS. A menos que você modifique o volume, os volumes de io1 mais antigos podem não atingir o desempenho total. io2 Os volumes do Block Express oferecem suporte a valores volume_iops de até 256000 em tipos de instância R5b. Para obter mais informações, consulte Volumes do io2 Block Express no Guia EC2 do usuário da Amazon.

Política de atualização: essa configuração pode ser alterada durante uma atualização.

Size (Opcional, Integer)

Especifica o tamanho do volume raiz em gibibytes (GiB). O valor padrão é 35.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

Encrypted (Opcional, Boolean)

Especifica se o volume está criptografado. O valor padrão é true.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

KmsKeyId (Opcional, String)

Especifica uma AWS KMS chave personalizada a ser usada para criptografia. Essa configuração requer que a configuração Encrypted seja definida como true.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

SnapshotId (Opcional, String)

Especifica o ID do EBS snapshot da Amazon se você usar um snapshot como origem para o volume.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

VolumeId (Opcional, String)

Especifica o ID do EBS volume da Amazon. Quando isso é especificado para uma instância EbsSettings, somente o parâmetro MountDir também pode ser especificado.

O volume deve ser criado na mesma zona de disponibilidade do HeadNode.

nota

Várias zonas de disponibilidade foram adicionadas na AWS ParallelCluster versão 3.4.0.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

Throughput (Opcional, Integer)

O throughput em MiB/s para provisionar um volume, com um máximo de 1.000 MiB/s.

Isso é válido somente quando VolumeType é gp3. O intervalo compatível é de 125 a 1000, com um valor padrão de 125.

Política de atualização: essa configuração pode ser alterada durante uma atualização.

DeletionPolicy (Opcional, String)

Especifica se o volume deve ser retido, excluído ou capturado quando o cluster é excluído ou o volume é removido. Os valores suportados são Delete, Retain e Snapshot. O valor padrão é Delete.

Quando DeletionPolicydefinido comoDelete, um volume gerenciado, com seus dados, é excluído se o cluster for excluído ou se o volume for removido com uma atualização do cluster.

Para obter mais informações, consulte Armazenamento compartilhado.

Política de atualização: essa configuração pode ser alterada durante uma atualização.

nota

DeletionPolicyé suportado a partir da AWS ParallelCluster versão 3.2.0.

Raid

(Opcional) Define a configuração de um RAID volume.

Raid:
  Type: string
  NumberOfVolumes: integer

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

Propriedades do Raid

Type (Obrigatório, String)

Define o tipo de RAID matriz. Os valores suportados são "0" (distribuído) e "1" (espelhado).

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

NumberOfVolumes (Opcional, Integer)

Define o número de EBS volumes da Amazon a serem usados para criar a RAID matriz. O intervalo de valores compatível é de 2 a 5. O valor padrão (quando a configuração Raid é definida) é 2.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

EfsSettings

(Opcional) As configurações de um sistema de EFS arquivos da Amazon.

EfsSettings:
  Encrypted: boolean
  KmsKeyId: string
  EncryptionInTransit: boolean
  IamAuthorization: boolean
  PerformanceMode: string
  ThroughputMode: string
  ProvisionedThroughput: integer
  FileSystemId: string
  DeletionPolicy: string
  AccessPointId: string

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

Propriedades do EfsSettings

Quando DeletionPolicydefinido comoDelete, um sistema de arquivos gerenciado, com seus dados, é excluído se o cluster for excluído ou se o sistema de arquivos for removido com uma atualização do cluster.

Para obter mais informações, consulte Armazenamento compartilhado em Como usar o AWS ParallelCluster.

Encrypted (Opcional, Boolean)

Especifica se o sistema de EFS arquivos da Amazon está criptografado. O valor padrão é false.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

KmsKeyId (Opcional, String)

Especifica uma AWS KMS chave personalizada a ser usada para criptografia. Essa configuração requer que a configuração Encrypted seja definida como true.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

EncryptionInTransit (Opcional, Boolean)

Se definido comotrue, os sistemas de EFS arquivos da Amazon são montados usando Transport Layer Security (TLS). Por padrão, isso é definido como false.

nota

Se AWS Batch for usado como agendador, EncryptionInTransit não é suportado.

nota

EncryptionInTransit é adicionado a partir do AWS ParallelCluster versão 3.4.0.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

IamAuthorization (Opcional, Boolean)

IamAuthorizationé adicionado a partir da AWS ParallelCluster versão 3.4.0.

Se definido comotrue, a Amazon EFS é autenticada usando a IAM identidade do sistema. Por padrão, isso é definido como false.

nota

Se IamAuthorization estiver definido como true, o EncryptionInTransit também deverá ser definido como true.

nota

Se AWS Batch for usado como agendador, IamAuthorization não é suportado.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

PerformanceMode (Opcional, String)

Especifica o modo de desempenho do sistema de EFS arquivos da Amazon. Os valores compatíveis são generalPurpose e maxIO. O valor padrão é generalPurpose. Para obter mais informações, consulte Performance modes (Modos de performance) no Guia do usuário do Amazon Elastic File System.

Recomendamos o modo de desempenho generalPurpose para a maioria dos sistemas de arquivos.

Os sistemas de arquivos que usam o modo de desempenho maxIO podem ser dimensionados para níveis superiores de throughput e operações por segundo agregadas. No entanto, há um compromisso com latências um pouco mais altas para a maioria das operações de arquivo.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

ThroughputMode (Opcional, String)

Especifica o modo de taxa de transferência do sistema de EFS arquivos da Amazon. Os valores compatíveis são bursting e provisioned. O valor padrão é bursting. Quando o provisioned é usado, ProvisionedThroughput deve ser especificado.

Política de atualização: essa configuração pode ser alterada durante uma atualização.

ProvisionedThroughput (Exigido quando ThroughputMode é provisioned, Integer)

Define a taxa de transferência provisionada (em MiB/s) do sistema de EFS arquivos da Amazon, medida em MiB/s. Isso corresponde ao ProvisionedThroughputInMibpsparâmetro na Amazon EFS API Reference.

Se você usar esse parâmetro, deverá definir ThroughputMode como provisioned.

O intervalo compatível é 1-1024. Para solicitar um aumento de limite, entre em contato com o AWS Support.

Política de atualização: essa configuração pode ser alterada durante uma atualização.

FileSystemId (Opcional, String)

Define o ID EFS do sistema de arquivos da Amazon para um sistema de arquivos existente.

Se o cluster estiver configurado para abranger várias zonas de disponibilidade, você deverá definir um destino de montagem do sistema de arquivos em cada zona de disponibilidade usada pelo cluster.

Quando isso é especificado, somente MountDir pode ser especificado. Nenhum outro EfsSettings pode ser especificado.

Se você definir essa opção, o seguinte deverá ocorrer para os sistemas de arquivos definidos:

  • Os sistemas de arquivos têm um destino de montagem existente em cada uma das zonas de disponibilidade do cluster, com NFS tráfego de entrada e saída permitido do e. HeadNode ComputeNodes Várias zonas de disponibilidade são configuradas em Scheduling//Networking SlurmQueues/SubnetIds.

    Para garantir que o tráfego seja permitido entre o cluster e o sistema de arquivos, você pode fazer o seguinte:

    • Configure os grupos de segurança do destino de montagem para permitir o tráfego de e para a lista de prefixos CIDR ou sub-redes do cluster.

      nota

      AWS ParallelCluster valida se as portas estão abertas e se a lista de prefixos CIDR or está configurada. AWS ParallelCluster não valida o conteúdo da lista de CIDR blocos ou prefixos.

    • Defina grupos de segurança personalizados para nós de cluster usando SlurmQueues / Networking / SecurityGroups e HeadNode / Networking / SecurityGroups. Os grupos de segurança personalizados devem ser configurados para permitir o tráfego entre o cluster e o sistema de arquivos.

      nota

      Se todos os nós do cluster usarem grupos de segurança personalizados, AWS ParallelCluster somente valida se as portas estão abertas. AWS ParallelCluster não valida se a origem e o destino estão configurados corretamente.

Atenção

EFS OneZone só é suportado se todos os nós de computação e o nó principal estiverem na mesma zona de disponibilidade. EFS OneZone só pode ter um alvo de montagem.

nota

Várias zonas de disponibilidade foram adicionadas na AWS ParallelCluster versão 3.4.0.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

DeletionPolicy (Opcional, String)

Especifica se o sistema de arquivos deve ser retido ou excluído quando o sistema de arquivos é removido do cluster ou o cluster é excluído. Os valores suportados são Delete e Retain. O valor padrão é Delete.

Quando definido comoDelete, um sistema de arquivos gerenciado, com seus dados, é excluído se o cluster for excluído ou se o sistema de arquivos for removido com uma atualização do cluster. DeletionPolicy

Para obter mais informações, consulte Armazenamento compartilhado.

Política de atualização: essa configuração pode ser alterada durante uma atualização.

nota

DeletionPolicyé suportado a partir da AWS ParallelCluster versão 3.3.0.

AccessPointId (Opcional, String)

Se essa opção for especificada, o ponto de entrada do sistema de arquivos definido pelo access point ID será montado em vez da raiz do sistema de arquivos.

Para obter mais informações, consulte Armazenamento compartilhado.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

FsxLustreSettings

nota

Você deve definir FsxLustreSettings se FsxLustre é especificado para StorageType.

(Opcional) As configurações de um sistema FSx de arquivos do Lustre.

FsxLustreSettings:
  StorageCapacity: integer
  DeploymentType: string
  ImportedFileChunkSize: integer
  DataCompressionType: string
  ExportPath: string
  ImportPath: string
  WeeklyMaintenanceStartTime: string
  AutomaticBackupRetentionDays: integer
  CopyTagsToBackups: boolean
  DailyAutomaticBackupStartTime: string
  PerUnitStorageThroughput: integer
  BackupId: string # BackupId cannot coexist with some of the fields
  KmsKeyId: string
  FileSystemId: string # FileSystemId cannot coexist with other fields
  AutoImportPolicy: string
  DriveCacheType: string
  StorageType: string
  DeletionPolicy: string

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

nota

Se AWS Batch for usado como um programador, FSx o Lustre só estará disponível no nó principal do cluster.

Propriedades do FsxLustreSettings

Quando definido comoDelete, um sistema de arquivos gerenciado, com seus dados, é excluído se o cluster for excluído ou se o sistema de arquivos for removido com uma atualização do cluster. DeletionPolicy

Para obter mais informações, consulte Armazenamento compartilhado.

StorageCapacity (Obrigatório, Integer)

Define a capacidade de armazenamento do sistema de arquivos FSx for Lustre, em GiB. StorageCapacityé necessário se você estiver criando um novo sistema de arquivos. Não inclua StorageCapacity se BackupId ou FileSystemId estiver especificado.

  • Para tipos de implantação SCRATCH_2, PERSISTENT_1 e PERSISTENT_2, os valores válidos são de 1200 GiB, 2400 GiB e incrementos de 2400 GiB.

  • Para o tipo de implantação SCRATCH_1, os valores válidos são de 1200 GiB, 2400 GiB e incrementos de 3600 GiB.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

DeploymentType (Opcional, String)

Especifica o tipo de implantação do sistema de arquivos FSx for Lustre. Os valores compatíveis são SCRATCH_1, SCRATCH_2, PERSISTENT_1 e PERSISTENT_2. O valor padrão é SCRATCH_2.

Escolha os tipos de implantação SCRATCH_1 e SCRATCH_2 quando precisar de armazenamento temporário e processamento de dados de prazo mais curto. O tipo de implantação SCRATCH_2 fornece criptografia de dados em trânsito e capacidade de throughput de intermitência mais alta que o SCRATCH_1.

Escolha o tipo de implantação PERSISTENT_1 para armazenamento de longo prazo e para workloads focadas no throughput que não sejam sensíveis à latência. O PERSISTENT_1 oferece suporte à criptografia de dados em trânsito. Ele está disponível em todos os Regiões da AWS lugares onde FSx o Lustre está disponível.

Escolha o tipo de PERSISTENT_2 implantação para armazenamento de longo prazo e para cargas de trabalho sensíveis à latência que exigem os mais altos níveis de taxa de transferência IOPS e taxa de transferência. PERSISTENT_2suporta SSD armazenamento e oferece mais PerUnitStorageThroughput (até 1000 MB/s/TiB). PERSISTENT_2está disponível em um número limitado de Regiões da AWS. Para obter mais informações sobre os tipos de implantação e a lista de Regiões da AWS onde PERSISTENT_2 está disponível, consulte Opções de implantação do sistema de arquivos FSx para o Lustre no Guia do usuário do Amazon FSx for Lustre.

A criptografia de dados em trânsito é ativada automaticamente quando você acessa ou SCRATCH_2 PERSISTENT_1 implementa sistemas PERSISTENT_2 de arquivos a partir de EC2 instâncias da Amazon que oferecem suporte a esse recurso.

A criptografia de dados em trânsito dos tipos de implantação SCRATCH_2, PERSISTENT_1 e PERSISTENT_2 é compatível quando acessada de tipos de instância compatíveis em Regiões da AWS compatíveis. Para obter mais informações, consulte Criptografar dados em trânsito no Guia do usuário do Amazon FSx for Lustre.

nota

Suporte para o tipo de implantação PERSISTENT_2 foi adicionado com o AWS ParallelCluster versão 3.2.0.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

ImportedFileChunkSize (Opcional, Integer)

Para arquivos que são importados de um repositório de dados, esse valor determina a contagem de stripes e a quantidade máxima de dados para cada arquivo (em MiB) armazenados em um único disco físico. O número máximo de discos nos quais um único arquivo pode ser distribuído é limitado pelo número total de discos que compõem o sistema de arquivos.

O tamanho de bloco padrão é 1.024 MiB (1 GiB) e pode chegar até 512.000 MiB (500 GiB). Os objetos do Amazon S3 têm um tamanho máximo de 5 TB.

nota

Esse parâmetro não é compatível com sistemas de arquivos que usam o tipo de implantação PERSISTENT_2. Para obter instruções sobre como configurar associações de repositórios de dados, consulte Como vincular seu sistema de arquivos a um bucket do S3 no Guia do usuário do Amazon FSx for Lustre.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

DataCompressionType (Opcional, String)

Define a configuração de compactação de dados FSx para o sistema de arquivos for Lustre. O valor suportado éLZ4. LZ4indica que a compactação de dados está ativada com o LZ4 algoritmo. Quando DataCompressionType não é especificado, a compactação de dados é desativada quando o sistema de arquivos é criado.

Para obter mais informações, consulte Compactação de dados do Lustre.

Política de atualização: essa configuração pode ser alterada durante uma atualização.

ExportPath (Opcional, String)

O caminho no Amazon S3 para o qual a raiz do seu sistema de arquivos FSx for Lustre é exportada. Essa configuração apenas tem suporte quando o parâmetro ImportPath é especificado. O caminho deve usar o mesmo bucket do Amazon S3 conforme especificado em ImportPath. Você pode fornecer um prefixo opcional para o qual os dados novos e alterados devem ser exportados do seu sistema de arquivos FSx for Lustre. Se um ExportPath valor não for fornecido, FSx for Lustre definirá um caminho de exportação padrão,s3://DOC-EXAMPLE-IMPORT-BUCKET/FSxLustre[creation-timestamp]. O carimbo de data/hora está no UTC formato, por exemplo. s3://DOC-EXAMPLE-IMPORT-BUCKET/FSxLustre20181105T222312Z

O bucket de exportação do Amazon S3 deve ser o mesmo que o bucket de importação especificado por ImportPath. Se especificar apenas um nome de bucket, como s3://DOC-EXAMPLE-IMPORT-BUCKET, você obterá um mapeamento de 1:1 de objetos do sistema de arquivos para os objetos do bucket do Amazon S3. Esse mapeamento indica que os dados de entrada no Amazon S3 são substituídos na exportação. Se você fornecer um prefixo personalizado no caminho de exportação, FSx por exemplo, for Lustre exporta o conteúdo do seu sistema de arquivos para esse prefixo de exportação no bucket do Amazon S3. s3://DOC-EXAMPLE-IMPORT-BUCKET/[custom-optional-prefix]

nota

Esse parâmetro não é compatível com sistemas de arquivos que usam o tipo de implantação PERSISTENT_2. Configure associações de repositórios de dados conforme descrito em Vinculando seu sistema de arquivos a um bucket do S3 no Guia do usuário do Amazon FSx for Lustre.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

ImportPath (Opcional, String)

O caminho para o bucket do Amazon S3 (incluindo o prefixo opcional) que você está usando como repositório de dados para seu FSx sistema de arquivos for Lustre. A raiz do seu sistema de arquivos FSx for Lustre será mapeada para a raiz do bucket Amazon S3 que você selecionar. Um exemplo é s3://DOC-EXAMPLE-IMPORT-BUCKET/optional-prefix. Se você especificar um prefixo após o nome do bucket do Amazon S3, apenas chaves de objeto com esse prefixo serão carregadas no sistema de arquivos.

nota

Esse parâmetro não é compatível com sistemas de arquivos que usam o tipo de implantação PERSISTENT_2. Configure associações de repositórios de dados conforme descrito em Vinculando seu sistema de arquivos a um bucket do S3 no Guia do usuário do Amazon FSx for Lustre.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

WeeklyMaintenanceStartTime (Opcional, String)

O horário de início preferido para realizar a manutenção semanal. Está no "d:HH:MM" formato no fuso horário UTC +0. Para esse formato, d é o número do dia da semana de 1 a 7, começando com a segunda-feira e terminando no domingo. As aspas são obrigatórias para esse campo.

Política de atualização: essa configuração pode ser alterada durante uma atualização.

AutomaticBackupRetentionDays (Opcional, Integer)

O número de dias em que os backups automáticos serão retidos. Definir esta opção como 0 desabilita os backups automáticos. O intervalo compatível é 0-90. O padrão é 0. Essa configuração só é válida para uso com os tipos de implantação PERSISTENT_1 e PERSISTENT_2. Para obter mais informações, consulte Como trabalhar com backups no Guia do usuário do Amazon FSx for Lustre.

Política de atualização: essa configuração pode ser alterada durante uma atualização.

CopyTagsToBackups (Opcional, Boolean)

trueEm caso afirmativo, copie as tags do sistema de arquivos FSx for Lustre para os backups. Esse valor padrão é false. Se estiver definido como true, todas as tags serão copiadas em todos os backups automáticos e iniciados pelo usuário quando nenhuma tag for especificada. Se esse valor for true e você especificar uma ou mais tags, apenas as que forem especificadas serão copiadas nos backups. Se você especificar uma ou mais tags ao criar um backup iniciado pelo usuário, nenhuma tag será copiada do sistema de arquivos, independentemente desse valor. Essa configuração só é válida para uso com os tipos de implantação PERSISTENT_1 e PERSISTENT_2.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

DailyAutomaticBackupStartTime (Opcional, String)

Um horário diário recorrente, no formato HH:MM. HH é a hora do dia preenchida com zeros (00-23). MM é o minuto da hora preenchido com zeros (00-59). Por exemplo, 05:00 especifica 5h da manhã diariamente. Essa configuração só é válida para uso com os tipos de implantação PERSISTENT_1 e PERSISTENT_2.

Política de atualização: essa configuração pode ser alterada durante uma atualização.

PerUnitStorageThroughput (Obrigatório para os tipos de implantação PERSISTENT_1 e PERSISTENT_2, Integer)

Descreve a quantidade de throughput de leitura e gravação para cada 1 tebibyte de armazenamento, em MB/s/TiB. A capacidade de throughput do sistema de arquivos é calculada multiplicando-se a capacidade de armazenamento do sistema de arquivos (TiB) pela PerUnitStorageThroughput (MB/s/TiB). Para um sistema de arquivos de 2,4 TiB, o provisionamento de 50 MB/s/TiB PerUnitStorageThroughput gera 120 MB/s de throughput do sistema de arquivos. Você paga pela quantidade de throughput que provisiona. Isso corresponde à PerUnitStorageThroughputpropriedade.

Valores válidos:

  • PERSISTENT_1 SSD armazenamento: 50, 100, 200 MB/s/TiB.

  • PERSISTENT_1 HDD armazenamento: 12, 40 MB/s/TiB.

  • PERSISTENT_2 SSD armazenamento: 125, 250, 500, 1000 MB/s/TiB.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

BackupId (Opcional, String)

Especifica o ID do backup a ser usado para restaurar o sistema de arquivos FSx for Lustre a partir de um backup existente. Quando a configuração BackupId é especificada, as configurações AutoImportPolicy, DeploymentType, ExportPath, KmsKeyId, ImportPath, ImportedFileChunkSize, StorageCapacity, e PerUnitStorageThroughput não devem ser especificadas. Essas configurações são lidas do backup. Além disso, as configurações AutoImportPolicy, ExportPath, ImportPath e ImportedFileChunkSize não devem ser especificados. Isso corresponde à BackupIdpropriedade.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

KmsKeyId (Opcional, String)

A ID da chave AWS Key Management Service (AWS KMS) usada para criptografar os dados do sistema de arquivos for Lustre FSx para que sejam persistentes FSx para sistemas de arquivos Lustre em repouso. Se não for especificada, a chave gerenciada FSx for Lustre será usada. Os sistemas de arquivos SCRATCH_1 e SCRATCH_2 FSx para o Lustre são sempre criptografados em repouso usando as chaves gerenciadas do FSx for Lustre. Para obter mais informações, consulte Criptografar na AWS Key Management Service APIReferência.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

FileSystemId (Opcional, String)

Especifica a ID de um sistema de arquivos existente FSx para o Lustre.

Se essa opção for especificada, somente as configurações MountDir e FileSystemId do FsxLustreSettings serão usadas. Todas as outras configurações no FsxLustreSettings são ignoradas.

nota

Se o AWS Batch agendador for usado, o FSx for Lustre estará disponível apenas no nó principal.

nota

O sistema de arquivos deve estar associado a um grupo de segurança que permita TCP tráfego de entrada e saída pelas portas 988, 1021, 1022 e 1023.

Confirme que o tráfego seja permitido entre o cluster e o sistema de arquivos, fazendo o seguinte:

  • Configure os grupos de segurança do sistema de arquivos para permitir o tráfego de e para a lista de prefixos CIDR ou sub-redes do cluster.

    nota

    AWS ParallelCluster valida se as portas estão abertas e se a lista de prefixos CIDR or está configurada. AWS ParallelCluster não valida o conteúdo da lista de CIDR blocos ou prefixos.

  • Defina grupos de segurança personalizados para nós de cluster usando SlurmQueues / Networking / SecurityGroups e HeadNode / Networking / SecurityGroups. Os grupos de segurança personalizados devem ser configurados para permitir o tráfego entre o cluster e o sistema de arquivos.

    nota

    Se todos os nós do cluster usarem grupos de segurança personalizados, AWS ParallelCluster somente valida se as portas estão abertas. AWS ParallelCluster não valida se a origem e o destino estão configurados corretamente.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

AutoImportPolicy (Opcional, String)

Quando você cria seu sistema de arquivos FSx para o Lustre, seus objetos existentes do Amazon S3 aparecem como listagens de arquivos e diretórios. Use essa propriedade para escolher como FSx o Lustre mantém suas listagens de arquivos e diretórios atualizadas à medida que você adiciona ou modifica objetos em seu bucket vinculado do Amazon S3. AutoImportPolicypode ter os seguintes valores:

  • NEW - A importação automática está ativada. FSxfor Lustre importa automaticamente as listagens de diretórios de quaisquer novos objetos adicionados ao bucket vinculado do Amazon S3 que não existam atualmente no FSx sistema de arquivos for Lustre.

  • NEW_CHANGED - A importação automática está ativada. FSxfor Lustre importa automaticamente as listagens de arquivos e diretórios de quaisquer novos objetos adicionados ao bucket do Amazon S3 e de quaisquer objetos existentes que sejam alterados no bucket do Amazon S3 após você escolher essa opção.

  • NEW_CHANGED_DELETED - A importação automática está ativada. FSxfor Lustre importa automaticamente as listagens de arquivos e diretórios de quaisquer novos objetos adicionados ao bucket do Amazon S3, quaisquer objetos existentes que foram alterados no bucket do Amazon S3 e quaisquer objetos que foram excluídos no bucket do Amazon S3 após você escolher essa opção.

    nota

    O suporte para NEW_CHANGED_DELETED foi adicionado ao AWS ParallelCluster versão 3.1.1.

Se AutoImportPolicy não for especificado, a importação automática está desativada. FSxfor Lustre somente atualiza as listagens de arquivos e diretórios do bucket vinculado do Amazon S3 quando o sistema de arquivos é criado. FSxO for Lustre não atualiza as listagens de arquivos e diretórios de nenhum objeto novo ou alterado depois de escolher essa opção.

Para obter mais informações, consulte Importar atualizações automaticamente do seu bucket do S3 no Guia do usuário do Amazon FSx for Lustre.

nota

Esse parâmetro não é compatível com sistemas de arquivos que usam o tipo de implantação PERSISTENT_2. Para obter instruções sobre como configurar associações de repositórios de dados, consulte Como vincular seu sistema de arquivos a um bucket do S3 no Guia do usuário do Amazon FSx for Lustre.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

DriveCacheType (Opcional, String)

Especifica que o sistema de arquivos tem um cache SSD de unidade. Isso só pode ser definido se a configuração StorageType estiver definida como HDD, e a configuração DeploymentType estiver definida como PERSISTENT_1. Isso corresponde à DriveCacheTypepropriedade. Para obter mais informações, consulte as opções FSx de implantação do Lustre no Guia do usuário do Amazon FSx for Lustre.

O único valor válido é READ. Para desativar o cache da SSD unidade, não especifique a DriveCacheType configuração.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

StorageType (Opcional, String)

Define o tipo de armazenamento FSx para o sistema de arquivos do Lustre que você está criando. Os valores válidos são SSD e HDD.

  • Defina como SSD para usar o armazenamento da unidade de estado sólido.

  • Defina como HDD para usar o armazenamento da unidade de disco rígido. HDD é compatível com os tipos de implantação PERSISTENT.

O valor padrão é SSD. Para obter mais informações, consulte Opções de tipo de armazenamento no Guia do usuário do Amazon FSx para Windows e Várias opções de armazenamento no Guia do usuário do Amazon FSx for Lustre.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

DeletionPolicy (Opcional, String)

Especifica se o sistema de arquivos deve ser retido ou excluído quando o sistema de arquivos é removido do cluster ou o cluster é excluído. Os valores suportados são Delete e Retain. O valor padrão é Delete.

Quando definido comoDelete, um sistema de arquivos gerenciado, com seus dados, é excluído se o cluster for excluído ou se o sistema de arquivos for removido com uma atualização do cluster. DeletionPolicy

Para obter mais informações, consulte Armazenamento compartilhado.

Política de atualização: essa configuração pode ser alterada durante uma atualização.

nota

DeletionPolicyé suportado a partir da AWS ParallelCluster versão 3.3.0.

DataRepositoryAssociations (Opcional, String)

Lista de DRAs (até 8 por sistema de arquivos)

Cada associação de repositório de dados deve ter um diretório exclusivo do sistema de FSx arquivos da Amazon e um bucket ou prefixo S3 exclusivo associado a ele.

Você não pode usar ExportPathe ImportPath FsxLustreSettings ao mesmo tempo que usaDRAs.

Política de atualização: essa configuração pode ser alterada durante uma atualização.

Name (Obrigatório, String)

O nome doDRA. Use esse nome ao atualizar as configurações.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

BatchImportMetaDataOnCreate (Opcional, Boolean)

Um sinalizador booleano indicando se uma tarefa de importação do repositório de dados para importar metadados deve ser executada após a criação da associação do repositório de dados. A tarefa será executada se esse sinalizador estiver definido como true.

Valor padrão: false

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

DataRepositoryPath (Obrigatório, String)

O caminho para o repositório de dados do Amazon S3 que será vinculado sistema de arquivos. O caminho pode ser um bucket ou prefixo do S3 no formato s3://myBucket/myPrefix/. Esse caminho especifica de onde os arquivos do repositório de dados do S3 serão importados ou para onde serão exportados.

Não pode se sobrepor a outros DRAs

Padrão: ^[^\u0000\u0085\u2028\u2029\r\n]{3,4357}$

Mínimo: 3

Máximo: 4357

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

FileSystemPath (Obrigatório, String)

Um caminho no sistema de arquivos Amazon FSx for Lustre que aponta para um diretório de alto nível (como/ns1/) ou subdiretório (como/ns1/subdir/) que será mapeado de 1 a 1 com. DataRepositoryPath A barra inicial no nome é obrigatória. Duas associações de repositórios de dados não podem ter caminhos de sistema de arquivos sobrepostos. Por exemplo, se um repositório de dados estiver associado ao caminho do sistema de arquivos /ns1/, você não poderá vincular outro repositório de dados ao caminho do sistema de arquivos /ns1/ns2.

Esse caminho especifica de onde os arquivos do sistema de arquivos serão exportados ou para onde eles serão importados. Esse diretório do sistema de arquivos só pode ser vinculado a um bucket do Amazon S3, e nenhum outro bucket do S3 pode ser vinculado ao diretório.

Não pode se sobrepor a outros DRAs

nota

Se você especificar somente uma barra (/) como o caminho do sistema de arquivos, poderá vincular somente um repositório de dados ao sistema de arquivos. Você só pode especificar "/" como o caminho do sistema de arquivos para o primeiro repositório de dados associado a um sistema de arquivos.

Padrão: ^[^\u0000\u0085\u2028\u2029\r\n]{1,4096}$

Mínimo: 1

Máximo: 4096

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

ImportedFileChunkSize (Opcional, Integer)

Para arquivos importados de um repositório de dados, esse valor determina a contagem de stripes e a quantidade máxima de dados por arquivo (em MiB) armazenados em um único disco físico. O número máximo de discos nos quais um único arquivo pode ser distribuído é limitado pelo número total de discos que compõem o sistema de arquivos ou cache.

O tamanho de bloco padrão é 1.024 MiB (1 GiB) e pode chegar até 512.000 MiB (500 GiB). Os objetos do Amazon S3 têm um tamanho máximo de 5 TB.

Mínimo: 1

Máximo: 4096

Política de atualização: essa configuração pode ser alterada durante uma atualização.

AutoExportPolicy (Opcional, Array of strings)

A lista pode conter um ou mais dos seguintes valores:

  • NEW: arquivos e diretórios novos são exportados automaticamente para o repositório de dados à medida que são adicionados ao sistema de arquivos.

  • CHANGED: as alterações em arquivos e diretórios no sistema de arquivos são exportadas automaticamente para o repositório de dados.

  • DELETED: arquivos e diretórios novos são excluídos automaticamente no repositório de dados à medida que são excluídos do sistema de arquivos.

É possível definir qualquer combinação de tipos de eventos para seu AutoExportPolicy.

Máximo: 3

Política de atualização: essa configuração pode ser alterada durante uma atualização.

AutoImportPolicy (Opcional, Array of strings)

A lista pode conter um ou mais dos seguintes valores:

  • NEW- A Amazon importa FSx automaticamente metadados de arquivos adicionados ao bucket S3 vinculado que não existem atualmente no sistema de FSx arquivos.

  • CHANGED- A Amazon atualiza FSx automaticamente os metadados dos arquivos e invalida o conteúdo existente no sistema de arquivos à medida que os arquivos são alterados no repositório de dados.

  • DELETED- A Amazon exclui FSx automaticamente os arquivos no sistema de arquivos à medida que os arquivos correspondentes são excluídos no repositório de dados.

É possível definir qualquer combinação de tipos de eventos para seu AutoImportPolicy.

Máximo: 3

Política de atualização: essa configuração pode ser alterada durante uma atualização.

FsxOntapSettings

nota

Você deve definir FsxOntapSettings se FsxOntap é especificado para StorageType.

(Opcional) As configurações de um sistema de ONTAP arquivos FSx for.

FsxOntapSettings:
  VolumeId: string

Propriedades do FsxOntapSettings

VolumeId (Obrigatório, String)

Especifica a ID do volume existente FSx para o ONTAP sistema.

nota

  • Se um AWS Batch agendador for usado, FSx ONTAP for estará disponível apenas no nó principal.

  • Se o tipo FSx for ONTAP deployment forMulti-AZ, certifique-se de que a tabela de rotas da sub-rede do nó principal esteja configurada corretamente.

  • Support FSx for ONTAP foi adicionado na AWS ParallelCluster versão 3.2.0.

  • O sistema de arquivos deve estar associado a um grupo de segurança que permita entrada e saída TCP e UDP tráfego pelas portas 111, 635, 2049 e 4046.

Confirme que o tráfego seja permitido entre o cluster e o sistema de arquivos, fazendo as ações a seguir:

  • Configure os grupos de segurança do sistema de arquivos para permitir o tráfego de e para a lista de prefixos CIDR ou sub-redes do cluster.

    nota

    AWS ParallelCluster valida se as portas estão abertas e se a lista de prefixos CIDR or está configurada. AWS ParallelCluster não valida o conteúdo da lista de CIDR blocos ou prefixos.

  • Defina grupos de segurança personalizados para nós de cluster usando SlurmQueues / Networking / SecurityGroups e HeadNode / Networking / SecurityGroups. Os grupos de segurança personalizados devem ser configurados para permitir o tráfego entre o cluster e o sistema de arquivos.

    nota

    Se todos os nós do cluster usarem grupos de segurança personalizados, AWS ParallelCluster somente valida se as portas estão abertas. AWS ParallelCluster não valida se a origem e o destino estão configurados corretamente.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

FsxOpenZfsSettings

nota

Você deve definir FsxOpenZfsSettings se FsxOpenZfs é especificado para StorageType.

(Opcional) As configurações de um FSx for Open ZFS File System.

FsxOpenZfsSettings:
  VolumeId: string

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

Propriedades do FsxOpenZfsSettings

VolumeId (Obrigatório, String)

Especifica o ID do volume existente FSx para o ZFS sistema aberto.

nota

  • Se um AWS Batch agendador for usado, FSx ZFS for Open só estará disponível no nó principal.

  • Support FSx for Open ZFS foi adicionado na AWS ParallelCluster versão 3.2.0.

  • O sistema de arquivos deve estar associado a um grupo de segurança que permita entrada e saída TCP e UDP tráfego pelas portas 111, 2049, 20001, 20002 e 20003.

Confirme que o tráfego seja permitido entre o cluster e o sistema de arquivos, fazendo o seguinte:

  • Configure os grupos de segurança do sistema de arquivos para permitir o tráfego de e para a lista de prefixos CIDR ou sub-redes do cluster.

    nota

    AWS ParallelCluster valida se as portas estão abertas e se a lista de prefixos CIDR or está configurada. AWS ParallelCluster não valida o conteúdo da lista de CIDR blocos ou prefixos.

  • Defina grupos de segurança personalizados para nós de cluster usando SlurmQueues / Networking / SecurityGroups e HeadNode / Networking / SecurityGroups. Os grupos de segurança personalizados devem ser configurados para permitir o tráfego entre o cluster e o sistema de arquivos.

    nota

    Se todos os nós do cluster usarem grupos de segurança personalizados, AWS ParallelCluster somente valida se as portas estão abertas. AWS ParallelCluster não valida se a origem e o destino estão configurados corretamente.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

FileCacheSettings

nota

Você deve definir FileCacheSettings se FileCache é especificado para StorageType.

(Opcional) As configurações de um cache de arquivos.

FileCacheSettings:
  FileCacheId: string

Política de atualização: se essa configuração for alterada, a atualização não será permitida.

Propriedades do FileCacheSettings

FileCacheId (Obrigatório, String)

Especifica a ID do cache de arquivos de um cache de arquivos existente.

nota

  • O cache de arquivos não oferece suporte a AWS Batch agendadores.

  • Support for File Cache foi adicionado na AWS ParallelCluster versão 3.7.0.

  • O sistema de arquivos deve estar associado a um grupo de segurança que permita TCP tráfego de entrada e saída pela porta 988.

Confirme que o tráfego seja permitido entre o cluster e o sistema de arquivos, fazendo o seguinte:

  • Configure os grupos de segurança do cache de arquivos para permitir o tráfego de e para a lista de prefixos CIDR ou de sub-redes do cluster.

    nota

    AWS ParallelCluster valida se as portas estão abertas e se a lista de prefixos CIDR or está configurada. AWS ParallelCluster não valida o conteúdo da lista de CIDR blocos ou prefixos.

  • Defina grupos de segurança personalizados para nós de cluster usando SlurmQueues / Networking / SecurityGroups e HeadNode / Networking / SecurityGroups. Os grupos de segurança personalizados devem ser configurados para permitir o tráfego entre o cluster e o sistema de arquivos.

    nota

    Se todos os nós do cluster usarem grupos de segurança personalizados, AWS ParallelCluster somente valida se as portas estão abertas. AWS ParallelCluster não valida se a origem e o destino estão configurados corretamente.

Política de atualização: se essa configuração for alterada, a atualização não será permitida.