Azioni Bootstrap personalizzate AWS ParallelCluster 2.x e 3.x utilizzano una sintassi diversa del file di configurazione Lingua inclusiva Supporto Scheduler AWS ParallelCluster CLI IMDSaggiornamento della configurazione Regioni supportate per AWS ParallelCluster

Passaggio da AWS ParallelCluster 2.x a 3.x

Le sezioni seguenti descrivono cosa succede quando si passa da AWS ParallelCluster 2.x a 3.x, incluse le modifiche da una versione all'altra.

Azioni Bootstrap personalizzate

Con AWS ParallelCluster 3, è possibile specificare diversi script di azioni bootstrap personalizzati per il nodo principale e i nodi di calcolo utilizzando OnNodeStart (pre_installnella AWS ParallelCluster versione 2) e OnNodeConfigured (post_installnella AWS ParallelCluster versione 2) i parametri nelle sezioni e/. HeadNodeSchedulingSlurmQueues Per ulteriori informazioni, consulta Azioni bootstrap personalizzate.

Gli script di azioni bootstrap personalizzati sviluppati per AWS ParallelCluster 2 devono essere adattati per essere utilizzati in 3: AWS ParallelCluster

Non è consigliabile utilizzare /etc/parallelcluster/cfnconfig e cfn_node_type distinguere tra nodi principali e nodi di calcolo. Ti consigliamo invece di specificare due script diversi in e/. HeadNodeSchedulingSlurmQueues
Se preferite continuare a caricarlo /etc/parallelcluster/cfnconfig per utilizzarlo nello script di azioni bootstrap, tenete presente che il valore di cfn_node_type è cambiato da "MasterServer" a "HeadNode" (vedi:Lingua inclusiva).
In AWS ParallelCluster 2, il primo argomento di input per gli script di azione di bootstrap era l'S3 URL dello script ed era riservato. In AWS ParallelCluster 3, solo gli argomenti configurati nella configurazione vengono passati agli script.

avvertimento

L'utilizzo di variabili interne fornite tramite il /etc/parallelcluster/cfnconfig file non è ufficialmente supportato. Questo file potrebbe essere rimosso come parte di future release.

AWS ParallelCluster 2.x e 3.x utilizzano una sintassi diversa del file di configurazione

AWS ParallelCluster La configurazione 3.x utilizza la sintassi. YAML Il riferimento completo può essere trovato all'indirizzo. File di configurazione

Oltre a richiedere un formato di YAML file, nella versione AWS ParallelCluster 3.x sono state aggiornate diverse sezioni di configurazione, impostazioni e valori dei parametri. In questa sezione, vengono riportate le principali modifiche alla AWS ParallelCluster configurazione insieme ad side-by-side esempi che illustrano queste differenze tra ciascuna versione di. AWS ParallelCluster

Esempio di configurazione di code di pianificazione multiple con hyperthreading abilitato e disabilitato

AWS ParallelCluster 2:


[cluster default]
queue_settings = ht-enabled, ht-disabled
...

[queue ht-enabled]
compute_resource_settings = ht-enabled-i1
disable_hyperthreading = false

[queue ht-disabled]
compute_resource_settings = ht-disabled-i1
disable_hyperthreading = true

[compute_resource ht-enabled-i1]
instance_type = c5n.18xlarge
[compute_resource ht-disabled-i1]
instance_type = c5.xlarge

AWS ParallelCluster 3:


...
Scheduling:
  Scheduler: slurm
  SlurmQueues:
    - Name: ht-enabled
      Networking:
        SubnetIds:
          - compute_subnet_id
      ComputeResources:
        - Name: ht-enabled-i1
          DisableSimultaneousMultithreading: true
          InstanceType: c5n.18xlarge     
    - Name: ht-disabled
      Networking:
        SubnetIds:
          - compute_subnet_id
      ComputeResources:
        - Name: ht-disabled-i1
          DisableSimultaneousMultithreading: false
          InstanceType: c5.xlarge

Esempio di novità FSx per la configurazione del file system Lustre

AWS ParallelCluster 2:


[cluster default]
fsx_settings = fsx
...

[fsx fsx]
shared_dir = /shared-fsx
storage_capacity = 1200
imported_file_chunk_size = 1024
import_path = s3://amzn-s3-demo-bucket
export_path = s3://amzn-s3-demo-bucket/export_dir
weekly_maintenance_start_time = 3:02:30
deployment_type = PERSISTENT_1
data_compression_type = LZ4

AWS ParallelCluster 3:


...
SharedStorage:
  - Name: fsx
    MountDir: /shared-fsx
    StorageType: FsxLustre
    FsxLustreSettings:
      StorageCapacity: 1200
      ImportedFileChunkSize: 1024
      ImportPath: s3://amzn-s3-demo-bucket
      ExportPath: s3://amzn-s3-demo-bucket/export_dir
      WeeklyMaintenanceStartTime: "3:02:30"
      DeploymentType: PERSISTENT_1
      DataCompressionType: LZ4

Esempio di configurazione di cluster che monta un file system esistente FSx per Lustre

AWS ParallelCluster 2:


[cluster default]
fsx_settings = fsx
...

[fsx fsx]
shared_dir = /shared-fsx
fsx_fs_id = fsx_fs_id

AWS ParallelCluster 3:


...
SharedStorage:
  - Name: fsx
    MountDir: /shared-fsx
    StorageType: FsxLustre
    FsxLustreSettings:
      FileSystemId: fsx_fs_id

Esempio di cluster con lo stack software Intel HPC Platform Specification

AWS ParallelCluster 2:


[cluster default]
enable_intel_hpc_platform = true
...

AWS ParallelCluster 3:


...
AdditionalPackages:
  IntelSoftware:
    IntelHpcPlatform: true

Note:

L'installazione del software Intel HPC Platform Specification è soggetta ai termini e alle condizioni del Contratto di licenza Intel per l'utente finale applicabile.

Esempi di IAM configurazioni personalizzate tra cui: profilo dell'istanza, ruolo dell'istanza, politiche aggiuntive per le istanze e il ruolo per le funzioni lambda associate al cluster

AWS ParallelCluster 2:


[cluster default]
additional_iam_policies = arn:aws:iam::aws:policy/AmazonS3ReadOnlyAccess,arn:aws:iam::aws:policy/AmazonDynamoDBReadOnlyAccess
ec2_iam_role = ec2_iam_role
iam_lambda_role = lambda_iam_role
...

AWS ParallelCluster 3:


...
Iam:
  Roles:
    CustomLambdaResources: lambda_iam_role
HeadNode:
  ...
  Iam:
    InstanceRole: ec2_iam_role
Scheduling:
  Scheduler: slurm
  SlurmQueues:
    - Name: queue1
      ...
      Iam:
        InstanceProfile: iam_instance_profile
    - Name: queue2
      ...
      Iam:
        AdditionalIamPolicies:
          - Policy: arn:aws:iam::aws:policy/AmazonS3ReadOnlyAccess
          - Policy: arn:aws:iam::aws:policy/AmazonDynamoDBReadOnlyAccess

Note:

Per AWS ParallelCluster 2, le IAM impostazioni vengono applicate a tutte le istanze di un cluster e non additional_iam_policies possono essere utilizzate insieme a. ec2_iam_role
Per AWS ParallelCluster 3, puoi avere IAM impostazioni diverse per i nodi di testa e di calcolo e persino specificare IAM impostazioni diverse per ogni coda di calcolo.
Per AWS ParallelCluster 3, puoi usare un profilo di IAM istanza come alternativa a un ruolo. IAM InstanceProfileInstanceRoleo non AdditionalIamPolicies possono essere configurati insieme.

Esempio di azioni bootstrap personalizzate

AWS ParallelCluster 2:


[cluster default]
s3_read_resource = arn:aws:s3:::amzn-s3-demo-bucket/*
pre_install = s3://amzn-s3-demo-bucket/scripts/pre_install.sh
pre_install_args = 'R curl wget'
post_install = s3://amzn-s3-demo-bucket/scripts/post_install.sh
post_install_args = "R curl wget"
...

AWS ParallelCluster 3:


...
HeadNode:
  ...
  CustomActions:
    OnNodeStart:
      Script: s3://amzn-s3-demo-bucket/scripts/pre_install.sh
      Args:
        - R
        - curl
        - wget
    OnNodeConfigured:
      Script: s3://amzn-s3-demo-bucket/scripts/post_install.sh
      Args: ['R', 'curl', 'wget']
  Iam:
    S3Access:
      - BucketName: amzn-s3-demo-bucket
Scheduling:
  Scheduler: slurm
  SlurmQueues:
    - Name: queue1
      ...
      CustomActions:
        OnNodeStart:
          Script: s3://amzn-s3-demo-bucket/scripts/pre_install.sh
          Args: ['R', 'curl', 'wget']
        OnNodeConfigured:
          Script: s3://amzn-s3-demo-bucket/scripts/post_install.sh
          Args: ['R', 'curl', 'wget']
      Iam:
        S3Access:
          - BucketName: amzn-s3-demo-bucket

Esempio di cluster con accesso in lettura e scrittura alle risorse del bucket S3

AWS ParallelCluster 2:


[cluster default]
s3_read_resource = arn:aws:s3:::amzn-s3-demo-bucket/read_only/*
s3_read_write_resource = arn:aws:s3:::amzn-s3-demo-bucket/read_and_write/*
...

AWS ParallelCluster 3:


...
HeadNode:
  ...
  Iam:
    S3Access:
      - BucketName: amzn-s3-demo-bucket
        KeyName: read_only/
        EnableWriteAccess: False
      - BucketName: amzn-s3-demo-bucket
        KeyName: read_and_write/
        EnableWriteAccess: True
Scheduling:
  Scheduler: slurm
  SlurmQueues:
    - Name: queue1
      ...
      Iam:
        S3Access:
          - BucketName: amzn-s3-demo-bucket
            KeyName: read_only/
            EnableWriteAccess: False
          - BucketName: amzn-s3-demo-bucket
            KeyName: read_and_write/
            EnableWriteAccess: True

Lingua inclusiva

AWS ParallelCluster 3 usa le parole «head node» nei punti in cui «master» è stato usato in AWS ParallelCluster 2. Questo include gli output seguenti:

Variabile esportata nell'ambiente di AWS Batch lavoro modificata: da MASTER_IP aPCLUSTER_HEAD_NODE_IP.
Tutti gli AWS CloudFormation output sono cambiati da aMaster*. HeadNode*
Tutti NodeType i tag sono cambiati da Master a. HeadNode

Supporto Scheduler

AWS ParallelCluster 3.x non supporta gli scheduler Son of Grid Engine (SGE) e Torque.

I AWS Batch comandiawsbhosts,awsbkill,awsbout, awsbqueuesawsbstat, e awsbsub sono distribuiti come pacchetto aws-parallelcluster-awsbatch-cli PyPI separato. Questo pacchetto viene installato dal AWS ParallelCluster nodo principale. È ancora possibile utilizzare questi AWS Batch comandi dal nodo principale del cluster. Tuttavia, se desideri utilizzare AWS Batch i comandi da una posizione diversa dal nodo principale, devi prima installare il pacchetto aws-parallelcluster-awsbatch-cli PyPI.

AWS ParallelCluster CLI

L'interfaccia AWS ParallelCluster a riga di comando (CLI) è stata modificata. La nuova sintassi è descritta inComandi dell'interfaccia a riga di comando di AWS ParallelCluster. Il formato di output per CLI è una JSONstringa.

Configurazione di un nuovo cluster

Il pcluster configure comando include parametri diversi in AWS ParallelCluster 3 rispetto a AWS ParallelCluster 2. Per ulteriori informazioni, consulta pcluster configure.

Si noti inoltre che la sintassi del file di configurazione è cambiata rispetto a AWS ParallelCluster 2. Per un riferimento completo delle impostazioni di configurazione del cluster, vedereFile di configurazione del cluster.

Creazione di un nuovo cluster

AWS ParallelCluster Il pcluster create comando di 2 è stato sostituito dal pcluster create-clustercomando.

Nota che il comportamento predefinito in AWS ParallelCluster 2.x, senza l'-nwopzione, è quello di attendere gli eventi di creazione del cluster, mentre il comando AWS ParallelCluster 3.x ritorna immediatamente. L'avanzamento della creazione del cluster può essere monitorato utilizzando. pcluster describe-cluster

Un file di configurazione a AWS ParallelCluster 3 dimensioni contiene una singola definizione di cluster, quindi il -t parametro non è più necessario.

Di seguito è riportato un esempio di file di configurazione.


# AWS ParallelCluster v2
$ pcluster create \
    -r REGION \
    -c V2_CONFIG_FILE \
    -nw \
    -t CLUSTER_TEMPLATE \
    CLUSTER_NAME

# AWS ParallelCluster v3
$ pcluster create-cluster \
    --region REGION \
    --cluster-configuration V3_CONFIG_FILE \
    --cluster-name CLUSTER_NAME

Elenco dei cluster

Il comando pcluster list AWS ParallelCluster 2.x deve essere sostituito con pcluster list-clusterscommand.

Nota: è necessaria la AWS ParallelCluster versione 2 CLI per elencare i cluster creati con le versioni 2.x di. AWS ParallelCluster Scopri Installazione AWS ParallelCluster in un ambiente virtuale (scelta consigliata) come installare più versioni di AWS ParallelCluster Using Virtual Environments.


# AWS ParallelCluster v2
$ pcluster list -r REGION

# AWS ParallelCluster v3
$ pcluster list-clusters --region REGION

Avvio e arresto di un cluster

I comandi pcluster start e pcluster stop AWS ParallelCluster 2.x devono essere sostituiti con pcluster update-compute-fleetcomandi.

Avvio di una flotta di elaborazione:


# AWS ParallelCluster v2
$ pcluster start \
    -r REGION \
    CLUSTER_NAME

# AWS ParallelCluster v3 - Slurm fleets
$ pcluster update-compute-fleet \
    --region REGION \
    --cluster-name CLUSTER_NAME \
    --status START_REQUESTED

# AWS ParallelCluster v3 - AWS Batch fleets
$ pcluster update-compute-fleet \
    --region REGION \
    --cluster-name CLUSTER_NAME \
    --status ENABLED

Arresto di una flotta di elaborazione:


# AWS ParallelCluster v2
$ pcluster stop \
    -r REGION \
    CLUSTER_NAME

# AWS ParallelCluster v3 - Slurm fleets
$ pcluster update-compute-fleet \
    --region REGION \
    --cluster-name CLUSTER_NAME \
    --status STOP_REQUESTED

# AWS ParallelCluster v3 - AWS Batch fleets
$ pcluster update-compute-fleet \
    --region REGION \
    --cluster-name CLUSTER_NAME \
    --status DISABLED

Connessione a un cluster

Il comando pcluster ssh AWS ParallelCluster 2.x ha nomi di parametri diversi in AWS ParallelCluster 3.x. Per informazioni, consulta pcluster ssh.

Connessione a un cluster:


# AWS ParallelCluster v2
$ pcluster ssh \
    -r REGION \
    CLUSTER_NAME \
    -i ~/.ssh/id_rsa

# AWS ParallelCluster v3
$ pcluster ssh \
    --region REGION \
    --cluster-name CLUSTER_NAME \
    -i ~/.ssh/id_rsa

IMDSaggiornamento della configurazione

A partire dalla versione 3.0.0, AWS ParallelCluster ha introdotto il supporto per limitare l'accesso alle credenziali del nodo principale IMDS (e del profilo di istanza) a un sottoinsieme di superutenti, per impostazione predefinita. Per ulteriori informazioni, consulta Proprietà Imds.

Regioni supportate per AWS ParallelCluster

AWS ParallelCluster la versione 3 è disponibile nelle seguenti versioni Regioni AWS:

Nome della regione	Regione
US East (Ohio)	us-east-2
US East (N. Virginia)	us-east-1
US West (N. California)	us-west-1
US West (Oregon)	us-west-2
Africa (Cape Town)	af-south-1
Asia Pacifico (Hong Kong)	ap-east-1
Asia Pacific (Mumbai)	ap-south-1
Asia Pacific (Seoul)	ap-northeast-2
Asia Pacific (Singapore)	ap-southeast-1
Asia Pacific (Sydney)	ap-southeast-2
Asia Pacific (Tokyo)	ap-northeast-1
Canada (Central)	ca-central-1
China (Beijing)	cn-north-1
China (Ningxia)	cn-northwest-1
Europe (Frankfurt)	eu-central-1
Europe (Ireland)	eu-west-1
Europe (London)	eu-west-2
Europa (Milano)	eu-south-1
Europe (Paris)	eu-west-3
Europe (Stockholm)	eu-north-1
Medio Oriente (Bahrein)	me-south-1
Sud America (São Paulo)	sa-east-1
AWS GovCloud (Stati Uniti orientali)	us-gov-east-1
AWS GovCloud (Stati Uniti occidentali)	us-gov-west-1
Israele (Tel Aviv)	il-central-1

Avvertimento JavaScript è disabilitato o non è disponibile nel tuo browser.

Per usare la documentazione AWS, JavaScript deve essere abilitato. Consulta le pagine della guida del browser per le istruzioni.

Convenzioni dei documenti

Best practice

Usando AWS ParallelCluster