Slurm contabilidade com AWS ParallelCluster - AWS ParallelCluster
Trabalhando com Slurm contabilidade usando recursos externos Slurmdbd na AWS ParallelCluster v3.10.0 e posteriorTrabalhando com Slurm contabilidade usando o nó principal Slurmdbd na AWS ParallelCluster v3.3.0 e posteriorSlurm considerações contábeis

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Slurm contabilidade com AWS ParallelCluster

A partir da versão 3.3.0, suporta AWS ParallelCluster Slurm contabilidade com o parâmetro de configuração do cluster SlurmSettings/Database.

A partir da versão 3.10.0, suporta AWS ParallelCluster Slurm contabilidade com um Slurmdbd externo com o parâmetro de configuração do cluster/. SlurmSettingsExternalSlurmdbd É recomendável usar um Slurmdbd externo se vários clusters compartilharem o mesmo banco de dados.

Com Slurm contabilidade, você pode integrar um banco de dados contábil externo para fazer o seguinte:

  • Gerenciar usuários do cluster ou grupos de usuários e outras entidades. Com esse recurso, você pode usar Slurmrecursos mais avançados, como imposição de limites de recursos, fairshare e. QOSs

  • Coleta e salva dados do trabalho, como o usuário que executou o trabalho, a duração do trabalho e os recursos que ele usa. Você pode visualizar os dados salvos com o utilitário sacct.

nota

AWS ParallelCluster apoios Slurm contabilizando para Slurm suportou Meus servidores SQL de banco de dados.

Trabalhando com Slurm contabilidade usando recursos externos Slurmdbd na AWS ParallelCluster v3.10.0 e posterior

Antes de configurar Slurm contabilidade, você deve ter um externo existente Slurmdbd servidor de banco de dados, que se conecta a um servidor de banco de dados externo existente.

Para configurar isso, defina o seguinte:

  • O endereço do externo Slurmdbd servidor em ExternalSlurmdbd/Host. O servidor deve existir e estar acessível a partir do nó principal.

  • A chave munge para se comunicar com o externo Slurmdbd entrada do servidor MungeKeySecretArn.

Para ver um tutorial, consulte Criação de um cluster com uma Slurmdbd contabilidade externa.

nota

Você é responsável por gerenciar o Slurm entidades de contabilidade de banco de dados.

A arquitetura do AWS ParallelCluster externo SlurmDB o recurso de suporte permite que vários clusters compartilhem o mesmo SlurmDB e o mesmo banco de dados.

A flowchart depicting the Database Stack, Slurmdbd stack, PC Cluster Stack 1, and PC Cluster Stack 2. Containing components such as Slurmdbd instance, RDS Aurora MySQL Database, and Login nodes.

Atenção

Tráfego entre AWS ParallelCluster e o externo SlurmDB não está criptografado. É recomendável executar o cluster e o externo SlurmDB em uma rede confiável.

Trabalhando com Slurm contabilidade usando o nó principal Slurmdbd na AWS ParallelCluster v3.3.0 e posterior

Antes de configurar Slurm contabilidade, você deve ter um servidor de banco de dados externo existente e um banco de dados que use mysql protocolo.

Para configurar Slurm contabilizando com AWS ParallelCluster, você deve definir o seguinte:

  • O URI para o servidor de banco de dados externo em Database/Uri. O servidor deve existir e estar acessível a partir do nó principal.

  • Credenciais para acessar o banco de dados externo que estão definidas em Database/PasswordSecretArne Database/UserName. AWS ParallelCluster usa essas informações para configurar a contabilidade no Slurm nível e o slurmdbd serviço no nó principal. slurmdbdé o daemon que gerencia a comunicação entre o cluster e o servidor do banco de dados.

Para ver um tutorial, consulte Criação de um cluster com Slurm contabilidade.

nota

AWS ParallelCluster executa um bootstrap básico do Slurm banco de dados contábil definindo o usuário padrão do cluster como administrador do banco de dados no Slurm banco de dados. AWS ParallelCluster não adiciona nenhum outro usuário ao banco de dados contábil. O cliente é responsável por gerenciar as entidades contábeis no Slurm banco de dados.

AWS ParallelCluster configura slurmdbdpara garantir que um cluster tenha seu próprio Slurm banco de dados no servidor de banco de dados. O mesmo servidor de banco de dados pode ser usado em vários clusters, mas cada cluster tem seu próprio banco de dados separado. AWS ParallelCluster usa o nome do cluster para definir o nome do banco de dados no StorageLocparâmetro do arquivo de slurmdbd configuração. Considere a situação a seguir. Um banco de dados que está presente no servidor de banco de dados inclui um nome de cluster que não é mapeado para um nome de cluster ativo. Nesse caso, você pode criar um novo cluster com esse nome de cluster para mapear para esse banco de dados. Slurm reutiliza o banco de dados para o novo cluster.

Atenção

  • Não recomendamos configurar mais de um cluster para usar o mesmo banco de dados ao mesmo tempo. Isso pode levar a problemas de desempenho ou até mesmo a situações de impasse no banco de dados.

  • If (Se) Slurm a contabilidade está ativada no nó principal de um cluster. Recomendamos usar um tipo de instância com uma potênciaCPU, mais memória e maior largura de banda de rede. Slurm a contabilidade pode sobrecarregar o nó principal do cluster.

Na arquitetura atual do AWS ParallelCluster Slurm recurso de contabilidade, cada cluster tem sua própria instância do slurmdbd daemon, conforme mostrado no diagrama a seguir, exemplos de configurações.

A configuration with two clusters that are connected to a MySQL server. Each cluster has their own slurmdbd daemon instance. Moreover, each cluster is connected to its own database through the server. Another configuration with a single cluster that has its own slurmdbd daemon instance. This configuration is connected to a MySQL server and is also connected to its own database through the server.

Se você estiver adicionando algo personalizado Slurm funcionalidades de vários clusters ou federação em seu ambiente de cluster, todos os clusters devem fazer referência à mesma slurmdbd instância. Para essa alternativa, recomendamos que você habilite AWS ParallelCluster Slurm contabilizar em um cluster e configurar manualmente os outros clusters para se conectarem aos slurmdbd que estão hospedados no primeiro cluster.

Se você estiver usando AWS ParallelCluster versões anteriores à versão 3.3.0, consulte o método alternativo para implementar Slurm contabilidade descrita nesta postagem HPC do blog.

Slurm considerações contábeis

Banco de dados e cluster em diferentes VPCs

Para habilitar Slurm contabilidade, um servidor de banco de dados é necessário para servir como back-end para as operações de leitura e gravação que o slurmdbd daemon executa. Antes que o cluster seja criado ou atualizado para habilitar Slurm contabilizando, o nó principal deve ser capaz de acessar o servidor do banco de dados.

Se você precisar implantar o servidor de banco de dados em um servidor VPC diferente daquele usado pelo cluster, considere o seguinte:

  • Para permitir a comunicação entre o slurmdbd lado do cluster e o servidor do banco de dados, você deve configurar a conectividade entre os doisVPCs. Para obter mais informações, consulte VPCPeering no Guia do usuário da Amazon Virtual Private Cloud.

  • Você deve criar o grupo de segurança que deseja anexar ao nó principal VPC do cluster. Depois que os dois VPCs forem emparelhados, a vinculação cruzada entre os grupos de segurança do lado do banco de dados e do cluster estará disponível. Para obter mais informações, consulte Regras do Grupo de Segurança no Guia do usuário da Amazon Virtual Private Cloud.

Configurando a TLS criptografia entre slurmdbd e o servidor de banco de dados

Com o padrão Slurm configuração contábil que AWS ParallelCluster fornece, slurmdbd estabelece uma conexão TLS criptografada com o servidor de banco de dados, se o servidor suportar TLS criptografia. AWS serviços de banco de dados, como AmazonRDS, Amazon Aurora oferecem suporte à TLS criptografia por padrão.

Você pode exigir conexões seguras no lado do servidor definindo o parâmetro require_secure_transport no servidor do banco de dados. Isso é configurado no CloudFormation modelo fornecido.

Seguindo as práticas recomendadas de segurança, recomendamos também habilitar a verificação da identidade do servidor no cliente do slurmdbd. Para fazer isso, configure StorageParameterso. noslurmdbd.conf. Carregue o certificado CA do servidor no nó principal do cluster. Em seguida, defina a opção SSL_CA slurmdbd.conf de StorageParameters in no caminho do certificado CA do servidor no nó principal. Isso permite a verificação da identidade do servidor no lado de slurmdbd. Depois de fazer essas alterações, reinicie o serviço slurmdbd para restabelecer a conectividade com o servidor de banco de dados com a verificação de identidade ativada.

Atualização das credenciais do banco de dados

Para atualizar os valores de Database/UserNameou PasswordSecretArn, você deve primeiro interromper a frota computacional. Suponha que o valor secreto armazenado no AWS Secrets Manager segredo seja alterado e ARN não seja alterado. Nessa situação, o cluster não atualiza automaticamente a senha do banco de dados para o novo valor. Para atualizar o cluster para o novo valor secreto, execute o comando a seguir no nó principal.

$ sudo /opt/parallelcluster/scripts/slurm/update_slurm_database_password.sh
Atenção

Para evitar a perda de dados contábeis, recomendamos que você altere a senha do banco de dados somente quando a frota de computação for interrompida.

Monitoramento de banco de dados

Recomendamos que você ative os recursos de monitoramento dos serviços de AWS banco de dados. Para obter mais informações, consulte o RDSmonitoramento da Amazon ou a documentação de monitoramento do Amazon Aurora.