As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Login de conclusão do trabalho AWS PEÇAS
Os registros de conclusão de tarefas fornecem detalhes importantes sobre suas tarefas do AWS Parallel Computing Service (AWS PCS) quando elas são concluídas, sem custo adicional. Você pode usar outros AWS serviços para acessar e processar seus dados de log, como Amazon CloudWatch Logs, Amazon Simple Storage Service (Amazon S3) e Amazon Data Firehose; o AWS PCS registra metadados sobre seus trabalhos, como os seguintes.
-
ID e nome do trabalho
-
Informações do usuário e do grupo
-
Estado do trabalho (como
COMPLETED,FAILED,CANCELLED) -
Partição usada
-
Limites de tempo
-
Horários de início, término, envio e qualificação
-
Lista e contagem de nós
-
Contagem de processadores
-
Diretório de trabalho
-
Uso de recursos (CPU, memória)
-
Códigos de saída
-
Detalhes do nó (nomes, IDs de instância, tipos de instância)
Sumário
Pré-requisitos
O principal do IAM que gerencia o cluster AWS PCS deve permitir a pcs:AllowVendedLogDeliveryForResource ação.
O exemplo de política do IAM a seguir concede as permissões necessárias.
Configurar registros de conclusão de tarefas
Você pode configurar registros de conclusão de tarefas para seu cluster AWS PCS com o Console de gerenciamento da AWS ou AWS CLI.
Como encontrar registros de conclusão de trabalhos
Você pode configurar destinos de log no CloudWatch Logs e no Amazon S3. AWS O PCS usa os seguintes nomes de caminhos estruturados e nomes de arquivo.
CloudWatch Registros
AWS O PCS usa o seguinte formato de nome para o fluxo de CloudWatch registros:
AWSLogs/PCS/cluster-id/jobcomp.log
Por exemplo: AWSLogs/PCS/pcs_abc123de45/jobcomp.log
Amazon S3
AWS O PCS usa o seguinte formato de nome para o caminho do S3:
AWSLogs/account-id/PCS/region/cluster-id/jobcomp/year/month/day/hour/
Por exemplo: AWSLogs/111122223333/PCS/us-east-1/pcs_abc123de45/jobcomp/2025/06/19/11/
AWS O PCS usa o seguinte formato de nome para os arquivos de log:
PCS_jobcomp_year-month-day-hour_cluster-id_random-id.log.gz
Por exemplo: PCS_jobcomp_2025-06-19-11_pcs_abc123de45_04be080b.log.gz
Campos do registro de conclusão do trabalho
AWS O PCS grava dados do registro de conclusão do trabalho como objetos JSON. Cada entrada de registro contém campos de metadados de nível superior e um fields objeto. Os campos de nível superior identificam o cluster, a hora do evento e a versão do agendador. O fields objeto contém os detalhes do trabalho. Alguns campos no fields objeto aparecem somente para trabalhos de matriz ou trabalhos heterogêneos.
A tabela a seguir descreve os campos de nível superior em cada entrada de registro.
| Nome | Valor de exemplo | Obrigatório | Observações |
|---|---|---|---|
resource_id |
"pcs_22l8nzr3t9" |
Sim | O ID do cluster AWS PCS |
resource_type |
"PCS_CLUSTER" |
Sim | Sempre "PCS_CLUSTER" |
event_timestamp |
1750370337 |
Sim | Época Unix (segundos em que o evento ocorreu) |
scheduler_type |
"slurm" |
Sim | O tipo de agendador para o cluster |
scheduler_major_version |
"25.11" |
Sim | A versão principal do agendador |
A tabela a seguir descreve os campos dentro do fields objeto.
| Nome | Valor de exemplo | Obrigatório | Observações |
|---|---|---|---|
job_id |
11 |
Sim | Sempre presente com valor |
user |
"root" |
Sim | Sempre presente com valor |
user_id |
0 |
Sim | Sempre presente com valor |
group |
"root" |
Sim | Sempre presente com valor |
group_id |
0 |
Sim | Sempre presente com valor |
name |
"wrap" |
Sim | Sempre presente com valor |
job_state |
"COMPLETED" |
Sim | Sempre presente com valor |
partition |
"MpiQueue-abcdef01-7" |
Sim | Sempre presente com valor |
time_limit |
"UNLIMITED" |
Sim | Sempre presente, mas pode ser "UNLIMITED" |
start_time |
"2025-06-19T10:58:57" |
Sim | Sempre presente, mas pode ser "Unknown" |
end_time |
"2025-06-19T10:58:57" |
Sim | Sempre presente, mas pode ser "Unknown" |
node_list |
"MpiNG-abcdef01-2345-1" |
Sim | Sempre presente com valor |
node_cnt |
1 |
Sim | Sempre presente com valor |
proc_cnt |
1 |
Sim | Sempre presente com valor |
work_dir |
"/root" |
Sim | Sempre presente, mas pode ser "Unknown" |
reservation_name |
"weekly_maintenance" |
Sim | Sempre presente, mas pode ser uma string vazia "" |
tres.cpu |
1 |
Sim | Sempre presente com valor |
tres.mem.val |
600 |
Sim | Sempre presente com valor |
tres.mem.unit |
"M" |
Sim | Pode ser "M" ou "bb" |
tres.node |
1 |
Sim | Sempre presente com valor |
tres.billing |
1 |
Sim | Sempre presente com valor |
account |
"finance" |
Sim | Sempre presente, mas pode ser uma string vazia "" |
qos |
"normal" |
Sim | Sempre presente, mas pode ser uma string vazia "" |
wc_key |
"project_1" |
Sim | Sempre presente, mas pode ser uma string vazia "" |
cluster |
"unknown" |
Sim | Sempre presente, mas pode ser "unknown" |
submit_time |
"2025-06-19T10:55:46" |
Sim | Sempre presente, mas pode ser "Unknown" |
eligible_time |
"2025-06-19T10:55:46" |
Sim | Sempre presente, mas pode ser "Unknown" |
array_job_id |
12 |
Não | Presente somente se o trabalho for um trabalho de matriz |
array_task_id |
1 |
Não | Presente somente se o trabalho for um trabalho de matriz |
het_job_id |
10 |
Não | Presente somente se o trabalho for heterogêneo |
het_job_offset |
0 |
Não | Presente somente se o trabalho for heterogêneo |
derived_exit_code_status |
0 |
Sim | Sempre presente com valor |
derived_exit_code_signal |
0 |
Sim | Sempre presente com valor |
exit_code_status |
0 |
Sim | Sempre presente com valor |
exit_code_signal |
0 |
Sim | Sempre presente com valor |
node_details[0].name |
"MpiNG-abcdef01-2345-1" |
Não | Sempre presente, mas node_details pode ser "[]" |
node_details[0].instance_id |
"i-0abcdef01234567a" |
Não | Sempre presente, mas node_details pode ser "[]" |
node_details[0].instance_type |
"t4g.micro" |
Não | Sempre presente, mas node_details pode ser "[]" |
Exemplos de registros de conclusão de tarefas
Os exemplos a seguir mostram registros de conclusão de tarefas para vários tipos e estados de tarefas:
{ "resource_id": "pcs_abc123de45", "resource_type": "PCS_CLUSTER", "event_timestamp": 1750350777, "scheduler_type": "slurm", "scheduler_major_version": "25.11", "fields": { "job_id": 1, "user": "root", "user_id": 0, "group": "root", "group_id": 0, "name": "wrap", "job_state": "COMPLETED", "partition": "MpiQueue-abcdef01-7", "time_limit": "UNLIMITED", "start_time": "2025-06-19T16:32:57", "end_time": "2025-06-19T16:33:03", "node_list": "MpiNG-abcdef01-2345-[1-2]", "node_cnt": 2, "proc_cnt": 2, "work_dir": "/usr/bin", "reservation_name": "", "tres": { "cpu": 2, "mem": { "val": 1944, "unit": "M" }, "node": 2, "billing": 2 }, "account": "", "qos": "", "wc_key": "", "cluster": "unknown", "submit_time": "2025-06-19T16:29:40", "eligible_time": "2025-06-19T16:29:41", "derived_exit_code_status": 0, "derived_exit_code_signal": 0, "exit_code_status": 0, "exit_code_signal": 0, "node_details": [ { "name": "MpiNG-abcdef01-2345-1", "instance_id": "i-0abc123def45678", "instance_type": "t4g.micro" }, { "name": "MpiNG-abcdef01-2345-2", "instance_id": "i-0def456abc78901", "instance_type": "t4g.micro" } ] } } { "resource_id": "pcs_abc123de45", "resource_type": "PCS_CLUSTER", "event_timestamp": 1750350793, "scheduler_type": "slurm", "scheduler_major_version": "25.11", "fields": { "job_id": 2, "user": "root", "user_id": 0, "group": "root", "group_id": 0, "name": "wrap", "job_state": "COMPLETED", "partition": "MpiQueue-abcdef01-7", "time_limit": "UNLIMITED", "start_time": "2025-06-19T16:33:13", "end_time": "2025-06-19T16:33:14", "node_list": "MpiNG-abcdef01-2345-[1-2]", "node_cnt": 2, "proc_cnt": 2, "work_dir": "/usr/bin", "reservation_name": "", "tres": { "cpu": 2, "mem": { "val": 1944, "unit": "M" }, "node": 2, "billing": 2 }, "account": "", "qos": "", "wc_key": "", "cluster": "unknown", "submit_time": "2025-06-19T16:33:13", "eligible_time": "2025-06-19T16:33:13", "derived_exit_code_status": 0, "derived_exit_code_signal": 0, "exit_code_status": 0, "exit_code_signal": 0, "node_details": [ { "name": "MpiNG-abcdef01-2345-1", "instance_id": "i-0abc123def45678", "instance_type": "t4g.micro" }, { "name": "MpiNG-abcdef01-2345-2", "instance_id": "i-0def456abc78901", "instance_type": "t4g.micro" } ] } } { "resource_id": "pcs_abc123de45", "resource_type": "PCS_CLUSTER", "event_timestamp": 1750373937, "scheduler_type": "slurm", "scheduler_major_version": "25.11", "fields": { "job_id": 3, "user": "root", "user_id": 0, "group": "root", "group_id": 0, "name": "wrap", "job_state": "COMPLETED", "partition": "MpiQueue-abcdef01-7", "time_limit": "UNLIMITED", "start_time": "2025-06-19T22:58:57", "end_time": "2025-06-19T22:58:57", "node_list": "MpiNG-abcdef01-2345-1", "node_cnt": 1, "proc_cnt": 1, "work_dir": "/root", "reservation_name": "", "tres": { "cpu": 1, "mem": { "val": 972, "unit": "M" }, "node": 1, "billing": 1 }, "account": "", "qos": "", "wc_key": "", "cluster": "unknown", "submit_time": "2025-06-19T22:55:46", "eligible_time": "2025-06-19T22:55:46", "derived_exit_code_status": 0, "derived_exit_code_signal": 0, "exit_code_status": 0, "exit_code_signal": 0, "node_details": [ { "name": "MpiNG-abcdef01-2345-1", "instance_id": "i-0abc234def56789", "instance_type": "t4g.micro" } ] } } { "resource_id": "pcs_abc123de45", "resource_type": "PCS_CLUSTER", "event_timestamp": 1750374267, "scheduler_type": "slurm", "scheduler_major_version": "25.11", "fields": { "job_id": 4, "user": "root", "user_id": 0, "group": "root", "group_id": 0, "name": "wrap", "job_state": "COMPLETED", "partition": "MpiQueue-abcdef01-7", "time_limit": "525600", "start_time": "2025-06-19T23:04:27", "end_time": "2025-06-19T23:04:27", "node_list": "MpiNG-abcdef01-2345-[1-2]", "node_cnt": 2, "proc_cnt": 2, "work_dir": "/root", "reservation_name": "", "tres": { "cpu": 2, "mem": { "val": 1944, "unit": "M" }, "node": 2, "billing": 2 }, "account": "", "qos": "", "wc_key": "", "cluster": "unknown", "submit_time": "2025-06-19T23:01:38", "eligible_time": "2025-06-19T23:01:38", "derived_exit_code_status": 0, "derived_exit_code_signal": 0, "exit_code_status": 0, "exit_code_signal": 0, "node_details": [ { "name": "MpiNG-abcdef01-2345-1", "instance_id": "i-0abc234def56789", "instance_type": "t4g.micro" }, { "name": "MpiNG-abcdef01-2345-2", "instance_id": "i-0def345abc67890", "instance_type": "t4g.micro" } ] } } { "resource_id": "pcs_abc123de45", "resource_type": "PCS_CLUSTER", "event_timestamp": 1750374540, "scheduler_type": "slurm", "scheduler_major_version": "25.11", "fields": { "job_id": 5, "user": "root", "user_id": 0, "group": "root", "group_id": 0, "name": "wrap", "job_state": "FAILED", "partition": "MpiQueue-abcdef01-7", "time_limit": "UNLIMITED", "start_time": "2025-06-19T23:09:00", "end_time": "2025-06-19T23:09:00", "node_list": "(null)", "node_cnt": 0, "proc_cnt": 0, "work_dir": "/root", "reservation_name": "", "tres": { "cpu": 1, "mem": { "val": 1, "unit": "G" }, "node": 1, "billing": 1 }, "account": "", "qos": "", "wc_key": "", "cluster": "unknown", "submit_time": "2025-06-19T23:09:00", "eligible_time": "2025-06-19T23:09:00", "derived_exit_code_status": 0, "derived_exit_code_signal": 0, "exit_code_status": 0, "exit_code_signal": 1, "node_details": [] } } { "resource_id": "pcs_abc123de45", "resource_type": "PCS_CLUSTER", "event_timestamp": 1750374576, "scheduler_type": "slurm", "scheduler_major_version": "25.11", "fields": { "job_id": 6, "user": "root", "user_id": 0, "group": "root", "group_id": 0, "name": "wrap", "job_state": "CANCELLED", "partition": "MpiQueue-abcdef01-7", "time_limit": "UNLIMITED", "start_time": "2025-06-19T23:09:36", "end_time": "2025-06-19T23:09:36", "node_list": "(null)", "node_cnt": 0, "proc_cnt": 0, "work_dir": "/root", "reservation_name": "", "tres": { "cpu": 1, "mem": { "val": 400, "unit": "M" }, "node": 1, "billing": 1 }, "account": "", "qos": "", "wc_key": "", "cluster": "unknown", "submit_time": "2025-06-19T23:09:35", "eligible_time": "2025-06-19T23:09:36", "het_job_id": 6, "het_job_offset": 0, "derived_exit_code_status": 0, "derived_exit_code_signal": 0, "exit_code_status": 0, "exit_code_signal": 1, "node_details": [] } } { "resource_id": "pcs_abc123de45", "resource_type": "PCS_CLUSTER", "event_timestamp": 1750374603, "scheduler_type": "slurm", "scheduler_major_version": "25.11", "fields": { "job_id": 7, "user": "root", "user_id": 0, "group": "root", "group_id": 0, "name": "wrap", "job_state": "CANCELLED", "partition": "MpiQueue-abcdef01-7", "time_limit": "UNLIMITED", "start_time": "2025-06-19T23:10:03", "end_time": "2025-06-19T23:10:03", "node_list": "(null)", "node_cnt": 0, "proc_cnt": 0, "work_dir": "/root", "reservation_name": "", "tres": { "cpu": 1, "mem": { "val": 400, "unit": "M" }, "node": 1, "billing": 1 }, "account": "", "qos": "", "wc_key": "", "cluster": "unknown", "submit_time": "2025-06-19T23:10:03", "eligible_time": "2025-06-19T23:10:03", "het_job_id": 7, "het_job_offset": 0, "derived_exit_code_status": 0, "derived_exit_code_signal": 0, "exit_code_status": 0, "exit_code_signal": 1, "node_details": [] } } { "resource_id": "pcs_abc123de45", "resource_type": "PCS_CLUSTER", "event_timestamp": 1750374684, "scheduler_type": "slurm", "scheduler_major_version": "25.11", "fields": { "job_id": 8, "user": "root", "user_id": 0, "group": "root", "group_id": 0, "name": "wrap", "job_state": "COMPLETED", "partition": "MpiQueue-abcdef01-7", "time_limit": "UNLIMITED", "start_time": "2025-06-19T23:11:24", "end_time": "2025-06-19T23:11:24", "node_list": "MpiNG-abcdef01-2345-1", "node_cnt": 1, "proc_cnt": 1, "work_dir": "/root", "reservation_name": "", "tres": { "cpu": 1, "mem": { "val": 400, "unit": "M" }, "node": 1, "billing": 1 }, "account": "", "qos": "", "wc_key": "", "cluster": "unknown", "submit_time": "2025-06-19T23:11:23", "eligible_time": "2025-06-19T23:11:23", "het_job_id": 8, "het_job_offset": 0, "derived_exit_code_status": 0, "derived_exit_code_signal": 0, "exit_code_status": 0, "exit_code_signal": 0, "node_details": [ { "name": "MpiNG-abcdef01-2345-1", "instance_id": "i-0abc234def56789", "instance_type": "t4g.micro" } ] } } { "resource_id": "pcs_abc123de45", "resource_type": "PCS_CLUSTER", "event_timestamp": 1750374684, "scheduler_type": "slurm", "scheduler_major_version": "25.11", "fields": { "job_id": 9, "user": "root", "user_id": 0, "group": "root", "group_id": 0, "name": "wrap", "job_state": "COMPLETED", "partition": "MpiQueue-abcdef01-7", "time_limit": "UNLIMITED", "start_time": "2025-06-19T23:11:24", "end_time": "2025-06-19T23:11:24", "node_list": "MpiNG-abcdef01-2345-2", "node_cnt": 1, "proc_cnt": 1, "work_dir": "/root", "reservation_name": "", "tres": { "cpu": 1, "mem": { "val": 400, "unit": "M" }, "node": 1, "billing": 1 }, "account": "", "qos": "", "wc_key": "", "cluster": "unknown", "submit_time": "2025-06-19T23:11:23", "eligible_time": "2025-06-19T23:11:23", "het_job_id": 8, "het_job_offset": 1, "derived_exit_code_status": 0, "derived_exit_code_signal": 0, "exit_code_status": 0, "exit_code_signal": 0, "node_details": [ { "name": "MpiNG-abcdef01-2345-2", "instance_id": "i-0def345abc67890", "instance_type": "t4g.micro" } ] } } { "resource_id": "pcs_abc123de45", "resource_type": "PCS_CLUSTER", "event_timestamp": 1750374744, "scheduler_type": "slurm", "scheduler_major_version": "25.11", "fields": { "job_id": 10, "user": "root", "user_id": 0, "group": "root", "group_id": 0, "name": "wrap", "job_state": "COMPLETED", "partition": "MpiQueue-abcdef01-7", "time_limit": "UNLIMITED", "start_time": "2025-06-19T23:12:24", "end_time": "2025-06-19T23:12:24", "node_list": "MpiNG-abcdef01-2345-1", "node_cnt": 1, "proc_cnt": 1, "work_dir": "/root", "reservation_name": "", "tres": { "cpu": 1, "mem": { "val": 400, "unit": "M" }, "node": 1, "billing": 1 }, "account": "", "qos": "", "wc_key": "", "cluster": "unknown", "submit_time": "2025-06-19T23:12:14", "eligible_time": "2025-06-19T23:12:14", "het_job_id": 10, "het_job_offset": 0, "derived_exit_code_status": 0, "derived_exit_code_signal": 0, "exit_code_status": 0, "exit_code_signal": 0, "node_details": [ { "name": "MpiNG-abcdef01-2345-1", "instance_id": "i-0abc234def56789", "instance_type": "t4g.micro" } ] } } { "resource_id": "pcs_abc123de45", "resource_type": "PCS_CLUSTER", "event_timestamp": 1750374744, "scheduler_type": "slurm", "scheduler_major_version": "25.11", "fields": { "job_id": 11, "user": "root", "user_id": 0, "group": "root", "group_id": 0, "name": "wrap", "job_state": "COMPLETED", "partition": "MpiQueue-abcdef01-7", "time_limit": "UNLIMITED", "start_time": "2025-06-19T23:12:24", "end_time": "2025-06-19T23:12:24", "node_list": "MpiNG-abcdef01-2345-2", "node_cnt": 1, "proc_cnt": 1, "work_dir": "/root", "reservation_name": "", "tres": { "cpu": 1, "mem": { "val": 600, "unit": "M" }, "node": 1, "billing": 1 }, "account": "", "qos": "", "wc_key": "", "cluster": "unknown", "submit_time": "2025-06-19T23:12:14", "eligible_time": "2025-06-19T23:12:14", "het_job_id": 10, "het_job_offset": 1, "derived_exit_code_status": 0, "derived_exit_code_signal": 0, "exit_code_status": 0, "exit_code_signal": 0, "node_details": [ { "name": "MpiNG-abcdef01-2345-2", "instance_id": "i-0def345abc67890", "instance_type": "t4g.micro" } ] } } { "resource_id": "pcs_abc123de45", "resource_type": "PCS_CLUSTER", "event_timestamp": 1750376877, "scheduler_type": "slurm", "scheduler_major_version": "25.11", "fields": { "job_id": 13, "user": "root", "user_id": 0, "group": "root", "group_id": 0, "name": "wrap", "job_state": "COMPLETED", "partition": "MpiQueue-abcdef01-7", "time_limit": "UNLIMITED", "start_time": "2025-06-19T23:47:57", "end_time": "2025-06-19T23:47:58", "node_list": "MpiNG-abcdef01-2345-1", "node_cnt": 1, "proc_cnt": 1, "work_dir": "/root", "reservation_name": "", "tres": { "cpu": 1, "mem": { "val": 972, "unit": "M" }, "node": 1, "billing": 1 }, "account": "", "qos": "", "wc_key": "", "cluster": "unknown", "submit_time": "2025-06-19T23:43:56", "eligible_time": "2025-06-19T23:43:56", "array_job_id": 12, "array_task_id": 1, "derived_exit_code_status": 0, "derived_exit_code_signal": 0, "exit_code_status": 0, "exit_code_signal": 0, "node_details": [ { "name": "MpiNG-abcdef01-2345-1", "instance_id": "i-0abc345def67890", "instance_type": "t4g.micro" } ] } } { "resource_id": "pcs_abc123de45", "resource_type": "PCS_CLUSTER", "event_timestamp": 1750376878, "scheduler_type": "slurm", "scheduler_major_version": "25.11", "fields": { "job_id": 12, "user": "root", "user_id": 0, "group": "root", "group_id": 0, "name": "wrap", "job_state": "COMPLETED", "partition": "MpiQueue-abcdef01-7", "time_limit": "UNLIMITED", "start_time": "2025-06-19T23:47:58", "end_time": "2025-06-19T23:47:58", "node_list": "MpiNG-abcdef01-2345-1", "node_cnt": 1, "proc_cnt": 1, "work_dir": "/root", "reservation_name": "", "tres": { "cpu": 1, "mem": { "val": 972, "unit": "M" }, "node": 1, "billing": 1 }, "account": "", "qos": "", "wc_key": "", "cluster": "unknown", "submit_time": "2025-06-19T23:43:56", "eligible_time": "2025-06-19T23:43:56", "array_job_id": 12, "array_task_id": 2, "derived_exit_code_status": 0, "derived_exit_code_signal": 0, "exit_code_status": 0, "exit_code_signal": 0, "node_details": [ { "name": "MpiNG-abcdef01-2345-1", "instance_id": "i-0abc345def67890", "instance_type": "t4g.micro" } ] } }