Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Die Auftragsabwicklung meldet sich an AWS 5 STCK
In den Protokollen zur Auftragsabwicklung erhalten Sie wichtige Informationen zu Ihren AWS PCS-Aufträgen ( AWS Parallel Computing Service), sobald diese abgeschlossen sind, ohne dass zusätzliche Kosten anfallen. Sie können andere AWS Dienste verwenden, um auf Ihre Protokolldaten zuzugreifen und sie zu verarbeiten, z. B. Amazon CloudWatch Logs, Amazon Simple Storage Service (Amazon S3) und Amazon Data Firehose. AWS PCS zeichnet Metadaten zu Ihren Aufträgen auf, wie z. B. die folgenden.
-
Job-ID und Name
-
Benutzer- und Gruppeninformationen
-
Status der Tätigkeit (z. B.
COMPLETED,FAILED,CANCELLED) -
Verwendete Partition
-
Zeitlimits
-
Start-, Ende-, Absende- und berechtigte Zeiten
-
Liste und Anzahl der Knoten
-
Anzahl der Prozessoren
-
Arbeitsverzeichnis
-
Ressourcenverbrauch (CPU, Speicher)
-
Ausgangscodes
-
Knotendetails (Namen, Instanz-IDs, Instanztypen)
Inhalt
Voraussetzungen
Der IAM-Principal, der den AWS PCS-Cluster verwaltet, muss die pcs:AllowVendedLogDeliveryForResource Aktion zulassen.
Das folgende Beispiel für eine IAM-Richtlinie gewährt die erforderlichen Berechtigungen.
Richten Sie Protokolle für die Fertigstellung von Aufträgen ein
Mit dem AWS-Managementkonsole oder können Sie Protokolle zum Abschluss von Aufträgen für Ihren AWS PCS-Cluster einrichten AWS CLI.
Wie finde ich Protokolle zur Fertigstellung von Aufträgen
Sie können Protokollziele in CloudWatch Logs und Amazon S3 konfigurieren. AWS PCS verwendet die folgenden strukturierten Pfadnamen und Dateinamen.
CloudWatch Protokolle
AWS PCS verwendet das folgende Namensformat für den CloudWatch Logs-Stream:
AWSLogs/PCS/cluster-id/jobcomp.log
Beispiel: AWSLogs/PCS/pcs_abc123de45/jobcomp.log
Amazon S3
AWS PCS verwendet das folgende Namensformat für den S3-Pfad:
AWSLogs/account-id/PCS/region/cluster-id/jobcomp/year/month/day/hour/
Beispiel: AWSLogs/111122223333/PCS/us-east-1/pcs_abc123de45/jobcomp/2025/06/19/11/
AWS PCS verwendet das folgende Namensformat für die Protokolldateien:
PCS_jobcomp_year-month-day-hour_cluster-id_random-id.log.gz
Beispiel: PCS_jobcomp_2025-06-19-11_pcs_abc123de45_04be080b.log.gz
Protokollfelder für den Abschluss eines Auftrags
AWS PCS schreibt Protokolldaten zur Auftragsabwicklung als JSON-Objekte. Jeder Protokolleintrag enthält Metadatenfelder der obersten Ebene und ein fields Objekt. Die Felder der obersten Ebene identifizieren den Cluster, die Ereigniszeit und die Scheduler-Version. Das fields Objekt enthält die Auftragsdetails. Einige Felder im fields Objekt werden nur für Array-Jobs oder heterogene Jobs angezeigt.
In der folgenden Tabelle werden die Felder der obersten Ebene in jedem Protokolleintrag beschrieben.
| Name | Beispielwert | Erforderlich | Hinweise |
|---|---|---|---|
resource_id |
"pcs_22l8nzr3t9" |
Ja | Die AWS PCS-Cluster-ID |
resource_type |
"PCS_CLUSTER" |
Ja | Immer "PCS_CLUSTER" |
event_timestamp |
1750370337 |
Ja | Unix-Epoche in Sekunden, in denen das Ereignis eingetreten ist |
scheduler_type |
"slurm" |
Ja | Der Scheduler-Typ für den Cluster |
scheduler_major_version |
"25.11" |
Ja | Die Hauptversion des Schedulers |
In der folgenden Tabelle werden die Felder innerhalb des fields Objekts beschrieben.
| Name | Beispielwert | Erforderlich | Hinweise |
|---|---|---|---|
job_id |
11 |
Ja | Immer mit Wert vorhanden |
user |
"root" |
Ja | Immer mit Wert präsent |
user_id |
0 |
Ja | Immer mit Wert präsent |
group |
"root" |
Ja | Immer mit Wert präsent |
group_id |
0 |
Ja | Immer mit Wert präsent |
name |
"wrap" |
Ja | Immer mit Wert präsent |
job_state |
"COMPLETED" |
Ja | Immer mit Wert präsent |
partition |
"MpiQueue-abcdef01-7" |
Ja | Immer mit Wert präsent |
time_limit |
"UNLIMITED" |
Ja | Immer präsent, könnte es aber sein "UNLIMITED" |
start_time |
"2025-06-19T10:58:57" |
Ja | Immer präsent, könnte es aber sein "Unknown" |
end_time |
"2025-06-19T10:58:57" |
Ja | Immer präsent, könnte es aber sein "Unknown" |
node_list |
"MpiNG-abcdef01-2345-1" |
Ja | Immer präsent und wertvoll |
node_cnt |
1 |
Ja | Immer mit Wert präsent |
proc_cnt |
1 |
Ja | Immer mit Wert präsent |
work_dir |
"/root" |
Ja | Immer präsent, könnte es aber sein "Unknown" |
reservation_name |
"weekly_maintenance" |
Ja | Immer vorhanden, könnte aber eine leere Zeichenfolge sein "" |
tres.cpu |
1 |
Ja | Immer mit Wert vorhanden |
tres.mem.val |
600 |
Ja | Immer mit Wert präsent |
tres.mem.unit |
"M" |
Ja | Kann sein "M" oder "bb" |
tres.node |
1 |
Ja | Immer mit Wert präsent |
tres.billing |
1 |
Ja | Immer mit Wert präsent |
account |
"finance" |
Ja | Immer vorhanden, kann aber eine leere Zeichenfolge sein "" |
qos |
"normal" |
Ja | Immer vorhanden, kann aber eine leere Zeichenfolge sein "" |
wc_key |
"project_1" |
Ja | Immer vorhanden, kann aber eine leere Zeichenfolge sein "" |
cluster |
"unknown" |
Ja | Immer präsent, könnte aber sein "unknown" |
submit_time |
"2025-06-19T10:55:46" |
Ja | Immer präsent, könnte es aber sein "Unknown" |
eligible_time |
"2025-06-19T10:55:46" |
Ja | Immer präsent, könnte es aber sein "Unknown" |
array_job_id |
12 |
Nein | Nur vorhanden, wenn es sich bei dem Job um einen Array-Job handelt |
array_task_id |
1 |
Nein | Nur vorhanden, wenn es sich bei dem Job um einen Array-Job handelt |
het_job_id |
10 |
Nein | Nur vorhanden, wenn es sich bei dem Job um einen heterogenen Job handelt |
het_job_offset |
0 |
Nein | Nur vorhanden, wenn es sich bei der Stelle um eine heterogene Stelle handelt |
derived_exit_code_status |
0 |
Ja | Immer mit Mehrwert präsent |
derived_exit_code_signal |
0 |
Ja | Immer mit Wert präsent |
exit_code_status |
0 |
Ja | Immer mit Wert präsent |
exit_code_signal |
0 |
Ja | Immer mit Wert präsent |
node_details[0].name |
"MpiNG-abcdef01-2345-1" |
Nein | Immer präsent, node_details könnte es aber sein "[]" |
node_details[0].instance_id |
"i-0abcdef01234567a" |
Nein | Immer präsent, node_details könnte es aber sein "[]" |
node_details[0].instance_type |
"t4g.micro" |
Nein | Immer präsent, node_details könnte es aber sein "[]" |
Beispiele für Protokolle zur Fertigstellung von Aufträgen
Die folgenden Beispiele zeigen Jobabschlussprotokolle für verschiedene Auftragstypen und Status:
{ "resource_id": "pcs_abc123de45", "resource_type": "PCS_CLUSTER", "event_timestamp": 1750350777, "scheduler_type": "slurm", "scheduler_major_version": "25.11", "fields": { "job_id": 1, "user": "root", "user_id": 0, "group": "root", "group_id": 0, "name": "wrap", "job_state": "COMPLETED", "partition": "MpiQueue-abcdef01-7", "time_limit": "UNLIMITED", "start_time": "2025-06-19T16:32:57", "end_time": "2025-06-19T16:33:03", "node_list": "MpiNG-abcdef01-2345-[1-2]", "node_cnt": 2, "proc_cnt": 2, "work_dir": "/usr/bin", "reservation_name": "", "tres": { "cpu": 2, "mem": { "val": 1944, "unit": "M" }, "node": 2, "billing": 2 }, "account": "", "qos": "", "wc_key": "", "cluster": "unknown", "submit_time": "2025-06-19T16:29:40", "eligible_time": "2025-06-19T16:29:41", "derived_exit_code_status": 0, "derived_exit_code_signal": 0, "exit_code_status": 0, "exit_code_signal": 0, "node_details": [ { "name": "MpiNG-abcdef01-2345-1", "instance_id": "i-0abc123def45678", "instance_type": "t4g.micro" }, { "name": "MpiNG-abcdef01-2345-2", "instance_id": "i-0def456abc78901", "instance_type": "t4g.micro" } ] } } { "resource_id": "pcs_abc123de45", "resource_type": "PCS_CLUSTER", "event_timestamp": 1750350793, "scheduler_type": "slurm", "scheduler_major_version": "25.11", "fields": { "job_id": 2, "user": "root", "user_id": 0, "group": "root", "group_id": 0, "name": "wrap", "job_state": "COMPLETED", "partition": "MpiQueue-abcdef01-7", "time_limit": "UNLIMITED", "start_time": "2025-06-19T16:33:13", "end_time": "2025-06-19T16:33:14", "node_list": "MpiNG-abcdef01-2345-[1-2]", "node_cnt": 2, "proc_cnt": 2, "work_dir": "/usr/bin", "reservation_name": "", "tres": { "cpu": 2, "mem": { "val": 1944, "unit": "M" }, "node": 2, "billing": 2 }, "account": "", "qos": "", "wc_key": "", "cluster": "unknown", "submit_time": "2025-06-19T16:33:13", "eligible_time": "2025-06-19T16:33:13", "derived_exit_code_status": 0, "derived_exit_code_signal": 0, "exit_code_status": 0, "exit_code_signal": 0, "node_details": [ { "name": "MpiNG-abcdef01-2345-1", "instance_id": "i-0abc123def45678", "instance_type": "t4g.micro" }, { "name": "MpiNG-abcdef01-2345-2", "instance_id": "i-0def456abc78901", "instance_type": "t4g.micro" } ] } } { "resource_id": "pcs_abc123de45", "resource_type": "PCS_CLUSTER", "event_timestamp": 1750373937, "scheduler_type": "slurm", "scheduler_major_version": "25.11", "fields": { "job_id": 3, "user": "root", "user_id": 0, "group": "root", "group_id": 0, "name": "wrap", "job_state": "COMPLETED", "partition": "MpiQueue-abcdef01-7", "time_limit": "UNLIMITED", "start_time": "2025-06-19T22:58:57", "end_time": "2025-06-19T22:58:57", "node_list": "MpiNG-abcdef01-2345-1", "node_cnt": 1, "proc_cnt": 1, "work_dir": "/root", "reservation_name": "", "tres": { "cpu": 1, "mem": { "val": 972, "unit": "M" }, "node": 1, "billing": 1 }, "account": "", "qos": "", "wc_key": "", "cluster": "unknown", "submit_time": "2025-06-19T22:55:46", "eligible_time": "2025-06-19T22:55:46", "derived_exit_code_status": 0, "derived_exit_code_signal": 0, "exit_code_status": 0, "exit_code_signal": 0, "node_details": [ { "name": "MpiNG-abcdef01-2345-1", "instance_id": "i-0abc234def56789", "instance_type": "t4g.micro" } ] } } { "resource_id": "pcs_abc123de45", "resource_type": "PCS_CLUSTER", "event_timestamp": 1750374267, "scheduler_type": "slurm", "scheduler_major_version": "25.11", "fields": { "job_id": 4, "user": "root", "user_id": 0, "group": "root", "group_id": 0, "name": "wrap", "job_state": "COMPLETED", "partition": "MpiQueue-abcdef01-7", "time_limit": "525600", "start_time": "2025-06-19T23:04:27", "end_time": "2025-06-19T23:04:27", "node_list": "MpiNG-abcdef01-2345-[1-2]", "node_cnt": 2, "proc_cnt": 2, "work_dir": "/root", "reservation_name": "", "tres": { "cpu": 2, "mem": { "val": 1944, "unit": "M" }, "node": 2, "billing": 2 }, "account": "", "qos": "", "wc_key": "", "cluster": "unknown", "submit_time": "2025-06-19T23:01:38", "eligible_time": "2025-06-19T23:01:38", "derived_exit_code_status": 0, "derived_exit_code_signal": 0, "exit_code_status": 0, "exit_code_signal": 0, "node_details": [ { "name": "MpiNG-abcdef01-2345-1", "instance_id": "i-0abc234def56789", "instance_type": "t4g.micro" }, { "name": "MpiNG-abcdef01-2345-2", "instance_id": "i-0def345abc67890", "instance_type": "t4g.micro" } ] } } { "resource_id": "pcs_abc123de45", "resource_type": "PCS_CLUSTER", "event_timestamp": 1750374540, "scheduler_type": "slurm", "scheduler_major_version": "25.11", "fields": { "job_id": 5, "user": "root", "user_id": 0, "group": "root", "group_id": 0, "name": "wrap", "job_state": "FAILED", "partition": "MpiQueue-abcdef01-7", "time_limit": "UNLIMITED", "start_time": "2025-06-19T23:09:00", "end_time": "2025-06-19T23:09:00", "node_list": "(null)", "node_cnt": 0, "proc_cnt": 0, "work_dir": "/root", "reservation_name": "", "tres": { "cpu": 1, "mem": { "val": 1, "unit": "G" }, "node": 1, "billing": 1 }, "account": "", "qos": "", "wc_key": "", "cluster": "unknown", "submit_time": "2025-06-19T23:09:00", "eligible_time": "2025-06-19T23:09:00", "derived_exit_code_status": 0, "derived_exit_code_signal": 0, "exit_code_status": 0, "exit_code_signal": 1, "node_details": [] } } { "resource_id": "pcs_abc123de45", "resource_type": "PCS_CLUSTER", "event_timestamp": 1750374576, "scheduler_type": "slurm", "scheduler_major_version": "25.11", "fields": { "job_id": 6, "user": "root", "user_id": 0, "group": "root", "group_id": 0, "name": "wrap", "job_state": "CANCELLED", "partition": "MpiQueue-abcdef01-7", "time_limit": "UNLIMITED", "start_time": "2025-06-19T23:09:36", "end_time": "2025-06-19T23:09:36", "node_list": "(null)", "node_cnt": 0, "proc_cnt": 0, "work_dir": "/root", "reservation_name": "", "tres": { "cpu": 1, "mem": { "val": 400, "unit": "M" }, "node": 1, "billing": 1 }, "account": "", "qos": "", "wc_key": "", "cluster": "unknown", "submit_time": "2025-06-19T23:09:35", "eligible_time": "2025-06-19T23:09:36", "het_job_id": 6, "het_job_offset": 0, "derived_exit_code_status": 0, "derived_exit_code_signal": 0, "exit_code_status": 0, "exit_code_signal": 1, "node_details": [] } } { "resource_id": "pcs_abc123de45", "resource_type": "PCS_CLUSTER", "event_timestamp": 1750374603, "scheduler_type": "slurm", "scheduler_major_version": "25.11", "fields": { "job_id": 7, "user": "root", "user_id": 0, "group": "root", "group_id": 0, "name": "wrap", "job_state": "CANCELLED", "partition": "MpiQueue-abcdef01-7", "time_limit": "UNLIMITED", "start_time": "2025-06-19T23:10:03", "end_time": "2025-06-19T23:10:03", "node_list": "(null)", "node_cnt": 0, "proc_cnt": 0, "work_dir": "/root", "reservation_name": "", "tres": { "cpu": 1, "mem": { "val": 400, "unit": "M" }, "node": 1, "billing": 1 }, "account": "", "qos": "", "wc_key": "", "cluster": "unknown", "submit_time": "2025-06-19T23:10:03", "eligible_time": "2025-06-19T23:10:03", "het_job_id": 7, "het_job_offset": 0, "derived_exit_code_status": 0, "derived_exit_code_signal": 0, "exit_code_status": 0, "exit_code_signal": 1, "node_details": [] } } { "resource_id": "pcs_abc123de45", "resource_type": "PCS_CLUSTER", "event_timestamp": 1750374684, "scheduler_type": "slurm", "scheduler_major_version": "25.11", "fields": { "job_id": 8, "user": "root", "user_id": 0, "group": "root", "group_id": 0, "name": "wrap", "job_state": "COMPLETED", "partition": "MpiQueue-abcdef01-7", "time_limit": "UNLIMITED", "start_time": "2025-06-19T23:11:24", "end_time": "2025-06-19T23:11:24", "node_list": "MpiNG-abcdef01-2345-1", "node_cnt": 1, "proc_cnt": 1, "work_dir": "/root", "reservation_name": "", "tres": { "cpu": 1, "mem": { "val": 400, "unit": "M" }, "node": 1, "billing": 1 }, "account": "", "qos": "", "wc_key": "", "cluster": "unknown", "submit_time": "2025-06-19T23:11:23", "eligible_time": "2025-06-19T23:11:23", "het_job_id": 8, "het_job_offset": 0, "derived_exit_code_status": 0, "derived_exit_code_signal": 0, "exit_code_status": 0, "exit_code_signal": 0, "node_details": [ { "name": "MpiNG-abcdef01-2345-1", "instance_id": "i-0abc234def56789", "instance_type": "t4g.micro" } ] } } { "resource_id": "pcs_abc123de45", "resource_type": "PCS_CLUSTER", "event_timestamp": 1750374684, "scheduler_type": "slurm", "scheduler_major_version": "25.11", "fields": { "job_id": 9, "user": "root", "user_id": 0, "group": "root", "group_id": 0, "name": "wrap", "job_state": "COMPLETED", "partition": "MpiQueue-abcdef01-7", "time_limit": "UNLIMITED", "start_time": "2025-06-19T23:11:24", "end_time": "2025-06-19T23:11:24", "node_list": "MpiNG-abcdef01-2345-2", "node_cnt": 1, "proc_cnt": 1, "work_dir": "/root", "reservation_name": "", "tres": { "cpu": 1, "mem": { "val": 400, "unit": "M" }, "node": 1, "billing": 1 }, "account": "", "qos": "", "wc_key": "", "cluster": "unknown", "submit_time": "2025-06-19T23:11:23", "eligible_time": "2025-06-19T23:11:23", "het_job_id": 8, "het_job_offset": 1, "derived_exit_code_status": 0, "derived_exit_code_signal": 0, "exit_code_status": 0, "exit_code_signal": 0, "node_details": [ { "name": "MpiNG-abcdef01-2345-2", "instance_id": "i-0def345abc67890", "instance_type": "t4g.micro" } ] } } { "resource_id": "pcs_abc123de45", "resource_type": "PCS_CLUSTER", "event_timestamp": 1750374744, "scheduler_type": "slurm", "scheduler_major_version": "25.11", "fields": { "job_id": 10, "user": "root", "user_id": 0, "group": "root", "group_id": 0, "name": "wrap", "job_state": "COMPLETED", "partition": "MpiQueue-abcdef01-7", "time_limit": "UNLIMITED", "start_time": "2025-06-19T23:12:24", "end_time": "2025-06-19T23:12:24", "node_list": "MpiNG-abcdef01-2345-1", "node_cnt": 1, "proc_cnt": 1, "work_dir": "/root", "reservation_name": "", "tres": { "cpu": 1, "mem": { "val": 400, "unit": "M" }, "node": 1, "billing": 1 }, "account": "", "qos": "", "wc_key": "", "cluster": "unknown", "submit_time": "2025-06-19T23:12:14", "eligible_time": "2025-06-19T23:12:14", "het_job_id": 10, "het_job_offset": 0, "derived_exit_code_status": 0, "derived_exit_code_signal": 0, "exit_code_status": 0, "exit_code_signal": 0, "node_details": [ { "name": "MpiNG-abcdef01-2345-1", "instance_id": "i-0abc234def56789", "instance_type": "t4g.micro" } ] } } { "resource_id": "pcs_abc123de45", "resource_type": "PCS_CLUSTER", "event_timestamp": 1750374744, "scheduler_type": "slurm", "scheduler_major_version": "25.11", "fields": { "job_id": 11, "user": "root", "user_id": 0, "group": "root", "group_id": 0, "name": "wrap", "job_state": "COMPLETED", "partition": "MpiQueue-abcdef01-7", "time_limit": "UNLIMITED", "start_time": "2025-06-19T23:12:24", "end_time": "2025-06-19T23:12:24", "node_list": "MpiNG-abcdef01-2345-2", "node_cnt": 1, "proc_cnt": 1, "work_dir": "/root", "reservation_name": "", "tres": { "cpu": 1, "mem": { "val": 600, "unit": "M" }, "node": 1, "billing": 1 }, "account": "", "qos": "", "wc_key": "", "cluster": "unknown", "submit_time": "2025-06-19T23:12:14", "eligible_time": "2025-06-19T23:12:14", "het_job_id": 10, "het_job_offset": 1, "derived_exit_code_status": 0, "derived_exit_code_signal": 0, "exit_code_status": 0, "exit_code_signal": 0, "node_details": [ { "name": "MpiNG-abcdef01-2345-2", "instance_id": "i-0def345abc67890", "instance_type": "t4g.micro" } ] } } { "resource_id": "pcs_abc123de45", "resource_type": "PCS_CLUSTER", "event_timestamp": 1750376877, "scheduler_type": "slurm", "scheduler_major_version": "25.11", "fields": { "job_id": 13, "user": "root", "user_id": 0, "group": "root", "group_id": 0, "name": "wrap", "job_state": "COMPLETED", "partition": "MpiQueue-abcdef01-7", "time_limit": "UNLIMITED", "start_time": "2025-06-19T23:47:57", "end_time": "2025-06-19T23:47:58", "node_list": "MpiNG-abcdef01-2345-1", "node_cnt": 1, "proc_cnt": 1, "work_dir": "/root", "reservation_name": "", "tres": { "cpu": 1, "mem": { "val": 972, "unit": "M" }, "node": 1, "billing": 1 }, "account": "", "qos": "", "wc_key": "", "cluster": "unknown", "submit_time": "2025-06-19T23:43:56", "eligible_time": "2025-06-19T23:43:56", "array_job_id": 12, "array_task_id": 1, "derived_exit_code_status": 0, "derived_exit_code_signal": 0, "exit_code_status": 0, "exit_code_signal": 0, "node_details": [ { "name": "MpiNG-abcdef01-2345-1", "instance_id": "i-0abc345def67890", "instance_type": "t4g.micro" } ] } } { "resource_id": "pcs_abc123de45", "resource_type": "PCS_CLUSTER", "event_timestamp": 1750376878, "scheduler_type": "slurm", "scheduler_major_version": "25.11", "fields": { "job_id": 12, "user": "root", "user_id": 0, "group": "root", "group_id": 0, "name": "wrap", "job_state": "COMPLETED", "partition": "MpiQueue-abcdef01-7", "time_limit": "UNLIMITED", "start_time": "2025-06-19T23:47:58", "end_time": "2025-06-19T23:47:58", "node_list": "MpiNG-abcdef01-2345-1", "node_cnt": 1, "proc_cnt": 1, "work_dir": "/root", "reservation_name": "", "tres": { "cpu": 1, "mem": { "val": 972, "unit": "M" }, "node": 1, "billing": 1 }, "account": "", "qos": "", "wc_key": "", "cluster": "unknown", "submit_time": "2025-06-19T23:43:56", "eligible_time": "2025-06-19T23:43:56", "array_job_id": 12, "array_task_id": 2, "derived_exit_code_status": 0, "derived_exit_code_signal": 0, "exit_code_status": 0, "exit_code_signal": 0, "node_details": [ { "name": "MpiNG-abcdef01-2345-1", "instance_id": "i-0abc345def67890", "instance_type": "t4g.micro" } ] } }