View a markdown version of this page

HealthOmics 使用 CloudWatch 日志进行监控 - AWS HealthOmics
HealthOmics 工作流程的日志类型登录 CloudWatch登录 Amazon S3CLI 中的交互式 CloudWatch 日志从控制台访问 CloudWatch 日志

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

HealthOmics 使用 CloudWatch 日志进行监控

HealthOmics 生成各种日志以帮助您了解运行情况和进行故障排除。日志在两个地方可用： CloudWatch 还有亚马逊 S3。

默认情况下，运行时会开启日志记录。您可以选择通过在startrun请求LogLevel = OFF中进行设置来关闭运行日志记录。

注意

有关服务更新，请配置和监控您的个人健康控制面板。有关如何管理控制面板的更多信息，请参阅 AWS 健康控制面板入门。

HealthOmics 工作流程的日志类型

HealthOmics 为工作流程提供以下类型的日志：

  • 引擎日志 — 引擎日志，例如.nextflow.log和workflow.log由底层工作流引擎（Nextflow、WDL 和 CWL）生成。这些日志可以帮助您解决工作流程定义问题。

  • 运行清单日志-这些日志提供有关每个运行任务的高级信息，例如任务状态、开始时间、停止时间和失败原因（如果任务失败）。

    运行清单日志还会报告资源利用率统计信息，这有助于了解资源优化机会。这些统计数据包括：

    • CPU 平均值

    • CPU 最大值

    • CPU 已保留

    • GPU 已保留

    • 存储器 AverageGi B

    • 存储器 MaximumGi B

    • 存储器 ReservedGi B

    • 跑步秒

    还可通过指标近乎实时地获得运行 CloudWatch OpenTelemetry 指标。有关更多信息，请参阅 运行私有工作流程的指标。

  • 运行日志-运行日志提供整体运行状态以及单个任务启动、运行、停止和完成的时间。运行日志还使您可以查看文件导入和导出步骤。

  • 任务日志-任务日志提供有关运行中各个任务的详细日志信息。任务日志中的输出取决于任务定义以及您在代码中使用日志语句的位置。如果您的任务日志无法提供所需的洞察力，请考虑在任务定义中添加其他日志语句，以生成更具洞察力的任务日志。

  • 运行缓存日志-运行缓存日志提供运行缓存的整体状态和任务输出的缓存。运行缓存日志使您可以查看每次使用缓存的运行的缓存命中和未命中次数。

  • Outputs.json — 对于 WDL 和 CWL 工作流程，在运行完成后将引擎生成的名为outputs.json的文件 HealthOmics 交付到您的 Amazon S3 存储桶。该文件包括运行的所有输出列表和地图。

登录 CloudWatch

CloudWatch 为失败的运行和成功的运行生成工作流程日志。所有日志都可用于成功运行和失败的运行。

您可以在以下日志组中找到 CloudWatch 工作流日志：/aws/omics/WorkflowLog。此外，get-run API 操作的输出为引擎 CloudWatch 日志和运行日志提供了日志流 ARN。

默认情况下，无限期 AWS 保留 CloudWatch 日志。您可以调整日志组的保留策略，将保留期设置为 10 年到 1 天之间。

下表提供了 CloudWatch 登录摘要 HealthOmics。所有工作流程日志都可用于成功运行和失败的运行。

日志名称 在 CloudWatch 日志中可用 日志何时可用 日志流格式
引擎日志 是 实时 运行/ /引擎 runID
运行清单日志 是

运行完成后

 manifest/run/runID/runUUID
运行日志 是 实时 运行/ runID
任务日志 是 实时 运行/ /任务/ runID taskID
运行缓存日志 是 实时 runCache//runCacheIdrunCacheUUID
Outputs.json （WDL 和 CWL） 否 n/a n/a

登录 Amazon S3

其中HealthOmics 工作流程的日志类型，只有引擎日志和outputs.json文件会传输到 Amazon S3。

运行完成后，引擎日志将传输到您的 S3 存储桶并无限期可用，直到您将其删除。这些日志位于您为工作流程指定的 S3 输出 URI 的日志目录中。

日志目录的路径采用以下格式：s3://{user_provided_path}/logs/。

下表汇总了您的 Amazon S3 存储桶中可用的 HealthOmics 日志。

日志名称 在亚马逊 S3 中可用 日志何时可用 日志流路径
引擎日志 是 运行完成后 s3:/user_provided_path/logs/engine.log
Outputs.json （WDL 和 CWL） 是

运行完成后

 s3://user_provided_path/runIDrunUUID/logs/outputs.json
运行清单日志、运行日志和任务日志 否 n/a n/a

CLI 中的交互式 CloudWatch 日志

您可以在交互模式下使用 Live Tail 命令以交互方式查看 CloudWatch 日志。您可以实时跟踪运行进度，并定义最多 5 个关键字以在日志中突出显示：

aws logs start-live-tail  \
  --mode interactive  \
  --log-group-identifiers arn:aws:logs:region:account-ID:log-group:/aws/omics/WorkflowLog

有关更多信息，请参阅《 AWS CLI 命令参考》中的 Start live tail。

从控制台访问 CloudWatch 日志

要访问运行日志，您可以从 HealthOmics 控制台的运行详细信息页面直接链接到这些日志。

  1. 打开 HealthOmics 控制台。

  2. 如果需要，打开左侧导航窗格 (≡)。选择运行。

  3. 从 “运行” 表中选择运行次数。

  4. 在运行详细信息页面中，您可以选择以下任一操作：

    1. 在运行摘要中，选择查看运行日志。控制台会在控制台中打开运行日志。 CloudWatch

    2. 从 “运行摘要” 中，选择 “查看 Amazon S3 中的日志” 。控制台在 Amazon S3 控制台中打开日志文件夹。

    3. 在运行任务中，选择查看日志、查看运行日志或查看任务的运行清单日志。控制台会在控制台中打开日志。 CloudWatch

您也可以从 CloudWatch 控制台导航到日志：

  1. 打开控制 CloudWatch 台https://console.aws.amazon.com/cloudwatch/。

  2. 从左侧菜单中选择日志组。

  3. 选择 /aws/omics/WorkflowLog 组。

    如果日志组列表很长，则可以在搜索文本框中输入 omics 来缩小列表范围。

  4. 当日志组详细信息页面打开时，选择要查看的日志流。控制台显示此日志流的事件。