Amazon 中的推理选项 SageMaker

实时推理：实时推理非常适合具有低延迟或高吞吐量要求的在线推理。在您选择的实例类型支持下，对可以处理持续流量的永久且完全托管的终端节点 (RESTAPI) 使用实时推理。实时推理可以支持最大 6 MB 的负载大小和 60 秒的处理时间。

无服务器推理：当您有间歇性或不可预测的流量模式时，无服务器推理是理想的选择。 SageMaker 管理所有底层基础架构，因此无需管理实例或扩展策略。您只需为实际用量付费，而不需为空置时间付费。实时推理可以支持最大 4 MB 的负载大小和最长 60 秒的处理时间。

批量转换：批量转换适用于在前期有大量数据可用并且不需要持久性端点时进行离线处理。您也可以使用批量转换来预处理数据集。它可以支持大小和处理时间GBs为几天的大型数据集。

异步推理：当您想对请求进行排队并拥有处理时间长的大型负载时，异步推断是理想的选择。异步推理可以支持高达 1 GB 的负载和长达 1 小时的长处理时间。当没有需要处理的请求时，您也可以将端点缩减到 0。