Opções de inferência na Amazon SageMaker

Inferência em tempo real: a inferência em tempo real é ideal para inferências online que têm baixa latência ou exigências de Alta taxa de transferência. Use inferência em tempo real para um endpoint (RESTAPI) persistente e totalmente gerenciado que pode lidar com tráfego sustentado, apoiado pelo tipo de instância de sua escolha. A inferência em tempo real pode suportar tamanhos de carga de até 6 MB e tempos de processamento de até 60 segundos.

Inferência sem servidor: a inferência sem servidor é ideal quando você tem padrões de tráfego intermitentes ou imprevisíveis. SageMaker gerencia toda a infraestrutura subjacente, portanto, não há necessidade de gerenciar instâncias ou políticas de escalabilidade. Você paga apenas por aquilo que usa e não por tempo ocioso. Ele pode suportar tamanhos de carga de até 4 MB e tempos de processamento de até 60 segundos.

Transformação em lote: a transformação em lote é adequada para processamento off-line quando grandes quantidades de dados estão disponíveis antecipadamente e você não precisa de um endpoint persistente. Você também pode usar a transformação em lote para pré-processar conjuntos de dados. Ele pode suportar grandes conjuntos de dados com tamanho e tempos de processamento de dias. GBs

Inferência assíncrona: a inferência assíncrona é ideal quando você deseja enfileirar solicitações e ter grandes cargas com longos tempos de processamento. A Inferência assíncrona pode suportar cargas úteis de até 1 GB e tempos de processamento longos de até uma hora. Você também pode reduzir a escala verticalmente do seu endpoint para 0 quando não há solicitações para processar.