Atributos compatíveis - Amazon SageMaker

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Atributos compatíveis

A Amazon SageMaker oferece as quatro opções a seguir para implantar modelos para inferência.

  • Inferência em tempo real para workloads de inferência com requisitos em tempo real, interativos e de baixa latência.

  • Transformação em lote para inferência offline com grandes conjuntos de dados.

  • Inferência assíncrona para near-real-time inferência com grandes entradas que exigem tempos de pré-processamento mais longos.

  • Inferência sem servidor para cargas de trabalho de inferência que têm períodos de inatividade entre picos de tráfego.

A tabela a seguir resume os principais atributos da plataforma que são compatíveis com cada opção de inferência. Ele não mostra atributos que podem ser fornecidos por estruturas, contêineres Docker personalizados ou por meio do encadeamento de diferentes serviços da AWS >

Atributo Inferência em tempo real Transformação em lote Inferência assíncrona Inferência sem servidor Contêineres de docker
Suporte de escalonamento automático ✓ N/D ✓ ✓ N/D
Suporte para GPU ✓ 1 ✓ 1 ✓ 1 1P, pré-construído, BYOC
Modelo único ✓ ✓ ✓ ✓ N/D
Endpoints de vários modelos ✓ k-nn, XGBoost, aprendiz linear, RCF, Apache MXNet TensorFlow, scikit-learn 2 PyTorch
Endpoint com vários contêineres ✓ 1P, pré-construído, Estender pré-construído, BYOC
Pipeline de inferência serial ✓ ✓ 1P, pré-construído, Estender pré-construído, BYOC
Inference Recommender ✓ 1P, pré-construído, Estender pré-construído, BYOC
Suporte ao link privado ✓ ✓ ✓ N/D
Suporte para captura de dados/monitor de modelos ✓ ✓ N/D
DLCs compatíveis 1P, pré-construído, Estender pré-construído, BYOC 1P, pré-construído, Estender pré-construído, BYOC 1P, pré-construído, Estender pré-construído, BYOC 1P, pré-construído, Estender pré-construído, BYOC N/D
Protocolos compatíveis HTTP(S) HTTP(S) HTTP(S) HTTP(S) N/D
Tamanho da carga útil < 6 MB ≤ 100 MB ≤ 1 GB ≤ 4 MB
Codificação HTTP em partes Depende da estrutura, 1P não suportado N/D Depende da estrutura, 1P não suportado Depende da estrutura, 1P não suportado N/D
Tempo limite da solicitação < 60 segundos Dias < 1 hora < 60 segundos N/D
Barreiras de proteção de implantação: implantações azuis/verdes ✓ N/D ✓ N/D
Barreiras de proteção de implantação: implantações contínuas ✓ N/D ✓ N/D
Testes de validação por comparação ✓ N/D
Escalabilidade para zero N/D ✓ ✓ N/D
Suporte para pacotes de modelos do Market Place ✓ ✓ N/D
Suporte para nuvens privadas virtuais ✓ ✓ ✓ N/D
Suporte a múltiplas variantes de produção ✓ N/D
Isolamento de rede ✓ ✓ N/D
Modele o suporte de atendimento paralelo ✓ 3 ✓ ✓ 3 ✓ 3
Criptografia de volumes ✓ ✓ ✓ ✓ N/D
Cliente AWS KMS ✓ ✓ ✓ ✓ N/D
Instâncias compatíveis ✓ ✓ ✓ N/D
suporte inf1 ✓ ✓

Com SageMaker, você pode implantar um único modelo ou vários modelos por trás de um único endpoint de inferência para inferência em tempo real. A tabela a seguir resume os principais atributos suportados por várias opções de hospedagem que vêm com inferência em tempo real.

Atributo Endpoints de modelo único Endpoints de vários modelos Pipeline de inferência serial Endpoint com vários contêineres
Suporte de escalonamento automático ✓ ✓ ✓ ✓
Suporte para GPU ✓ 1 ✓ ✓
Modelo único ✓ ✓ ✓ ✓
Endpoints de vários modelos ✓ ✓ N/D
Endpoint com vários contêineres ✓ N/D
Pipeline de inferência serial ✓ ✓ N/D
Inference Recommender ✓
Suporte ao link privado ✓ ✓ ✓ ✓
Suporte para captura de dados/monitor de modelos ✓ N/D N/D N/D
DLCs compatíveis 1P, pré-construído, Estender pré-construído, BYOC k-nn, XGBoost, aprendiz linear, RCF, Apache MXNet TensorFlow, scikit-learn 2 PyTorch 1P, pré-construído, Estender pré-construído, BYOC 1P, pré-construído, Estender pré-construído, BYOC
Protocolos compatíveis HTTP(S) HTTP(S) HTTP(S) HTTP(S)
Tamanho da carga útil < 6 MB < 6 MB < 6 MB < 6 MB
Tempo limite da solicitação < 60 segundos < 60 segundos < 60 segundos < 60 segundos
Barreiras de proteção de implantação: implantações azuis/verdes ✓ ✓ ✓ ✓
Barreiras de proteção de implantação: implantações contínuas ✓ ✓ ✓ ✓
Testes de validação por comparação ✓
Suporte para pacotes de modelos do Market Place ✓
Suporte para nuvens privadas virtuais ✓ ✓ ✓ ✓
Suporte a múltiplas variantes de produção ✓ ✓ ✓
Isolamento de rede ✓ ✓ ✓ ✓
Modele o suporte de atendimento paralelo ✓ 3 ✓ 3
Criptografia de volumes ✓ ✓ ✓ ✓
Cliente AWS KMS ✓ ✓ ✓ ✓
Instâncias compatíveis ✓ ✓ ✓ ✓
suporte inf1 ✓

1 A disponibilidade dos tipos de instância do Amazon EC2 depende da AWS região. Para ver a disponibilidade de instâncias específicas para AWS, consulte os SageMakerpreços da Amazon.

2 Para usar qualquer outra estrutura ou algoritmo, use o kit de ferramentas de SageMaker inferência para criar um contêiner que ofereça suporte a endpoints de vários modelos.

3 Com SageMaker isso, você pode implantar modelos grandes (até 500 GB) para inferência. Você pode configurar a verificação de integridade do contêiner e as cotas de tempo limite de download, de até 60 minutos. Isso permitirá que você tenha mais tempo para baixar e carregar seu modelo e os recursos associados. Para ter mais informações, consulte SageMaker parâmetros de endpoint para inferência de modelos grandes. Você pode usar contêineres de inferência de modelos grandes SageMaker compatíveis. Você também pode usar bibliotecas de paralelização de modelos de terceiros, como Triton com e. FasterTransformer DeepSpeed Você precisa garantir que eles sejam compatíveis com SageMaker.