View a markdown version of this page

Implantar modelos de base e modelos personalizados e ajustados - SageMaker IA da Amazon

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Implantar modelos de base e modelos personalizados e ajustados

Se você estiver implantando modelos pré-treinados de base abertos ou fechados da Amazon ou seus próprios modelos personalizados SageMaker JumpStart ou ajustados armazenados no Amazon S3 ou no Amazon FSx, SageMaker HyperPod fornece a infraestrutura flexível e escalável de que você precisa para cargas de trabalho de inferência de produção.

Implemente modelos de bases abertas e fechadas da JumpStart Implementar modelos personalizados e ajustados do Amazon S3 e do Amazon FSx Implemente modelos a partir do armazenamento NVMe local
Descrição

Implemente com base em um catálogo abrangente de modelos de base pré-treinados com políticas automáticas de otimização e escalabilidade personalizadas para cada família de modelos.

Traga seus próprios modelos personalizados e ajustados e use a infraestrutura corporativa para inferência em escala SageMaker HyperPod de produção. Escolha entre um armazenamento econômico com o Amazon S3 ou um sistema de arquivos de alto desempenho com o Amazon FSx. Carregue os pesos do modelo do armazenamento NVMe local de um nó para eliminar a latência da rede durante a inicialização do pod. Útil para eventos de escalonamento automático, cargas de trabalho com escalabilidade zero e failovers sensíveis à latência.
Benefícios principais
  • One-click implantação por meio da interface do usuário do Amazon SageMaker Studio

  • Auto-scaling com base nas solicitações recebidas ativadas automaticamente

  • Pre-optimized contêineres e configurações para cada família de modelos

  • Tratamento de EULA para modelos fechados

  • Suporte para vários backends de armazenamento: Amazon S3, Amazon FSx.

  • Suporte flexível a frameworks e contêineres.

  • Políticas de escalabilidade com base nas características do modelo.

  • Tempo de inicialização a frio reduzido ao ler os pesos localmente

  • Sem dependência de rede para carregamento do modelo

  • Recurso opcional para o Amazon S3 quando o cache NVMe está ausente

  • Volumes Kubernetes personalizados e initContainers

Opções de implantação
  • Amazon SageMaker Studio para implantação visual

  • kubectl para operações Kubernetes-native

  • Python SDK para integração programática.

  • HyperPod CLI para automação de linha de comando

  • kubectl para operações Kubernetes-native

  • Python SDK para integração programática.

  • HyperPod CLI para automação de linha de comando

  • kubectl para operações Kubernetes-native

  • Python SDK para integração programática.

  • HyperPod CLI para automação de linha de comando

As seções a seguir orientam você na implantação de modelos da Amazon SageMaker JumpStart, do Amazon S3 e do Amazon FSx e do armazenamento NVMe local.