As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
A documentação do contêiner de inferência de grandes modelos (LMI)
A documentação do contêiner de inferência de grandes modelos (LMI)
A documentação foi escrita para desenvolvedores, cientistas de dados e engenheiros de aprendizado de máquina que precisam implantar e otimizar grandes modelos de linguagem (LLMs) na Amazon SageMaker AI. Ele ajuda você a usar contêineres LMI, que são contêineres Docker especializados para inferência de LLM, fornecidos pela. AWS Ela apresenta uma visão geral, guias de implantação, guias de usuário para bibliotecas de inferência compatíveis e tutoriais avançados.
Ao usar a documentação do contêiner de LMI, você consegue:
-
Compreender os componentes e a arquitetura dos contêineres de LMI
-
Saiba como selecionar o tipo de instância e o backend apropriados para seu caso de uso
-
Configure e implante LLMs em SageMaker IA usando contêineres LMI
-
Otimizar o desempenho usando atributos como quantização, paralelismo de tensores e processamentos em lotes contínuos
-
Compare e ajuste seus endpoints de SageMaker IA para otimizar a taxa de transferência e a latência
