Migre a carga de trabalho de inferência do x86 para o Graviton AWS

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

AWS Graviton é uma série de processadores baseados em ARM projetados por. AWS Eles são mais eficientes em termos de energia do que os processadores baseados em x86 e oferecem uma relação custo-desempenho atrativa. A Amazon SageMaker AI oferece instâncias baseadas em Graviton para que você possa aproveitar esses processadores avançados para atender às suas necessidades de inferência.

Você pode migrar suas workloads de inferência existentes de instâncias baseadas em x86 para instâncias baseadas em Graviton, usando imagens de contêiner compatíveis com ARM ou imagens de contêiner multiarquitetura. Este guia pressupõe que você esteja usando imagens de contêiner do AWS aprendizado profundo ou suas próprias imagens de contêiner compatíveis com ARM. Para obter mais informações sobre como criar suas próprias imagens, consulte Como criar sua imagem.

Em um alto nível, migrar a workload de inferência de instâncias baseadas em x86 para instâncias baseadas em Graviton é um processo de quatro etapas:

As seções a seguir deste guia fornecem mais detalhes sobre as etapas acima. user placeholder textSubstitua os exemplos de código pelos seus próprios dados.

Envie imagens de contêiner no Amazon ECR

Você pode enviar suas imagens de contêiner para o Amazon ECR com o. AWS CLI Ao usar uma imagem compatível com ARM, verifique se ela é compatível com a arquitetura ARM:

docker inspect deep-learning-container-uri
				

A resposta "Architecture": "arm64" indica que a imagem é compatível com a arquitetura ARM. Você pode enviá-lo para o Amazon ECR com o comando docker push. Para obter mais informações, consulte Enviando uma imagem do Docker.

As imagens de contêiner de várias arquiteturas são basicamente um conjunto de imagens de contêiner que oferecem apoio a diferentes arquiteturas ou sistemas operacionais, aos quais você pode se referir por um nome de manifesto comum. Se você estiver usando imagens de contêiner multiarquitetura, além de enviar as imagens para o Amazon ECR, você também terá que enviar uma lista de manifesto para o Amazon ECR. Uma lista de manifestos permite a inclusão aninhada de outros manifestos de imagem, em que cada imagem incluída é especificada por arquitetura, sistema operacional e outros atributos da plataforma. O exemplo a seguir cria uma lista de manifestos e a envia para o Amazon ECR.

Para obter mais informações sobre a criação e o envio de listas de manifesto para o Amazon ECR, consulte Introdução a imagens de contêiner multiarquitetura para o Amazon ECR e Enviando uma imagem multiarquitetura.

Crie um modelo de SageMaker IA

Crie um modelo de SageMaker IA chamando a CreateModelAPI.

import boto3
from sagemaker import get_execution_role


aws_region = "aws-region"
sagemaker_client = boto3.client("sagemaker", region_name=aws_region)

role = get_execution_role()

sagemaker_client.create_model(
    ModelName = "model-name",
    PrimaryContainer = {
        "Image": "deep-learning-container-uri",
        "ModelDataUrl": "model-s3-location",
        "Environment": {
            "SAGEMAKER_PROGRAM": "inference.py",
            "SAGEMAKER_SUBMIT_DIRECTORY": "inference-script-s3-location",
            "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
            "SAGEMAKER_REGION": aws_region,
        }
    },
    ExecutionRoleArn = role
)
        

Criar uma configuração de endpoint

Crie uma configuração de endpoint chamando a API CreateEndpointConfig. Para ver uma lista de instâncias baseadas em Graviton, consulte Instâncias otimizadas para computação.

sagemaker_client.create_endpoint_config(
    EndpointConfigName = "endpoint-config-name",
    ProductionVariants = [
        {
            "VariantName": "variant-name",
            "ModelName": "model-name",
            "InitialInstanceCount": 1,
            "InstanceType": "ml.c7g.xlarge", # Graviton-based instance
       }
    ]
)
        

Crie um endpoint do

Crie uma configuração de endpoint chamando a API CreateEndpoint.

sagemaker_client.create_endpoint(
    EndpointName = "endpoint-name",
    EndpointConfigName = "endpoint-config-name"
)