As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Ray em SageMaker HyperPod
O Ray é uma estrutura unificada de código aberto para escalar aplicativos de IA e Python. Ele fornece a camada de computação para processamento paralelo, portanto, você não precisa ser um especialista em sistemas distribuídos para executar trabalhos em um cluster. O Ray Core distribui o trabalho, e as bibliotecas do Ray AI abrangem processamento de dados, treinamento distribuído, ajuste de hiperparâmetros, aprendizado por reforço e fornecimento de modelos. Para obter mais informações, consulte Visão geral
O Ray on SageMaker HyperPod executa suas cargas de trabalho do Ray em HyperPod computação orquestrada pelo Amazon EKS, usando o operador de código aberto. KubeRay Seu código Ray, as APIs do Ray e os recursos KubeRay personalizados permanecem inalterados.
Manter-se totalmente alinhado com o Ray de código aberto HyperPod adiciona recursos em vez de substituir qualquer parte dele:
-
Uma interface web criada especificamente para operar cargas de trabalho do Ray no Amazon SageMaker Studio que reúne todos os recursos abaixo em uma única interface.
-
Desenvolvimento interativo, em que um JupyterLab editor de código ou uma sessão de IDE remota é anexada a um cluster Ray e
ray.init()se conecta. -
Acesso seguro ao Ray Dashboard por meio de um link de navegador autenticado, sem
kubectl port-forward. -
Um cache KV gerenciado em camadas que reduz o tempo até o primeiro token, a implantação do JumpStart modelo e o escalonamento automático gerenciado do Karpenter para o Ray Serve.
-
Alocações de computação em equipe, agendamento baseado em prioridades e empréstimo e empréstimo de computação ociosa por meio da Governança de Tarefas. HyperPod
-
Métricas do Ray e painéis do Grafana fornecidos pelo complemento Observability. HyperPod
-
Treinamento resiliente com recuperação automática de nós, detecção de tarefas suspensas e verificação hierárquica na camada de infraestrutura.
Você pode adotar tudo isso ou instalar somente os recursos que estão faltando. Para obter mais informações sobre as duas abordagens, consulteIntrodução.
Pré-requisitos
O Ray on HyperPod exige um HyperPod cluster orquestrado pelo Amazon EKS. Para obter mais informações sobre como criar um, consulteCriação de um SageMaker HyperPod cluster com a orquestração do Amazon EKS.
Regiões
O Ray on HyperPod está disponível em todos os Regiões da AWS lugares onde SageMaker HyperPod oferece suporte à orquestração do Amazon EKS. Para ver a lista de regiões, consulteRegiões da AWS apoiado por SageMaker HyperPod.
Tópicos
