As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Introdução
O Ray on HyperPod é executado no KubeRay operador de código aberto e em seus recursos personalizados, inalterados. Para começar, você precisa apenas de um HyperPod cluster orquestrado pelo Amazon EKS e pelo KubeRay operador instalado nele. HyperPod em seguida, adiciona recursos ao Ray que você adota de duas maneiras.
Conceitos básicos
Essas duas etapas são tudo o que você precisa para executar o Ray HyperPod.
-
Crie um HyperPod cluster orquestrado pelo Amazon EKS. Para obter mais informações, consulte Criação de um SageMaker HyperPod cluster com a orquestração do Amazon EKS.
-
Instale o KubeRay operador no cluster. Ele gerencia todos os recursos personalizados do Ray. Para obter mais informações, consulte Instalação KubeRay no HyperPod Amazon EKS.
Ray aparece em HyperPod
HyperPod adiciona recursos em torno do Ray, e há duas maneiras de adotá-los. De qualquer forma, a configuração é a mesma e ambas executam o mesmo Ray de código aberto e os mesmos recursos KubeRay personalizados. O que difere é como suas equipes consomem os recursos, e você pode começar com um e adicionar o outro posteriormente.
Purpose-built experiência de cientista de dados. O Amazon SageMaker Studio reúne esses recursos em uma única interface. Você cria e gerencia clusters do Ray, desenvolve interativamente em um espaço anexo, acessa o Ray Dashboard por meio de um link do navegador e abre os painéis do Grafana, sem escrever manifestos do Kubernetes. Configure primeiro o Amazon SageMaker Studio for Ray. Para obter mais informações, consulte Configurando o Studio for Ray. Em seguida, você pode optar por cada recurso individualmente, como o complemento SageMaker AI Spaces para desenvolvimento interativo e o complemento HyperPod Observability para painéis.
Integrando recursos em sua plataforma interna de ML existente. Escolha essa opção se você executa sua própria plataforma interna de ML no Amazon EKS e deseja manter suas ferramentas e fluxos de trabalho. Você anexa a HyperPod computação ao seu cluster Amazon EKS e adota somente os recursos que estão faltando. Nada exige o Amazon SageMaker Studio. Cada recurso é um complemento separado ou um pacote Python, então você pode adotar um e parar.
Todos os recursos estão disponíveis nos dois sentidos. A experiência criada especificamente envolve cada um em uma interface web e, em sua própria plataforma, você usa os mesmos recursos. kubectl
| Recurso | Purpose-built experiência no Amazon SageMaker Studio | Sua própria plataforma |
|---|---|---|
| Gerenciando cargas de trabalho do Ray | Crie e gerencie clusters Ray na interface web do Amazon SageMaker Studio | kubectle seus próprios RayCluster manifestos |
| IDE e notebooks | UI da Web para criar ambientes de desenvolvimento Ray | Anexe um espaço com kubectl |
| Acesso ao Ray Dashboard e envio de trabalhos | One-click acesso autenticado e envio remoto de tarefas a partir dos notebooks do Studio Space e do Editor de Código | kubectlcomandos para gerar links do Ray Dashboard |
| Observabilidade | Painéis Grafana do complemento Observability HyperPod | O mesmo complemento ou seu próprio Prometheus |
| Compartilhamento de recursos e filas de trabalho com governança de tarefas | Visualize as métricas de alocação de recursos durante a criação da carga de trabalho do Ray e envie para uma fila a partir da interface do usuário | via kubectl |
| Treinamento resiliente (recuperação automática de nós, detecção de tarefas suspensas, verificação hierárquica) | Suportado na camada de infraestrutura | Suportado na camada de infraestrutura |
| Inferência acelerada (Ray Serve, cache KV hierárquico gerenciado, escalonamento automático) | Suportado na camada de infraestrutura | Suportado na camada de infraestrutura |
