As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Armazenamento persistente para frotas gerenciadas por serviços
AWS O armazenamento persistente do Deadline Cloud (Deadline Cloud) fornece volumes gp3 dedicados do Amazon Elastic Block Store (Amazon EBS), separados do volume de inicialização raiz, para trabalhadores de frotas gerenciadas por serviços (SMF). Esses volumes preservam os dados em todos os eventos do ciclo de vida do trabalhador. Com o armazenamento persistente, instalações de pacotes conda, caches de aplicativos e arquivos de ativos permanecem disponíveis quando os trabalhadores são substituídos durante operações de manutenção ou escalonamento de rotina.
Como funciona o armazenamento persistente
Quando você habilita o armazenamento persistente em uma frota gerenciada por serviços, o Deadline Cloud gerencia automaticamente o ciclo de vida dos volumes do Amazon EBS para seus funcionários:
-
Quando um trabalhador inicia, o Deadline Cloud cria ou reutiliza um volume disponível do Amazon EBS na mesma zona de disponibilidade e anexa o volume ao trabalhador.
-
O Deadline Cloud formata o volume (se novo) e o monta no caminho que você especificar na configuração da frota.
-
Quando o trabalhador é demitido ou substituído, o Deadline Cloud separa o volume e o disponibiliza para reutilização por um futuro trabalhador na mesma frota e zona de disponibilidade.
Como os volumes são reutilizados na mesma frota e zona de disponibilidade, os trabalhadores subsequentes se beneficiam dos dados que foram gravados anteriormente no volume. O volume fornece largura de banda dedicada e IOPS sem contenção entre os trabalhadores.
nota
O armazenamento persistente está disponível somente para frotas gerenciadas por serviços. Para frotas gerenciadas pelo cliente, você gerencia sua própria infraestrutura de armazenamento.
Benefícios do armazenamento persistente
O armazenamento persistente oferece os seguintes benefícios para cargas de trabalho de frotas gerenciadas por serviços:
-
Inicialização mais rápida do trabalho — as instalações de pacotes do Conda, os shaders compilados e os ativos processados persistem durante a substituição do trabalhador, eliminando downloads e instalações repetidos.
-
Desempenho dedicado — Cada trabalhador recebe seu próprio volume do Amazon EBS com IOPS e taxa de transferência dedicados, evitando a contenção que ocorre com o armazenamento de rede compartilhado.
-
Gerenciamento automático — O Deadline Cloud gerencia a criação, anexação, formatação, montagem e limpeza de volumes sem exigir intervenção manual.
-
Integração de tempo de execução — consumidores de tempo de execução compatíveis, como ambientes de fila conda e o cache imutável do sistema de arquivos virtual (VFS), usam automaticamente o armazenamento persistente quando disponível, sem exigir alterações na configuração do trabalho.
-
Controle de custos — configure um tempo de vida útil (TTL) para limpar automaticamente os volumes não utilizados e reduzir os custos de armazenamento durante os períodos de inatividade.
Quando usar o armazenamento persistente
Considere habilitar o armazenamento persistente para sua frota gerenciada por serviços nos seguintes cenários:
-
Seus trabalhos usam pacotes conda que exigem um tempo significativo de download e instalação.
-
Suas cargas de trabalho de renderização compilam sombreamentos ou ativos de processo que podem ser reutilizados em renderizações subsequentes.
-
Você usa o Perforce ou outros sistemas de controle de versão em que o estado de sincronização do espaço de trabalho reduz a transferência de dados nas atualizações subsequentes.
-
Seus trabalhos usam o sistema de arquivos virtual (VFS) e se beneficiariam de um cache de ativos imutável persistente.
-
Você quer desempenho de armazenamento dedicado sem a sobrecarga operacional de gerenciar sistemas de arquivos de rede compartilhados.
-
Você instala renderizadores personalizados ou outro software em trabalhadores por meio de scripts de configuração do host e deseja que essas instalações sejam armazenadas em cache no volume persistente.
Configurando o armazenamento persistente para uma frota
Você pode configurar o armazenamento persistente ao criar uma nova frota gerenciada por serviços ou atualizar uma frota existente.
Configurando o armazenamento persistente (console)
Antes de começar, você deve ter uma fazenda existente com pelo menos uma frota gerenciada por serviços ou estar pronto para criar uma nova frota.
Para configurar o armazenamento persistente para uma frota
-
Faça login no AWS Management Console e abra o console do Deadline Cloud
. -
No painel de navegação, escolha Fazendas e selecione sua fazenda.
-
Escolha a guia Frotas e, em seguida, escolha Criar frota ou selecione uma frota gerenciada por serviços existente e escolha Editar.
-
Em Capacidades de armazenamento, no Modo de armazenamento, escolha Armazenamento persistente.
-
Defina as configurações de armazenamento raiz para o volume de inicialização (tamanho, IOPS e taxa de transferência).
-
Em Armazenamento persistente, defina as seguintes configurações:
-
Tamanho — O tamanho do volume persistente. O intervalo válido é de 1 a 65.536 GiB. Verifique se o tamanho padrão é adequado para suas cargas de trabalho de renderização e considere aumentar o tamanho do volume para fluxos de trabalho que usam ativos ou caches maiores.
-
Caminho de montagem — O caminho absoluto em que o volume é montado no trabalhador (por exemplo,
/mnt/persistentparaLinux). Para Windows trabalhadores, especifique uma letra de condução, comoD:. -
Taxa de transferência — A taxa de transferência provisionada para o volume. O intervalo válido é de 125 MiB/s a 2.000.
-
Tempo máximo de inatividade — Por quanto tempo um volume disponível pode ficar inativo antes de ser excluído. Selecione um valor no menu suspenso (por exemplo, 12 horas).
-
IOPS — O IOPS provisionado para o volume. O intervalo válido é de 3.000 a 80.000 IOPS. O IOPS deve ter uma taxa de transferência de pelo menos 4 vezes.
-
-
Conclua as etapas restantes de configuração da frota e escolha Criar frota ou Salvar alterações.
Configurando o armazenamento persistente (AWS CLI)
Para configurar o armazenamento persistente usando o AWS Command Line Interface (AWS CLI), inclua o persistentVolumeConfiguration objeto no serviceManagedEc2FleetConfiguration quando você chama CreateFleet ouUpdateFleet.
O persistentVolumeConfiguration objeto aceita os seguintes parâmetros. Para intervalos válidos e valores padrão, consulte CreateFleet a Referência da API Deadline Cloud.
| Parâmetro | Tipo | Obrigatório | Description |
|---|---|---|---|
sizeGiB |
Inteiro | Não | O tamanho do volume persistente em GiB. |
iops |
Inteiro | Não | O IOPS provisionado para o volume gp3. |
throughputMiB |
Inteiro | Não | A taxa de transferência provisionada é MiB/s para o volume gp3. |
mountPath |
String | Sim | A localização da montagem no trabalhador. ParaLinux, especifique um caminho absoluto (por exemplo,/mnt/persistent). ParaWindows, especifique uma letra de drive (por exemplo,D:). |
lastUsedTtlHours |
Inteiro | Não | O número de horas após a última utilização de um volume antes da limpeza automática. |
O AWS CLI exemplo a seguir cria uma frota gerenciada por serviços com o armazenamento persistente ativado:
aws deadline create-fleet \ --farm-idfarm-0123456789abcdef0\ --display-name "Rendering Fleet" \ --max-worker-count 20 \ --configuration '{ "serviceManagedEc2FleetConfiguration": { "instanceCapabilities": { "vCpuCount": {"min": 4, "max": 16}, "memoryMiB": {"min": 16384, "max": 65536}, "osFamily": "LINUX", "rootEbsVolume": {"sizeGiB": 250} }, "instanceMarketOptions": {"type": "spot"}, "persistentVolumeConfiguration": { "sizeGiB": 2048, "iops": 16000, "throughputMiB": 500, "mountPath": "/mnt/persistent", "lastUsedTtlHours": 168 } } }'
Para adicionar armazenamento persistente a uma frota existente, inclua o mesmo persistentVolumeConfiguration objeto em uma update-fleet chamada. Para desativar o armazenamento persistente, omita o persistentVolumeConfiguration objeto da configuração da frota em uma UpdateFleet chamada. O Deadline Cloud limpa automaticamente os volumes existentes quando eles não estão mais conectados a um trabalhador.
Integração Runtime
Quando o armazenamento persistente é montado com sucesso em um trabalhador, o Deadline Cloud define a variável de DEADLINE_PERSISTENT_MOUNT ambiente para o caminho de montagem configurado. Essa variável de ambiente está disponível para todos os processos de trabalho em execução no trabalhador, incluindo scripts de configuração do host e ações de modelo de trabalho. Os seguintes consumidores de tempo de execução usam automaticamente o armazenamento persistente quando a variável de ambiente está presente:
-
Ambientes de fila Conda — As instalações de pacotes são armazenadas no volume persistente, de modo que os trabalhadores subsequentes reutilizem pacotes instalados anteriormente em vez de baixá-los e instalá-los novamente.
-
Cache imutável do sistema de arquivos virtual (VFS) — O VFS armazena seu cache de ativos imutáveis no volume persistente, portanto, os ativos baixados anteriormente estão disponíveis sem necessidade de serem baixados novamente do Amazon Simple Storage Service (Amazon S3).
Você também pode referenciar a variável de DEADLINE_PERSISTENT_MOUNT ambiente em seus próprios modelos e scripts de trabalho do Open Job Description para armazenar dados que devem persistir em todos os eventos do ciclo de vida do trabalhador. O exemplo a seguir mostra uma etapa que grava a saída no armazenamento persistente:
steps: - name: ProcessAssets script: actions: onRun: command: bash args: - "-c" - | CACHE_DIR="${DEADLINE_PERSISTENT_MOUNT}/my-app-cache" mkdir -p "$CACHE_DIR" # Your processing logic here
Gerenciando volumes persistentes
Você pode visualizar e gerenciar volumes persistentes para sua frota usando o console ou a API do Deadline Cloud. AWS CLI As seguintes operações estão disponíveis:
-
Listar volumes — Visualize todos os volumes persistentes associados a uma frota, incluindo seu estado, tamanho e zona de disponibilidade.
-
Obtenha detalhes do volume — Recupere informações detalhadas sobre um volume específico, incluindo seu estado atual, status do anexo e configuração.
-
Excluir um volume — Exclua permanentemente um volume persistente não anexado que não é mais necessário. Você não pode excluir um volume atualmente conectado a um trabalhador.
O AWS CLI exemplo a seguir recupera os detalhes de um volume persistente:
aws deadline get-volume \ --farm-idfarm-0123456789abcdef0\ --fleet-idfleet-0123456789abcdef0\ --volume-idvolume-0123456789abcdef0
O state campo na resposta indica o estado atual do volume. Os valores possíveis são:
-
AVAILABLE— O volume está desacoplado e pronto para ser conectado. -
IN_USE— O volume está atualmente conectado a um trabalhador. -
PENDING_CREATION— O volume está sendo criado. -
PENDING_ATTACHMENT— O volume é reservado para ser anexado a um trabalhador. -
PENDING_DELETION— O volume está marcado para exclusão.
Atualizando a configuração de armazenamento persistente
Você pode atualizar a configuração de armazenamento persistente em uma frota existente. A tabela a seguir descreve como as alterações de configuração afetam os volumes persistentes existentes:
| Alteração | Comportamento |
|---|---|
| Aumentar ou diminuir o IOPS ou a taxa de transferência | O Deadline Cloud aplica as alterações antes do próximo anexo de volume. |
| Aumentar o tamanho do volume | O Deadline Cloud aumenta o volume antes do próximo anexo e expande o sistema de arquivos automaticamente durante a inicialização do trabalhador. |
| Diminua o tamanho do volume | Sem compatibilidade. Os volumes do Amazon EBS não podem ser reduzidos em tamanho. |
| Alterar caminho de montagem | Aplica-se somente a novos trabalhadores. Os trabalhadores existentes mantêm seu caminho de montagem atual. |
| Remova o armazenamento persistente | O Deadline Cloud marca os volumes existentes para exclusão e os limpa quando eles não estão mais vinculados a um trabalhador. |
Importante
As alterações de configuração não afetam os trabalhadores existentes. As alterações se aplicam somente aos novos trabalhadores lançados após a atualização.
Criptografia
Os volumes persistentes usam as configurações de criptografia definidas no nível do farm. Se você configurou uma chave AWS Key Management Service (AWS KMS) gerenciada pelo cliente para sua fazenda, os volumes persistentes são criptografados com essa chave. Caso contrário, os volumes persistentes são criptografados com uma chave de propriedade do serviço.
Considerações
Lembre-se das seguintes considerações ao usar o armazenamento persistente:
-
Os volumes persistentes são uma otimização do cache, não um armazenamento primário durável. Use volumes persistentes somente para dados que você possa recriar, como instalações de pacotes, sombreamentos compilados e caches de ativos. O Deadline Cloud pode substituir um volume a qualquer momento, e você não pode acessar volumes persistentes diretamente.
-
O Deadline Cloud configura o diretório inicial do trabalhador para usar o volume persistente. O software que armazena dados no diretório inicial (como pacotes conda e caches de aplicativos) se beneficia automaticamente da persistência. Se seu software gravar em caminhos fora do diretório inicial, você deverá reconfigurá-lo para usar o caminho de montagem persistente, ou esses arquivos não persistirão nos eventos do ciclo de vida do trabalhador.
-
Os volumes persistentes não estão conectados a vários trabalhadores simultaneamente. Cada volume atende a um trabalhador por vez, mas é reutilizado por diferentes trabalhadores em todos os eventos do ciclo de vida.
-
Os volumes têm como escopo uma frota e uma zona de disponibilidade específicas. Um volume criado em uma zona de disponibilidade não pode ser reutilizado por um trabalhador em outra zona de disponibilidade.
-
Não é garantido que um trabalhador específico receba o mesmo volume usado anteriormente. Qualquer volume disponível na mesma frota e zona de disponibilidade pode ser atribuído.
-
Se o armazenamento persistente não puder ser provisionado (por exemplo, devido aos limites da cota), o trabalho falhará. Os trabalhadores não voltam a funcionar sem armazenamento persistente.
-
Você é cobrado pelo armazenamento persistente com base no número de volumes ativos e em sua configuração. Para controlar os custos durante os períodos de inatividade, configure um TTL ou remova a configuração de armazenamento persistente da sua frota.