Capacidade computacional do Amazon Redshift Serverless
Com o Amazon Redshift sem servidor, é possível aumentar ou reduzir automaticamente a escala vertical da capacidade computacional para atender às suas necessidades de workload. Capacidade computacional refere-se ao poder de processamento e memória alocados para os workloads do Amazon Redshift sem servidor. Casos de uso comuns incluem lidar com períodos de pico de tráfego, executar operações complexas de analytics ou processar grandes volumes de dados com eficiência. Os termos a seguir fornecem detalhes sobre como configurar e gerenciar a capacidade computacional.
RPUs
O Amazon Redshift Serverless mede a capacidade do data warehouse em unidades de processamento do Redshift (RPUs). As RPUs são recursos usados para lidar com workloads.
Capacidade básica
Essa configuração especifica a capacidade inicial do data warehouse que o Amazon Redshift usa para processar consultas. A capacidade inicial é especificada em RPUs. Você pode definir uma capacidade base em unidades de processamento do Redshift (RPUs). Uma RPU fornece 16 GB de memória. Definir uma capacidade inicial mais alta melhora a performance da consulta, principalmente para trabalhos de processamento de dados que consomem muitos recursos. A capacidade inicial padrão do Amazon Redshift Serverless é de 128 RPUs. Você pode ajustar a configuração Capacidade básica entre 8 RPUs e 512 RPUs, em unidades múltiplas de 8 (8, 16, 24 … 512), usando o console da AWS, a operação de API UpdateWorkgroup ou a operação update-workgroup na AWS CLI.
Com uma capacidade mínima de 8 RPUs, agora você tem mais flexibilidade para executar desde workloads mais simples a mais complexas com base nos requisitos de performance. As capacidades básicas de 8, 16 e 24 RPUs são voltadas para workloads que exigem menos de 128 TB de dados. Se seus requisitos de dados forem maiores que 128 TB, você deverá usar pelo menos 32 RPUs. Para workloads que tenham tabelas com muitas colunas e maior simultaneidade, recomendamos o uso de 32 ou mais RPUs.
O máximo de RPUs básicas disponíveis, 512, adiciona o mais alto nível de recursos de computação aos workloads. Isso oferece maior flexibilidade para atender a workloads de grande complexidade e acelera o carregamento e a consulta de dados.
nota
Uma capacidade máxima de RPU básica expandida de 1.024 está disponível nas seguintes Regiões da AWS:
Leste dos EUA (Norte da Virgínia)
Leste dos EUA (Ohio)
-
Oeste dos EUA (Oregon)
-
Europa (Irlanda)
-
Europa (Frankfurt)
Você pode aumentar ou diminuir as RPUs em unidades de 32 ao definir uma capacidade básica entre 512 e 1.024.
Se você gerencia workloads maiores e mais complexos, considere a possibilidade de aumentar o tamanho do data warehouse do Redshift sem servidor. Data warehouses maiores têm acesso a mais recursos de computação, o que permite que eles processem consultas com maior eficiência. Observe que o aumento da capacidade máxima de RPU básica do grupo de trabalho requer endereços IP gratuitos adicionais. Para obter mais informações sobre os requisitos de endereços IP gratuitos adicionais, acesse Considerações ao usar o Amazon Redshift Serverless.
Veja abaixo alguns casos em que é útil ter uma capacidade básica maior:
Você tem consultas complexas que demoram muito para ser executadas.
Suas tabelas têm um grande número de colunas.
Suas consultas têm um grande número de JOINs.
Suas consultas agregam ou verificam grandes quantidades de dados de uma fonte externa, como um data lake.
Para obter mais informações sobre cotas e limites do Amazon Redshift sem servidor, acesse Cotas para objetos do Amazon Redshift Serverless.
Considerações e limitações da capacidade do Amazon Redshift sem servidor
Veja a seguir considerações e limitações da capacidade do Amazon Redshift sem servidor.
-
Configurações de 8 ou 16 RPUs oferecem suporte à capacidade de armazenamento gerenciado pelo Redshift de até 128 TB. Se você estiver usando mais de 128 TB de armazenamento gerenciado, não poderá fazer downgrade para menos de 32 RPUs.
-
A edição da capacidade base do grupo de trabalho pode cancelar algumas das consultas em execução no grupo de trabalho.
-
O Amazon Redshift sem servidor não aumentará a escala verticalmente das RPUs, a menos que haja consultas na fila. Ele não aumentará a escala verticalmente das RPUs em resposta ao aumento da carga de uma única consulta. Por esse motivo, uma única consulta que consome muitos recursos pode fazer com que seu grupo de trabalho fique sem memória se no momento não houver capacidade para lidar com isso. Verifique se sua capacidade básica é suficiente para lidar com qualquer consulta única executada em seu data warehouse.
Ajuste de escala e otimização orientados por IA
O recurso de ajuste de escala e otimização orientados por IA está disponível em todas as regiões da AWS em que o Amazon Redshift sem servidor está disponível.
O Amazon Redshift sem servidor oferece um recurso avançado de ajuste de escala e otimização orientados por IA para atender a diversos requisitos de workload. Os data warehouses podem ter os seguintes problemas de provisionamento:
Os data warehouses podem ser superprovisionados para melhorar a performance de consultas que exigem muitos recursos.
Os data warehouses podem ser subprovisionados para reduzir os custos.
Encontrar o equilíbrio certo entre performance e custo para workloads de data warehouse é um desafio, especialmente com consultas ad hoc e volumes de dados crescentes. Ao executar workloads mistas, incluindo consultas com baixo e alto consumo de recursos, é necessário um ajuste de escala inteligente. O recurso de ajuste de escala e otimização orientados por IA escala automaticamente a computação sem servidor ou as RPUs em resposta ao crescimento dos dados. Esse recurso também ajuda a manter a performance da consulta dentro dos objetivos de preço-performance. O ajuste de escala e a otimização orientados por IA alocam dinamicamente os recursos de computação à medida que os volumes de dados aumentam, garantindo que as consultas continuem alcançando as metas de performance. Eles permitem que o serviço se adapte perfeitamente às mudanças nos requisitos de workload, sem a necessidade de intervenção manual ou planejamento complexo de capacidade.
O Amazon Redshift sem servidor oferece uma solução de ajuste de escala mais abrangente e responsivo com base em fatores como complexidade da consulta e volume de dados. Esse recurso permite otimizar a relação preço-performance das workloads, mantendo a flexibilidade para lidar de forma eficiente com workloads variáveis e conjuntos de dados crescentes. O Amazon Redshift sem servidor pode fazer otimizações orientadas por IA automaticamente no endpoint do Amazon Redshift sem servidor para alcançar as metas de preço-performance especificadas para o grupo de trabalho sem servidor. Essa otimização automática de desempenho do preço será especialmente útil se você não souber qual capacidade base definir para os workloads ou se algumas partes do workload puderem se beneficiar de mais recursos alocados.
Exemplo
Por exemplo, se a organização normalmente executa workloads que só exigem 32 RPUs, mas apresenta repentinamente uma consulta mais complexa, talvez você não saiba a capacidade básica apropriada. A definição de uma capacidade básica mais alta melhora a performance, mas também gera custos mais altos, então o custo talvez não corresponda às expectativas. Usando escalabilidade orientada por IA e otimização de recursos, o Amazon Redshift sem servidor ajusta automaticamente as RPUs para atender às metas de desempenho de preço, mantendo os custos otimizados para a organização. Essa otimização automática é útil, independentemente do tamanho do workload. A otimização automática poderá ajudar a atingir as metas de desempenho do preço da organização, se você tiver um número qualquer de consultas complexas.
nota
As metas de desempenho do preço são uma configuração específica do grupo de trabalho. Grupos de trabalho diferentes podem ter metas de preço de desempenho diferentes.
Para manter custos previsíveis, estabeleça uma capacidade máxima limite que o Amazon Redshift sem servidor pode alocar para os workloads.
Para configurar metas de desempenho do preço, use o console da AWS. Você deve habilitar a meta de preço-performance explicitamente ao criar o grupo de trabalho sem servidor. Você também pode modificar a meta de preço-performance depois de criar o grupo de trabalho sem servidor. Quando você habilita a meta de preço-performance, ela é definida como Equilibrado por padrão.
Como editar a meta de preço-performance para o grupo de trabalho
No console do Amazon Redshift sem servidor, escolha Configuração do grupo de trabalho.
Escolha o grupo de trabalho para o qual você deseja editar a meta de desempenho do preço. Escolha a guia Permissões e Editar.
Seleciona a meta Preço-performance e ajuste o controle deslizante para a configuração desejada.
Escolha Salvar alterações.
Para atualizar a quantidade máxima de RPUs que o Amazon Redshift sem servidor pode alocar à workload, escolha a guia Limites da seção Configuração do grupo de trabalho.
Você pode usar o controle deslizante de Meta de preço-performance para definir o equilíbrio desejado entre custo e performance. Ao mover o controle deslizante, você pode escolher uma das seguintes opções:
Otimiza o custo: esta configuração prioriza a redução de custos. O Amazon Redshift sem servidor tenta aumentar a escala verticalmente da capacidade computacional de maneira automática quando isso não gera custos adicionais. O Amazon Redshift sem servidor também tenta reduzir a escala verticalmente dos recursos computacionais para um custo menor, possivelmente aumentando os runtimes de consulta.
Equilibrado: esta configuração cria um equilíbrio entre performance e custo. O Amazon Redshift sem servidor escala para oferecer performance, e isso pode aumentar ou diminuir moderadamente os custos. Essa é a configuração recomendada para a maioria dos data warehouses do Amazon Redshift sem servidor.
Otimiza a performance: esta configuração prioriza a performance. O Amazon Redshift escala acentuadamente para oferecer alta performance, o que pode resultar em custos mais elevados.
Posições intermediárias: você também pode definir o controle deslizante em uma das duas posições intermediárias entre Equilibrado e Otimiza o custo ou Otimiza a performance. Use essas configurações se a otimização total de custo ou performance for muito extrema.
Considerações ao escolher a meta de preço-performance
Você pode usar o controle deslizante de preço-performance para escolher a meta de preço-performance desejada para a workload. O algoritmo de ajuste de escala e otimização orientados por IA aprende ao longo do tempo usando o histórico da workload e melhora a previsão e a precisão da decisão.
Exemplo
Neste exemplo, suponha que uma consulta leve 7 minutos e custe USD 7. A figura a seguir mostra os runtimes e o custo da consulta sem ajuste de escala.
Uma determinada consulta pode reduzir a escala horizontalmente de maneiras diferentes, conforme mostrado abaixo. Com base na meta de preço-performance escolhida, o ajuste de escala orientado por IA prevê como a consulta equilibra performance e custo e a escala adequadamente. Os seguintes resultados são produzidos ao escolher as diferentes opções do controle deslizante:
Otimiza o custo; com a opção Otimiza o custo, o data warehouse escala favorecendo escolhas que reduzem os custos. No exemplo anterior, a abordagem de ajuste de escala superlinear demonstra esse comportamento. O ajuste de escala só ocorrerá se puder ser feito de maneira econômica, de acordo com as predições de modelo de ajuste de escala. Quando os modelos de ajuste de escala preveem que o ajuste de escala com custo otimizado não é possível para determinada workload, o data warehouse não é escalado.
Equilibrado: com a opção Equilibrado, o sistema escala e, ao mesmo tempo, pondera as considerações de custo e performance, com um possível aumento limitado no custo. A opção Equilibrado executa o ajuste de escala superlinear, linear e possivelmente sublinear da workload.
Otimiza a performance: com a opção Otimiza a performance, além dos métodos anteriores para melhorar a performance, o sistema também escala mesmo que os custos sejam mais altos e, possivelmente, desproporcionais à melhoria do runtime. Com a opção Otimiza a performance, o sistema executa o ajuste de escala superlinear, linear e sublinear, se possível. Quanto mais próximo o controle deslizante estiver da posição Otimiza a performance, mais o Amazon Redshift sem servidor permitirá o ajuste de escala sublinear.
Observe o seguinte ao definir o controle deslizante Preço-performance:
Você pode alterar a configuração de preço-performance a qualquer momento, mas o ajuste de escala da workload não mudará imediatamente. O ajuste de escala muda com o tempo à medida que o sistema aprende sobre a workload atual. Sugerimos monitorar o grupo de trabalho sem servidor no período de um a três dias para verificar o impacto da nova configuração.
As opções do controle deslizante de preço-performance Capacidade máxima e Máximo de horas de RPU funcionam em conjunto. Capacidade máxima e Máximo de horas de RPU são os controles para limitar as RPUs máximas que o Amazon Redshift sem servidor permite que o data warehouse escale e as horas máximas de RPU que o Amazon Redshift sem servidor permite que o data warehouse consuma. O Amazon Redshift sem servidor sempre respeita e aplica essas configurações, independentemente da configuração da meta de preço-performance.
Monitoramento do recurso de ajuste de escala automático
Você pode monitorar o ajuste de escala de RPU orientado por IA das seguintes maneiras:
Analise o grafo de capacidade de RPU usada no console do Amazon Redshift.
Monitore a métrica
ComputeCapacityemAWS/Redshift-ServerlesseWorkgroupno CloudWatch.Consulte a visualização SYS_QUERY_HISTORY. Forneça o ID específico da consulta ou o texto da consulta para identificar o período. Use esse período para consultar a visualização do sistema SYS_SERVERLESS_USAGE para encontrar o valor
compute_capacity. O campocompute_capacitymostra as RPUs escaladas durante o runtime da consulta.
Use o exemplo a seguir para consultar a visualização SYS_QUERY_HISTORY. Substitua o valor de amostra pelo texto da consulta.
select query_id,query_text,start_time,end_time, elapsed_time/1000000.0 duration_in_seconds
from sys_query_history
where query_text like '<query_text>'
and query_text not like '%sys_query_history%'
order by start_time desc Execute a consulta a seguir para ver como compute_capacity foi escalada durante o período de start_time e end_time. Substitua start_time e end_time na seguinte consulta pela saída da consulta anterior:
select * from sys_serverless_usage where end_time >= 'start_time' and end_time <= DATEADD(minute,1,'end_time') order by end_time asc
Para obter instruções passo a passo sobre o uso desses recursos, consulte Configure monitoring, limits, and alarms in Amazon Redshift Serverless to keep costs predictable
Considerações ao usar o ajuste de escala e a otimização orientados por IA
Considere o seguinte ao usar o ajuste de escala e a otimização orientados por IA:
Para workloads existentes no Amazon Redshift sem servidor que exigem de 32 RPUs a 512 RPUs básicas, recomendamos usar o ajuste de escala e a otimização orientados por IA do Amazon Redshift sem servidor para obter os melhores resultados. Não recomendamos o uso desse recurso para workloads com menos de 32 RPUs ou mais de 512 RPUs básicas.
As metas de preço-performance otimizam automaticamente a workload, embora os resultados possam variar. Recomendamos usar esse recurso ao longo do tempo para que o sistema possa aprender os padrões específicos executando uma workload representativa.
O ajuste de escala e a otimização orientados por IA usam horários ideais para aplicar otimizações a grupos de trabalho sem servidor, dependendo da workload em execução na instância do Amazon Redshift sem servidor.
Para saber mais sobre otimizações orientadas por IA e escalabilidade de recursos, assista ao vídeo a seguir.
