Escalabilidade da simultaneidade

Com o recurso de escalabilidade da simultaneidade, é possível oferecer suporte a milhares de usuários e consultas simultâneos, com performance de consulta consistentemente rápida. Ao ativar a escalabilidade de simultaneidade, o Amazon Redshift adicionará automaticamente capacidade de cluster para processar um aumento em consultas de leitura e de gravação. Os usuários veem os dados mais atuais, sejam as consultas executadas no cluster principal ou em um cluster de escalabilidade de simultaneidade.

É possível gerenciar quais consultas são enviadas ao cluster de escalabilidade simultânea configurando filas WLM. Quando você ativa a escalabilidade de simultaneidade, as consultas elegíveis são enviadas para o cluster de escalabilidade de simultaneidade em vez de esperar em uma fila.

Você é cobrado por clusters de escalabilidade de simultaneidade apenas pelo tempo em que estão executando ativamente as consultas. Para obter mais informações sobre preços, incluindo como as cobranças são acumuladas e cobranças mínimas, consulte Preço da escalabilidade de simultaneidade.

Recursos de escalabilidade de simultaneidade

Quando você ativa a escalabilidade de simultaneidade para uma fila do WLM, ele funciona para operações de leitura, como consultas de painel. Ele também funciona para operações de gravação comumente usadas, como instruções para ingestão e processamento de dados.

Recursos de escalabilidade de simultaneidade para operações de gravação

A escalabilidade de simultaneidade oferece suporte a operações de gravação usadas com frequência, como instruções de extrair, transformar e carregar (ETL). A escalabilidade de simultaneidade para operações de gravação é especialmente útil quando você deseja manter tempos de resposta consistentes quando o cluster recebe um grande número de solicitações. Ele melhora a taxa de transferência para operações de gravação disputando recursos no cluster principal.

A escalabilidade de simultaneidade dá suporte a instruções COPY, INSERT, DELETE, UPDATE e CREATE TABLE AS (CTAS). Além disso, a escalabilidade de simultaneidade dá suporte à atualização de visão materializada para MVs que não usam agregações. Outras instruções Data Manipulation Language (DML) e Data Definition Language (DDL) não são compatíveis. Quando instruções de gravação não compatíveis, como CREATE sem TABLE AS, são incluídas em uma transação explícita antes das instruções de gravação compatíveis, nenhuma das instruções de gravação será executada em clusters de escalabilidade de simultaneidade.

Quando você provisiona crédito para escalabilidade de simultaneidade, essa provisão de crédito se aplica a operações de leitura e gravação.

Limitações para a escalabilidade de simultaneidade

Veja a seguir limitações para usar a escalabilidade de simultaneidade do Amazon Redshift:

Escalabilidade de simultaneidade de Regiões da AWS

Com o Amazon Redshift, é possível usar a escalabilidade simultânea para gerenciar demandas simultâneas de workload em todos os clusters do Redshift. Este tópico detalha em quais regiões você pode usar a escalabilidade simultânea com o Amazon Redshift.

A escalabilidade de simultaneidade está disponível nestas regiões da AWS:

Candidatos da escalabilidade da simultaneidade

Com o Amazon Redshift, é possível aumentar a escala horizontalmente do processamento de consultas para acelerar a execução de consultas simultâneas. O tópico a seguir descreve os critérios que o Amazon Redshift usa para determinar quais consultas devem ser encaminhadas para a escalabilidade simultânea.

As consultas são roteadas para o cluster de escalabilidade da simultaneidade somente quando o cluster principal atende aos seguintes requisitos:

Configurar filas da escalabilidade da simultaneidade

Com o Amazon Redshift, você pode gerenciar a simultaneidade e os recursos do sistema configurando a escalabilidade simultânea. As filas de escalabilidade simultânea permitem que você defina limites quanto ao número de consultas ou sessões de usuário que podem ser executadas simultaneamente. A seção a seguir apresenta instruções sobre como habilitar filas de escalabilidade simultânea no Amazon Redshift para permitir que você gerencie com eficácia consultas e sessões de usuários simultâneas.

Roteie consultas para clusters de escalabilidade da simultaneidade habilitando essa escalabilidade em uma fila do gerenciamento do workload (WLM). Para habilitar a escalabilidade de simultaneidade para uma fila, defina o valor do Modo de escalabilidade de simultaneidade como Automático.

Quando o número de consultas roteadas para uma fila com a escalabilidade de simultaneidade habilitada excede a capacidade de simultaneidade da fila, seja a capacidade configurada manualmente ou determinada automaticamente, filas elegíveis são enviadas ao cluster de escalabilidade de simultaneidade. Quando os slots de fila ficam disponíveis no cluster principal, as consultas são roteadas e executadas no cluster principal. Assim como com qualquer fila do WLM, roteie consultas para uma fila de escalabilidade da simultaneidade em grupos de usuários, ou rotulando consultas com rótulos de grupo de consultas, ou concordando em atender às condições definidas em Atribuir consultas a filas. Você também pode rotear consultas definindo Regras de monitoramento de consulta do WLM. Por exemplo, você pode rotear todas as consultas que demoram mais que 5 segundos para uma fila da escalabilidade da simultaneidade. Lembre-se de que o comportamento do enfileiramento pode variar, dependendo se você está usando o WLM automático ou o WLM manual. Consulte mais informações em Implementar o WLM automático ou em Implementar o WLM manual.

O número padrão de clusters de escalabilidade da simultaneidade é um. O número de clusters de escalabilidade de simultaneidade que podem ser usados é controlado por max_concurrency_scaling_clusters.

Monitoramento da escalabilidade da simultaneidade

Com o Amazon Redshift, é possível monitorar e gerenciar a escalabilidade simultânea para otimizar o desempenho e o custo-benefício das workloads de data warehouse. A escalabilidade simultânea permite que o Amazon Redshift aumente automaticamente a capacidade de cluster quando as demandas de workload aumentam e remova essa capacidade quando as demandas diminuem. A seção a seguir apresenta orientações sobre como monitorar a escalabilidade simultânea de clusters do Amazon Redshift.

Você pode ver se uma consulta está em execução no cluster principal ou em um cluster de escalabilidade de simultaneidade acessando Cluster no console do Amazon Redshift e escolhendo um cluster. Depois, escolha a guia Monitoramento de consultas e Simultaneidade de carga de trabalho para visualizar informações sobre a execução de consultas e consultas na fila.

Para encontrar tempos de execução, consulte a tabela STL_QUERY e filtre na coluna concurrency_scaling_status. A consulta a seguir compara o tempo da fila e o tempo de execução para consultas executadas no cluster de escalabilidade da simultaneidade e consultas executadas no cluster principal.

SELECT w.service_class AS queue
, CASE WHEN q.concurrency_scaling_status = 1 THEN 'concurrency scaling cluster' ELSE 'main cluster' END as concurrency_scaling_status
, COUNT( * ) AS queries
, SUM( q.aborted ) AS aborted
, SUM( ROUND( total_queue_time::NUMERIC / 1000000,2) ) AS queue_secs
, SUM( ROUND( total_exec_time::NUMERIC / 1000000,2) ) AS exec_secs
FROM stl_query q
JOIN stl_wlm_query w
USING (userid,query)
WHERE q.userid > 1
AND q.starttime > '2019-01-04 16:38:00'
AND q.endtime < '2019-01-04 17:40:00'
GROUP BY 1,2
ORDER BY 1,2;

Ajuste os valores de starttime e endtime de acordo com suas necessidades.

Visualizações do sistema de escalabilidade da simultaneidade

Com o Amazon Redshift, é possível usar visualizações do sistema de escalabilidade simultânea para monitorar e gerenciar a atividade de escalabilidade simultânea no cluster. A seção a seguir descreve a consulta a essas visualizações do sistema e a interpretação dos resultados para aproveitar eficazmente a escalabilidade simultânea em seu ambiente do Amazon Redshift.

Um conjunto de visualizações do sistema com o prefixo SVCS fornece detalhes das tabelas de log do sistema sobre consultas nos clusters principal e de escalabilidade de simultaneidade.

As seguintes visualizações têm informações semelhantes às visualizações STL ou SVL correspondentes:

As visualizações a seguir são específicas para a escalabilidade de simultaneidade.

Para obter mais informações sobre a escalabilidade de simultaneidade, consulte os seguintes tópicos no Guia de gerenciamento de clusters do Amazon Redshift.