Reduzir o controle de utilização no nível de serviço - Amazon Athena

Reduzir o controle de utilização no nível de serviço

Para evitar o controle de utilização do Amazon S3 no nível do serviço, é possível monitorar o uso e ajustar as cotas de serviço ou usar certas técnicas, como particionamento. Estas são algumas das condições que podem levar ao controle de utilização:

  • Exceder os limites de solicitação de API da conta: o Amazon S3 tem limites de solicitação de API padrão baseados no tipo e no uso da conta. Se você exceder o número máximo de solicitações por segundo para um único prefixo, as solicitações poderão ser limitadas para evitar a sobrecarga do serviço Amazon S3.

  • Particionamento de dados insuficiente: se você não particionar os dados corretamente e transferir uma grande quantidade de dados, o Amazon S3 poderá limitar as solicitações. Para obter mais informações sobre particionamento, consulte a seção Usar particionamento deste documento.

  • Grande quantidade de objetos pequenos: se possível, evite uma grande quantidade de arquivos pequenos. O Amazon S3 tem um limite de 5500 solicitações GET por segundo por prefixo particionado, e suas consultas do Athena compartilham esse mesmo limite. Se você verificar milhões de objetos pequenos em uma única consulta, provavelmente o Amazon S3 limitará a consulta.

Para evitar verificação em excesso, você pode usar o recurso ETL do AWS Glue para compactar periodicamente os arquivos ou particionar a tabela e adicionar filtros de chave de partição. Para obter mais informações, consulte os recursos a seguir.