Buckets de diretório e S3 Express One Zone - Amazon Simple Storage Service
Visão geralRecursos da classe S3 Express One ZoneServiços relacionadosPróximas etapas

Buckets de diretório e S3 Express One Zone

A classe Amazon S3 Express One Zone é uma classe de armazenamento de zona única e alto desempenho do Amazon S3 desenvolvida com o propósito específico de fornecer acesso consistente aos dados e com latência inferior a dez milissegundos para as aplicações mais sensíveis à latência. A classe S3 Express One Zone é a classe de armazenamento de objetos em nuvem de menor latência disponível atualmente, com velocidades de acesso aos dados até dez vezes mais rápidas e custos de solicitação 50% mais baixos do que a classe S3 Standard. As aplicações podem se beneficiar imediatamente da conclusão de solicitações até uma ordem de magnitude mais rápida. A classe S3 Express One Zone oferece elasticidade de performance semelhante a outras classes de armazenamento do S3.

Assim como outras classes de armazenamento do Amazon S3, não é necessário planejar ou provisionar requisitos de capacidade ou throughput com antecedência. Você pode aumentar ou reduzir a escala do armazenamento verticalmente, de acordo com a necessidade, e acessar os dados por meio da API do Amazon S3.

A classe S3 Express One Zone é a primeira classe de armazenamento do S3 em que é possível selecionar uma única zona de disponibilidade com a opção de manter o armazenamento de objetos e os recursos de computação na mesma localização, o que fornece a maior velocidade de acesso possível. Além disso, para aumentar ainda mais a velocidade de acesso e compatibilidade a centenas de milhares de solicitações por segundo, os dados da classe S3 Express One Zone são armazenados em um novo tipo de bucket: um bucket de diretório do Amazon S3. Cada bucket de diretório é capaz de oferecer suporte a centenas de milhares de transações por segundo (TPS), independentemente dos nomes de chave ou do padrão de acesso.

A classe de armazenamento Amazon S3 Express One Zone foi projetada para oferecer disponibilidade de 99,95% em uma única zona de disponibilidade e tem o respaldo do Acordo de Serviço do Amazon S3. Com a classe S3 Express One Zone, os dados são armazenados de forma redundante em vários dispositivos dentro de uma única zona de disponibilidade. A classe S3 Express One Zone foi projetada para lidar com falhas simultâneas de dispositivos, detectando e reparando rapidamente qualquer redundância perdida. Se o dispositivo existente encontrar uma falha, a classe S3 Express One Zone transferirá automaticamente as solicitações para novos dispositivos dentro da mesma zona de disponibilidade. Essa redundância ajuda a garantir o acesso ininterrupto aos dados dentro de uma zona de disponibilidade.

A classe S3 Express One Zone é ideal para qualquer aplicação em que seja importante minimizar a latência necessária para acessar um objeto. Tais aplicações podem ser fluxos de trabalho com interatividade humana, como edição de vídeo, em que profissionais criativos precisam de acesso responsivo ao conteúdo por meio de suas interfaces de usuário. A classe S3 Express One Zone também beneficia workloads de análise e machine learning que têm requisitos de capacidade de resposta semelhantes dos dados, especialmente workloads com muitos acessos menores ou grandes quantidades de acessos aleatórios. A classe S3 Express One Zone pode ser usada com outros Serviços da AWS para oferecer suporte a workloads de análise e de inteligência artificial/machine learning (IA/ML), como Amazon EMR, Amazon SageMaker e Amazon Athena.

Diagrama mostrando como o S3 Express One Zone funciona.

Ao usar a classe S3 Express One Zone, você pode interagir com o bucket de diretório em uma nuvem privada virtual (VPC) usando um endpoint da VPC do gateway. Com um endpoint de gateway, é possível acessar buckets de diretório da classe S3 Express One Zone pela VPC sem precisar de um gateway da Internet ou um dispositivo NAT para a VPC, e tudo isso sem custos adicionais.

Você pode usar muitas das mesmas operações de API e recursos do Amazon S3 com buckets de diretório que já usa com buckets de uso geral e outras classes de armazenamento. Isso inclui o Mountpoint para Amazon S3, a criptografia do lado do servidor com chaves gerenciadas pelo Amazon S3 (SSE-S3), a criptografia do lado do servidor com chaves do AWS Key Management Service (AWS KMS) (SSE-KMS) e os recursos Operações em Lote do S3 e Bloqueio de Acesso Público do S3. Você pode acessar a classe de armazenamento S3 Express One Zone pelo console do Amazon S3, pela AWS Command Line Interface (AWS CLI), pelos AWS SDKs e pela API REST do Amazon S3.

Para obter mais informações sobre a classe S3 Express One Zone, consulte os tópicos a seguir.

Visão geral

Para otimizar a performance e reduzir a latência, a classe S3 Express One Zone apresenta os novos conceitos a seguir.

Zona de disponibilidade única

A classe de armazenamento Amazon S3 Express One Zone foi projetada para oferecer disponibilidade de 99,95% em uma única zona de disponibilidade e tem o respaldo do Acordo de Serviço do Amazon S3. Com a classe S3 Express One Zone, os dados são armazenados de forma redundante em vários dispositivos dentro de uma única zona de disponibilidade. A classe S3 Express One Zone foi projetada para lidar com falhas simultâneas de dispositivos, detectando e reparando rapidamente qualquer redundância perdida. Se o dispositivo existente encontrar uma falha, a classe S3 Express One Zone transferirá automaticamente as solicitações para novos dispositivos dentro da mesma zona de disponibilidade. Essa redundância ajuda a garantir o acesso ininterrupto aos dados dentro de uma zona de disponibilidade.

Uma zona de disponibilidade é um ou mais datacenters discretos com energia, redes e conectividade redundantes em uma Região da AWS. Ao criar um bucket de diretório, escolha a zona de disponibilidade e a Região da AWS em que o bucket ficará localizado.

Buckets de diretório

Há dois tipos de buckets do Amazon S3: buckets de uso geral do S3 e buckets de diretório do S3. Os buckets de uso geral são o tipo padrão de bucket do Amazon S3 usado na grande maioria dos casos de uso do S3. Os buckets de diretório usam apenas a classe de armazenamento S3 Express One Zone, projetada para workloads ou aplicações de performance crítica que exigem latência consistente inferior a dez milissegundos. Escolha o tipo de bucket que melhor se adapte aos requisitos de performance e da aplicação.

Os buckets de diretório organizam os dados de forma hierárquica em diretórios, ao contrário da estrutura de armazenamento plana dos buckets de uso geral. Não há limites de prefixo para os buckets de diretório, e diretórios individuais podem ser escalados horizontalmente.

Os buckets de diretório usam a classe de armazenamento S3 Express One Zone, desenvolvida para ser usada por aplicações sensíveis à performance. Com a classe S3 Express One Zone, é possível selecionar uma única zona de disponibilidade com a opção de manter o armazenamento de objetos e os recursos de computação na mesma localização, o que fornece a maior velocidade de acesso possível. Isso é diferente dos buckets de uso geral, que armazenam objetos de forma redundante em várias zonas de disponibilidade em Regiões da AWS.

Para obter mais informações sobre os buckets de diretório, consulte Visão geral dos buckets de diretório. Para obter mais informações sobre os buckets de uso geral, consulte Visão geral dos buckets.

Endpoints e endpoints de VPC do gateway

As operações de API de gerenciamento para buckets de diretório estão disponíveis por meio de um endpoint regional e são chamadas de operações de API de endpoint regional. Exemplos de operações de API de endpoint regional são CreateBucket e DeleteBucket. Depois de criar um bucket de diretório, você pode usar operações de API de endpoint zonal para fazer upload e gerenciar os objetos no bucket de diretório. As operações de API de endpoint zonal estão disponíveis por meio de um endpoint zonal. Exemplos de operações de API de endpoint zonal são PutObject e CopyObject.

É possível acessar a classe S3 Express One Zone pela VPC usando endpoints de VPC do gateway. Depois de criar um endpoint de gateway, é possível adicioná-lo como um destino na tabela de rotas para o tráfego destinado da VPC à classe S3 Express One Zone. Assim como no Amazon S3, não há cobrança adicional pelo uso de endpoints de gateway. Para obter mais informações sobre como configurar endpoints de VPC do gateway, consulte Redes para a classe S3 Express One Zone.

Autorização baseada em sessão

Com a classe S3 Express One Zone, é possível autenticar e autorizar solicitações por meio de um novo mecanismo baseado em sessão que é otimizado para fornecer a menor latência. Você pode usar CreateSession para solicitar credenciais temporárias que forneçam acesso de baixa latência ao bucket. Essas credenciais temporárias têm como escopo um bucket de diretório específico do S3. Os tokens de sessão são usados somente com operações zonais (nível de objeto) (com exceção de CopyObject). Para ter mais informações, consulte Autorizar operações de API de endpoint zonal com CreateSession.

Os AWS SDKs compatíveis com a classe S3 Express One Zone lidam com o estabelecimento e a atualização de sessões em seu nome. Para proteger as sessões, as credenciais de segurança temporárias expiram após 5 minutos. Depois de baixar e instalar os AWS SDKs e configurar as permissões necessárias do AWS Identity and Access Management (IAM), você pode começar imediatamente a usar as operações de API.

Recursos da classe S3 Express One Zone

Os recursos do S3 a seguir estão disponíveis para a classe S3 Express One Zone. Para obter uma lista completa de operações de APIs compatíveis e recursos não compatíveis, consulte Noções básicas sobre a diferença do S3 Express One Zone.

Gerenciamento de acesso e segurança

Com buckets de diretório, você pode usar os recursos a seguir para auditar e gerenciar o acesso. Por padrão, os buckets de diretório são privados e só podem ser acessados por usuários que tenham recebido acesso explícito. Ao contrário dos buckets de uso geral que podem definir o limite de controle de acesso no nível do bucket, do prefixo ou da etiqueta de objeto, o limite do controle de acesso para buckets de diretório é definido somente no nível do bucket. Para ter mais informações, consulte Autorizar APIs de endpoints regionais com o IAM.

  • Bloqueio de Acesso Público do S3: todas as configurações da funcionalidade Bloqueio de Acesso Público do S3 são habilitadas por padrão no nível do bucket. Essa configuração padrão não pode ser modificada.

  • Propriedade de Objetos do S3 (padrão: Imposto pelo proprietário do bucket): as listas de controle de acesso (ACLs) não são compatíveis com buckets de diretório. Os buckets de diretório usam automaticamente a configuração Imposto pelo proprietário do bucket para a funcionalidade Propriedade de Objetos do S3. A opção Imposto pelo proprietário do bucket significa que as ACLs são desabilitadas e que o proprietário do bucket tem automaticamente a propriedade e o controle total sobre todos os objetos do bucket. Essa configuração padrão não pode ser modificada.

  • AWS Identity and Access Management (IAM): o IAM ajuda você a controlar com segurança o acesso aos buckets de diretório. Você pode usar o IAM para conceder acesso às operações de API gerenciamento de buckets (regionais) e às operações de API de gerenciamento de objetos (zonais) por meio da ação s3express:CreateSession. Para ter mais informações, consulte Autorizar APIs de endpoints regionais com o IAM. Ao contrário das ações de gerenciamento de objetos, as ações de gerenciamento de buckets não podem ser executadas entre contas. Somente o proprietário do bucket pode realizar essas ações.

  • Políticas de bucket: use a linguagem de política baseada no IAM para configurar permissões baseadas em recurso para os buckets de diretório. Você também pode usar o IAM para controlar o acesso à operação de API CreateSession, que permite usar as operações de API zonais ou de gerenciamento de objetos. Você pode conceder acesso entre contas ou na mesma conta para operações de API zonais. Para obter mais informações sobre as permissões e políticas da classe S3 Express One Zone, consulte Autorizar APIs de endpoints regionais com o IAM.

  • IAM Access Analyzer para S3: avalie e monitore as políticas de acesso a fim de garantir que elas forneçam apenas o acesso pretendido aos recursos do S3.

Logging e monitoramento

A classe S3 Express One Zone usa as seguintes ferramentas de registro em log e monitoramento do S3, que você pode usar para monitorar e controlar como os recursos do estão sendo usados:

  • Métricas do Amazon CloudWatch: monitore os recursos e as aplicações da AWS usando o CloudWatch para coletar e monitorar métricas. A classe S3 Express One Zone usa o mesmo namespace do CloudWatch que outras classes de armazenamento do Amazon S3 (AWS/S3) e oferece suporte a métricas de armazenamento diárias para buckets de diretório: BucketSizeBytes e NumberOfObjects. Para ter mais informações, consulte Monitoramento de métricas com o Amazon CloudWatch.

  • Logs do AWS CloudTrail: o AWS CloudTrail é um AWS service (Serviço da AWS) que ajuda você a implementar a auditoria, a governança e a conformidade operacionais e de risco da sua Conta da AWS ao registrar as ações realizadas por um usuário, um perfil ou um AWS service (Serviço da AWS). Para a classe S3 Express One Zone, o CloudTrail captura operações de API de endpoint regional (por exemplo, CreateBucket e PutBucketPolicy) como eventos de gerenciamento e operações da API zonal (por exemplo, GetObject e PutObject) como eventos de dados. Esses eventos incluem ações realizadas no AWS Management Console, na AWS Command Line Interface (AWS CLI), em AWS SDKs e em operações de API da AWS. Para ter mais informações, consulte Logging with AWS CloudTrail for S3 Express One Zone.

nota

Os logs de acesso ao servidor do Amazon S3 não são compatíveis com a classe S3 Express One Zone.

Gerenciamento de objetos

Depois de criar um bucket de diretório, você pode gerenciar o armazenamento de objetos usando o console do Amazon S3, os AWS SDKs e a AWS CLI. Os seguintes recursos estão disponíveis para o gerenciamento de objetos com a classe S3 Express One Zone:

  • Operações em Lote do S3: use a funcionalidade Operações em Lote para realizar operações em massa nos objetos em buckets de diretório, como Copiar e Invocar função do AWS Lambda. Por exemplo, você pode usar a funcionalidade Operações em Lote para copiar objetos entre buckets de diretório e buckets de uso geral. Com a funcionalidade Operações em Lote, você pode gerenciar bilhões de objetos em grande escala com uma única solicitação do S3 usando os AWS SDKs ou a AWS CLI ou com alguns cliques no console do Amazon S3.

  • Importação: depois de criar um bucket de diretório, você poderá preenchê-lo com objetos usando o recurso de importação no console do Amazon S3. Importar é um método simplificado para criar trabalhos da funcionalidade Operações em Lote a fim de copiar objetos de buckets de uso geral para buckets de diretório.

AWS SDKs e bibliotecas de clientes

Assim que criar um bucket de diretório e fazer upload de um objeto no bucket, você poderá gerenciar o armazenamento de objetos usando o seguinte:

  • Mountpoint para Amazon S3: o Mountpoint para Amazon S3 é um cliente de arquivos de código aberto que oferece acesso de alto throughput, reduzindo os custos de computação para data lakes no Amazon S3. O Mountpoint para Amazon S3 converte chamadas de API do sistema de arquivos local em chamadas de API de objetos do S3, como GET e LIST. É ideal para workloads de data lake com muitas leituras que processam petabytes de dados e precisam do alto throughput elástico fornecido pelo Amazon S3 para aumentar e reduzir a escala verticalmente em milhares de instâncias.

  • S3A: o S3A é uma interface compatível com Hadoop recomendada para acessar datastores no Amazon S3. O S3A substitui o cliente do sistema de arquivos S3N do Hadoop.

  • PyTorch na AWS: o PyTorch na AWS é um framework de aprendizado profundo de código aberto que facilita o desenvolvimento de modelos de machine learning e a implantação deles na produção.

  • AWS SDKs: você pode usar os AWS SDKs ao desenvolver aplicações com o Amazon S3. Os AWS SDKs simplificam suas tarefas de programação agrupando a API REST subjacente do Amazon S3. Para obter mais informações sobre como usar os AWS SDKs com a classe S3 Express One Zone, consulte SDKs da AWS.

Criptografia e proteção de dados

Os objetos armazenados em buckets de diretório são criptografados automaticamente usando criptografia do lado do servidor com chaves gerenciadas pelo Amazon S3 (SSE-S3). Os buckets de diretório também comportam a criptografia do lado do servidor com chaves do AWS Key Management Service (AWS KMS) (SSE-KMS). Os buckets de diretório não comportam a criptografia do lado do servidor com chaves de criptografia fornecidas pelo cliente (SSE-C) ou criptografia de camada dupla do lado do servidor com AWS KMS keys (DSSE-KMS). Para ter mais informações, consulte Proteção de dados e criptografia na classe S3 Express One Zone.

A classe S3 Express One Zone oferece a opção de escolher o algoritmo de soma de verificação usado para validar os dados durante o upload ou o download. Você pode selecionar um dos seguintes algoritmos de verificação de integridade de dados de hash seguro (SHA) ou de verificação de redundância cíclica (CRC): CRC32, CRC32C, SHA-1 e SHA-256. As somas de verificação baseadas em MD5 não são compatíveis com a classe de armazenamento S3 Express One Zone.

Para ter mais informações, consulte Práticas recomendadas adicionais de soma de verificação do S3.

Signature Version 4 (SigV4) da AWS

A classe S3 Express One Zone usa o Signature Version 4 (SigV4) da AWS. SigV4 é um protocolo de assinatura usado para autenticar solicitações ao Amazon S3 via HTTPS. A classe S3 Express One Zone assina solicitações usando o Sigv4 da AWS. Para obter mais informações, consulte Autenticação de solicitações (AWS Signature Version 4)) na Referência de APIs do Amazon Simple Storage Service.

Consistência forte

A classe S3 Express One Zone oferece uma sólida consistência de leitura após gravação para solicitações PUT e DELETE de objetos em buckets de diretório em todas as Regiões da AWS. Para ter mais informações, consulte Modelo de consistência de dados do Amazon S3.

Você pode usar os seguintes Serviços da AWS com a classe de armazenamento S3 Express One Zone para oferecer suporte ao seu caso de uso específico de baixa latência.

  • Amazon Elastic Compute Cloud (Amazon EC2): o Amazon EC2 oferece capacidade de computação segura e escalável na Nuvem AWS. O uso do Amazon EC2 reduz a necessidade de investimento antecipado em hardware. Por isso, você pode desenvolver e implantar aplicações com maior rapidez. É possível usar o Amazon EC2 para executar quantos servidores virtuais forem necessários, configurar a segurança e as redes e gerenciar o armazenamento.

  • AWS Lambda: o Lambda é um serviço de computação que permite que você execute o código sem provisionar ou gerenciar servidores. Você define as configurações de notificação em um bucket e concede permissão ao Amazon S3 para invocar uma função na política de permissões baseada em recursos da função.

  • Amazon Elastic Kubernetes Service (Amazon EKS): o Amazon EKS é um serviço gerenciado que elimina a necessidade de instalar, operar e manter o seu próprio ambiente de gerenciamento do Kubernetes na AWS. O Kubernetes é um sistema de código aberto que automatiza o gerenciamento, a escalação e a implantação de aplicações conteinerizadas.

  • Amazon Elastic Container Service (Amazon ECS): o Amazon ECS é um serviço totalmente gerenciado de orquestração de contêineres que ajuda a implantar, gerenciar e dimensionar facilmente aplicações em contêineres.

  • Amazon Athena: o Athena é um serviço de consultas interativas que facilita a análise de dados no Amazon S3 usando SQL padrão. Você também pode usar o Athena para executar análises de dados de maneira interativa usando o Apache Spark sem a necessidade de planejamento, configuração ou gerenciamento de recursos. Ao executar aplicações do Apache Spark no Athena, você envia o código Spark para processamento e recebe os resultados de forma direta.

  • Treinamento de modelos do Amazon SageMaker Runtime: o Amazon SageMaker Runtime é um serviço de machine learning totalmente gerenciado. Com o SageMaker Runtime, cientistas de dados e desenvolvedores podem criar e treinar modelos de machine learning com rapidez e facilidade, depois implantá-los diretamente em um ambiente hospedado pronto para produção.

  • AWS Glue: o AWS Glue é um serviço de integração de dados com tecnologia sem servidor que facilita aos usuários de análise a descoberta, preparação, transferência e integração de dados de várias fontes. Você pode usar o AWS Glue para análise, machine learning e desenvolvimento de aplicações. O AWS Glue também inclui outras ferramentas de produtividade e operações de dados para criação, execução de trabalhos e implementação de fluxos de trabalho de negócios.

  • Amazon EMR: o Amazon EMR é uma plataforma de cluster gerenciada que simplifica a execução de frameworks de big data, como Apache Hadoop e Apache Spark, na AWS a fim de processar e analisar grandes volumes de dados.

Próximas etapas

Para obter mais informações sobre como usar a classe de armazenamento S3 Express One Zone e os buckets de diretório, consulte os seguintes tópicos: