Para usar o Mountpoint para Amazon S3, o host precisa de credenciais válidas da AWS, com acesso ao bucket ou aos buckets que você gostaria de montar. Para diferentes formas de autenticação, consulte Credenciais da AWS
Por exemplo, você pode criar um usuário e um perfil do AWS Identity and Access Management (IAM) para essa finalidade. Esse perfil deve ter acesso ao bucket ou aos buckets que você gostaria de montar. É possível transmitir o perfil do IAM à instância do Amazon EC2 com um perfil de instância.
Usar o Mountpoint para Amazon S3
Use o Mountpoint para Amazon S3 para fazer o seguinte:
-
Montar buckets com o comando
mount-s3.No exemplo a seguir, substitua
amzn-s3-demo-bucket~/mntmkdir~/mntmount-s3amzn-s3-demo-bucket~/mntComo o cliente do Mountpoint é executado em segundo plano por padrão, o diretório
~/mnt -
Acesse os objetos no bucket por meio do Mountpoint.
Depois de montar o bucket localmente, você pode usar os comandos Linux comuns, como
catouls, para trabalhar com os objetos do S3. O Mountpoint para Amazon S3 interpreta as chaves no bucket do S3 como caminhos do sistema de arquivos dividindo-as com o caractere de barra (/). Por exemplo, se você tiver a chave do objetoData/2023-01-01.csvno bucket, terá um diretório chamadoDatano sistema de arquivos do Mountpoint, o qual contém um arquivo chamado2023-01-01.csv.O Mountpoint para Amazon S3 não implementa intencionalmente a especificação padrão completa POSIX
para sistemas de arquivos. O Mountpoint é otimizado para workloads que, embora precisem de alta taxa de throughput para acesso de leitura e gravação aos dados armazenados no Amazon S3 por meio de uma interface de sistema de arquivos, de outra forma não dependem dos atributos do sistema de arquivos. Para receber mais informações, consulte Comportamento do sistema de arquivos do Mountpoint para Amazon S3 no GitHub. Os clientes que precisam de uma semântica mais completa do sistema de arquivos devem considerar outros serviços de arquivos AWS, como Amazon Elastic File System (Amazon EFS) ou Amazon FSx . -
Desmonte o bucket usando o comando
umount. Esse comando desmonta o bucket do S3 e sai do Mountpoint.Para usar o comando de exemplo a seguir, substitua
~/mntumount~/mntnota
Para receber uma lista de opções para esse comando, execute
umount --help.
Para receber detalhes adicionais sobre a configuração do Mountpoint, consulte Configuração do bucket do S3
Configurar o armazenamento em cache no Mountpoint
O Mountpoint para Amazon S3 é compatível com diferentes tipos de armazenamento em cache de dados. Para acelerar as solicitações de leitura repetidas, você pode optar pelo seguinte:
-
Cache local: você pode usar um cache local em seu armazenamento de instância do Amazon EC2 ou em um volume do Amazon Elastic Block Store. Se você ler repetidamente os mesmos dados da mesma instância de computação e tiver espaço não utilizado no armazenamento da instância local para o conjunto de dados lido repetidamente, opte por um cache local.
-
Cache compartilhado: você pode usar um cache compartilhado na classe S3 Express One Zone. Se você lê repetidamente objetos pequenos de várias instâncias de computação ou se não sabe o tamanho do conjunto de dados lido repetidamente e quer se beneficiar da elasticidade do tamanho do cache, opte pelo cache compartilhado. Depois de definir essa opção, o Mountpoint retém objetos com tamanhos de até um megabyte em um bucket de diretório que usa a classe S3 Express One Zone.
-
Cache local e compartilhado combinados: se você tem espaço não utilizado no cache local, mas também quer um cache compartilhado em várias instâncias, pode optar por um cache local e um cache compartilhado.
O armazenamento em cache no Mountpoint é ideal para casos de uso em que você lê repetidamente os mesmos dados que não mudam durante as várias leituras. Por exemplo, você pode usar o armazenamento em cache com trabalhos de treinamento de machine learning que precisam ler um conjunto de dados de treinamento várias vezes para melhorar a precisão do modelo.
Consulte mais informações sobre como configurar o armazenamento em cache no Mountpoint nos exemplos a seguir.
Cache local
Você pode optar por um cache local com a sinalização --cache
. No exemplo a seguir, substitua CACHE_PATHCACHE_PATHamzn-s3-demo-bucket~/mnt
mkdir~/mntmount-s3 --cacheCACHE_PATHamzn-s3-demo-bucket~/mnt
Quando você opta pelo armazenamento em cache local ao montar um bucket do S3, o Mountpoint cria um subdiretório vazio no local do cache configurado, caso esse subdiretório ainda não exista. Quando você monta um bucket pela primeira vez e quando desmonta, o Mountpoint exclui o conteúdo do cache local.
Importante
Se você habilitar o armazenamento em cache local, o Mountpoint manterá o conteúdo de objeto não criptografado do bucket do S3 montado na localização do cache local fornecido na montagem. Para proteger os dados, você deve restringir o acesso à localização do cache de dados usando mecanismos de controle de acesso ao sistema de arquivos.
Cache compartilhado
Se você lê repetidamente objetos pequenos (até 1 MB) de várias instâncias de computação ou se o tamanho do conjunto de dados que você lê repetidamente geralmente excede o tamanho do cache local, use um cache compartilhado na classe S3 Express One Zone
Depois de optar pelo cache compartilhado, você paga pelos dados armazenados no bucket de diretório na classe S3 Express One Zone. Você também paga pelas solicitações feitas com relação aos seus dados no bucket de diretório na classe S3 Express One Zone. Para obter mais informações, consulte Definição de preço do Amazon S3
Para optar pelo armazenamento em cache na classe S3 Express One Zone ao montar um bucket de uso geral na instância de computação, use a sinalização --cache-xz e especifique um bucket de diretório como a localização do cache. No exemplo a seguir, substitua os espaços reservados de entrada do usuário.
mount-s3amzn-s3-demo-bucket~/mnt--cache-xzamzn-s3-demo-bucket--usw2-az1--x-s3
Cache local e compartilhado combinados
Se você tem espaço não utilizado na instância, mas também quer usar um cache compartilhado em várias instâncias, pode optar por um cache local e um cache compartilhado. Com essa configuração de cache, você pode evitar solicitações de leitura redundantes da mesma instância para o cache compartilhado no bucket do diretório quando os dados necessários são armazenados em cache no armazenamento local. Isso pode reduzir os custos e melhorar o desempenho.
Para optar por um cache local e compartilhado ao montar um bucket do S3, especifique as localizações de ambos os caches usando os sinalizadores --cache e --cache-xz. Para usar o exemplo a seguir para optar por um cache local e compartilhado, substitua os espaços reservados de entrada do usuário.
mount -s3amzn-s3-demo-bucket~/mnt--cache/path/to/mountpoint/cache--cache -xzamzn-s3-demo-bucket--usw2-az1--x-s3
Consulte mais informações em Mountpoint for Amazon S3 caching configuration
Importante
Se você habilitar o armazenamento em cache compartilhado, o Mountpoint copiará o conteúdo do objeto do bucket do S3 montado para o bucket do diretório do S3 que você fornece como a localização do cache compartilhado, tornando-o acessível a qualquer chamador com acesso ao bucket de diretório do S3. Para proteger os dados em cache, você deve seguir as Práticas recomendadas de segurança para o Amazon S3 para garantir que os buckets utilizem as políticas corretas e não sejam acessados publicamente. Você deve usar um bucket de diretório dedicado para o cache compartilhado do Mountpoint e conceder acesso somente aos clientes do Mountpoint.
