Lier votre système de fichiers à un compartiment S3

Vous pouvez lier votre système de fichiers Amazon FSx for Lustre aux référentiels de données d'Amazon S3. Vous pouvez créer le lien lors de la création du système de fichiers ou à tout moment après la création du système de fichiers.

Un lien entre un répertoire du système de fichiers et un compartiment ou un préfixe S3 est appelé association de référentiel de données (DRA). Vous pouvez configurer un maximum de 8 associations de référentiels de données sur un système de fichiers FSx for Lustre. Un maximum de 8 demandes DRA peuvent être mises en file d'attente, mais le système de fichiers ne peut traiter qu'une seule demande à la fois. Chaque DRA doit disposer d'un répertoire unique du système de fichiers FSx for Lustre et d'un compartiment ou d'un préfixe S3 unique qui lui est associé.

Pour accéder aux objets du référentiel de données S3 sous forme de fichiers et de répertoires du système de fichiers, les métadonnées des fichiers et des répertoires doivent être chargées dans le système de fichiers. Vous pouvez charger des métadonnées à partir d'un référentiel de données lié lorsque vous créez le DRA ou charger les métadonnées pour des lots de fichiers et de répertoires auxquels vous souhaitez accéder ultérieurement à l'aide du système de fichiers FSx for Lustre à l'aide d'une tâche d'importation de référentiel de données, ou utiliser l'exportation automatique pour charger automatiquement les métadonnées lorsque des objets sont ajoutés, modifiés ou supprimés du référentiel de données.

Vous pouvez configurer un DRA pour l'importation automatique uniquement, pour l'exportation automatique uniquement, ou pour les deux. Une association de référentiel de données configurée à la fois avec une importation et une exportation automatiques propage les données dans les deux sens entre le système de fichiers et le compartiment S3 lié. Lorsque vous modifiez les données de votre référentiel de données S3, FSx for Lustre détecte les modifications puis les importe automatiquement dans votre système de fichiers. Lorsque vous créez, modifiez ou supprimez des fichiers, FSx for Lustre exporte automatiquement les modifications vers Amazon S3 de manière asynchrone une fois que votre application a fini de modifier le fichier.

Lorsque vous créez une association de référentiel de données, vous pouvez configurer les propriétés suivantes :

Les paramètres du chemin du système de fichiers et du chemin du référentiel de données fournissent un mappage 1:1 entre les chemins dans Amazon FSx et les clés d'objet dans S3.

Support des régions et des comptes pour les compartiments S3 liés

Lorsque vous créez des liens vers des compartiments S3, gardez à l'esprit les limites de prise en charge des régions et des comptes suivantes :

Création d'un lien vers un compartiment S3

Les procédures suivantes vous guident dans le processus de création d'une association de référentiel de données pour un système de fichiers FSx for Lustre à un compartiment S3 existant, à AWS Management Console l'aide de AWS Command Line Interface and AWS CLI(). Pour plus d'informations sur l'ajout d'autorisations à un compartiment S3 afin de le lier à votre système de fichiers, consultezAjouter des autorisations pour utiliser les référentiels de données dans Amazon S3.

Mise à jour des paramètres d'association du référentiel de données

Vous pouvez mettre à jour les paramètres d'une association de référentiel de données existante à l' AWS Management Console aide de AWS CLI, de, et de l'API Amazon FSx, comme indiqué dans les procédures suivantes.

Supprimer une association vers un compartiment S3

Les procédures suivantes vous guident dans le processus de suppression d'une association de référentiel de données d'un système de fichiers Amazon FSx existant vers un compartiment S3 existant, à l'aide du AWS Management Console et AWS Command Line Interface ()AWS CLI. La suppression de l'association du référentiel de données dissocie le système de fichiers du compartiment S3.

Afficher les détails des associations de référentiels de données

Vous pouvez consulter les détails d'une association de référentiels de données à l'aide de la console FSx for Lustre, AWS CLI du, et de l'API. Les détails incluent l'ID d'association du DRA, le chemin du système de fichiers, le chemin du référentiel de données, les paramètres d'importation, les paramètres d'exportation, le statut et l'ID du système de fichiers associé.

État du cycle de vie des associations au référentiel de données

L'état du cycle de vie des associations de référentiels de données fournit des informations sur le statut d'un DRA spécifique. Une association de référentiels de données peut avoir les états de cycle de vie suivants :

Vous pouvez consulter l'état du cycle de vie d'une association de référentiels de données à l'aide de la console Amazon FSx, de l' AWS Command Line Interface API Amazon FSx et de l'API Amazon FSx. Pour plus d’informations, consultez Afficher les détails des associations de référentiels de données.

Utilisation de compartiments Amazon S3 chiffrés côté serveur

FSx for Lustre prend en charge les compartiments Amazon S3 qui utilisent le chiffrement côté serveur avec des clés gérées par S3 (SSE-S3) et stockées dans (SSE-KMS). AWS KMS keys AWS Key Management Service

Si vous souhaitez qu'Amazon FSx chiffre les données lors de l'écriture dans votre compartiment S3, vous devez définir le chiffrement par défaut de votre compartiment S3 sur SSE-S3 ou SSE-KMS. Pour plus d'informations, consultez la section Configuration du chiffrement par défaut dans le guide de l'utilisateur Amazon S3. Lorsque vous écrivez des fichiers dans votre compartiment S3, Amazon FSx suit la politique de chiffrement par défaut de votre compartiment S3.

Par défaut, Amazon FSx prend en charge les compartiments S3 chiffrés à l'aide de SSE-S3. Si vous souhaitez lier votre système de fichiers Amazon FSx à un compartiment S3 chiffré à l'aide du chiffrement SSE-KMS, vous devez ajouter une déclaration à votre politique de clé gérée par le client qui autorise Amazon FSx à chiffrer et déchiffrer les objets de votre compartiment S3 à l'aide de votre clé KMS.

L'instruction suivante permet à un système de fichiers Amazon FSx spécifique de chiffrer et de déchiffrer des objets pour un compartiment S3 spécifique, bucket_name.

{
    "Sid": "Allow access through S3 for the FSx SLR to use the KMS key on the objects in the given S3 bucket",
    "Effect": "Allow",
    "Principal": {
        "AWS": "arn:aws:iam::aws_account_id:role/aws-service-role/s3.data-source.lustre.fsx.amazonaws.com/AWSServiceRoleForFSxS3Access_fsx_file_system_id"
    },
    "Action": [
        "kms:Encrypt",
        "kms:Decrypt",
        "kms:ReEncrypt*",
        "kms:GenerateDataKey*",
        "kms:DescribeKey"
    ],
    "Resource": "*",
    "Condition": {
        "StringEquals": {
            "kms:CallerAccount": "aws_account_id",
            "kms:ViaService": "s3.bucket-region.amazonaws.com"
        },
        "StringLike": {
            "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket_name/*"
        }
    }
}

"StringLike": {
    "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket_name"
}

La déclaration de politique suivante permet à tous les systèmes de fichiers Amazon FSx de votre compte d'être liés à un compartiment S3 spécifique.

{
    "Sid": "Allow access through S3 for the FSx SLR to use the KMS key on the objects in the given S3 bucket",
    "Effect": "Allow",
    "Principal": {
        "AWS": "*"
    },
    "Action": [
        "kms:Encrypt",
        "kms:Decrypt",
        "kms:ReEncrypt*",
        "kms:GenerateDataKey*",
        "kms:DescribeKey"
    ],
    "Resource": "*",
    "Condition": {
        "StringEquals": {
            "kms:CallerAccount": "aws_account_id",
            "kms:ViaService": "s3.bucket-region.amazonaws.com"
        },
        "StringLike": {
            "aws:userid": "*:FSx",
            "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket_name/*"
        }
    }
}

Accès aux compartiments Amazon S3 chiffrés côté serveur dans un autre Compte AWS

Après avoir créé un système de fichiers FSx for Lustre lié à un compartiment Amazon S3 chiffré, vous devez accorder au rôle lié AWSServiceRoleForFSxS3Access_fs-01234567890 au service (SLR) l'accès à la clé KMS utilisée pour chiffrer le compartiment S3 avant de lire ou d'écrire des données depuis le compartiment S3 lié. Vous pouvez utiliser un rôle IAM déjà autorisé à accéder à la clé KMS.

Vous utilisez le rôle IAM pour appeler l' AWS KMS API suivante afin de créer une autorisation pour le SLR S3 afin que le SLR obtienne l'autorisation d'accéder aux objets S3. Pour trouver l'ARN associé à votre SLR, recherchez vos rôles IAM en utilisant l'ID de votre système de fichiers comme chaîne de recherche.

$ aws kms create-grant --region fs_account_region \
      --key-id arn:aws:kms:s3_bucket_account_region:s3_bucket_account:key/key_id \
      --grantee-principal arn:aws:iam::fs_account_id:role/aws-service-role/s3.data-source.lustre.fsx.amazonaws.com/AWSServiceRoleForFSxS3Access_file-system-id \
      --operations "Decrypt" "Encrypt" "GenerateDataKey" "GenerateDataKeyWithoutPlaintext" "CreateGrant" "DescribeKey" "ReEncryptFrom" "ReEncryptTo"

Pour plus d’informations sur les rôles liés à un service, consultez Utilisation de rôles liés à un service pour Amazon FSx.